作者 | Matthew Mayo

編譯 | CDA數(shù)據(jù)分析師

正如我們告別上一年并期待新的一年一樣，KDnuggets再次征求了眾多研究和技術(shù)專家對2019年最重要的發(fā)展及其2020年關(guān)鍵趨勢預(yù)測的意見。

又到了年終，這意味著現(xiàn)在是KDnuggets年終專家分析和預(yù)測的時候了。今年，我們提出了一個問題：

2019年AI，數(shù)據(jù)科學(xué)，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的主要發(fā)展是什么？您預(yù)計2020年會有哪些主要趨勢？

當(dāng)我們回顧一年前專家的預(yù)測時，我們可以看到對自然技術(shù)進(jìn)步的預(yù)測，并帶有一些更加雄心勃勃的預(yù)測。有幾個一般性主題，以及幾個值得注意的點。

特別要關(guān)注的是，人們不止一次提到了對AI的恐懼，不過目前這一預(yù)測似乎已經(jīng)平息了。關(guān)于自動化機(jī)器學(xué)習(xí)的進(jìn)展的討論非常多，人們對它目前是否有用等議論紛紛。我認(rèn)為在某種程度上尚無定論，但是當(dāng)對技術(shù)的期望降低時，我們就更容易將其視為有用的添加物而不是迫在眉睫的替代物了。

也有充分的理由指出了新增的AI永遠(yuǎn)是有益的，并且有無數(shù)的例子表明了這種預(yù)測的準(zhǔn)確性。實用的機(jī)器學(xué)習(xí)會產(chǎn)生影響，現(xiàn)在是時候?qū)W習(xí)使用機(jī)器學(xué)習(xí)了。最后，還提到了反烏托邦人工智能發(fā)展引起的對監(jiān)視，恐懼和操縱的日益關(guān)注。

還有一些預(yù)測還沒有完成。感興趣的讀者可以自行尋找。

今年我們的專家名單包括Imtiaz Adam，Xavier Amatriain，Anima Anandkumar，Andriy Burkov，Georgina Cosma，Pedro Domingos，Ajit Jaokar，Charles Martin，Ines Montani，Dipanjan Sarkar，Elena Sharova，Rosaria Silipo和Daniel Tunkelang。我們感謝他們從忙碌的年終時間表中抽出時間為我們提供見解。

這是同一系列文章中的第一篇。盡管它們將被劃分為研究，部署和行業(yè)，但這些學(xué)科之間存在相當(dāng)大且可以理解的重疊。

以下是今年專家組提出的2019年主要趨勢和2020年的預(yù)測。

Imtiaz Adam ： 人工智能與戰(zhàn)略執(zhí)行官。

在2019年，提高了對與數(shù)據(jù)科學(xué)中的道德與多樣性有關(guān)的問題的認(rèn)識。

• 彩票假說論文顯示了通過修剪可以簡化深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的潛力。Neuro Symbolic Concept Learner論文顯示了將邏輯和深度學(xué)習(xí)與增強的數(shù)據(jù)和內(nèi)存效率結(jié)合起來的潛力。
• GAN的研究獲得了動力，尤其是深度強化學(xué)習(xí)受到了很多研究關(guān)注，包括邏輯強化學(xué)習(xí)和用于參數(shù)優(yōu)化的遺傳算法等領(lǐng)域。
• TensorFlow 2隨附Keras集成且急于執(zhí)行默認(rèn)模式。

2020年，數(shù)據(jù)科學(xué)團(tuán)隊和商業(yè)團(tuán)隊將更加融合。5G將推動AI推理的發(fā)展，推動智能物聯(lián)網(wǎng)的發(fā)展，這意味著AI將越來越多地進(jìn)入物理世界。深度學(xué)習(xí)與增強現(xiàn)實相結(jié)合將改變客戶體驗。

Xavier Amatriain ： Curai 聯(lián)合創(chuàng)始人/首席技術(shù)官。

我認(rèn)為這是深度學(xué)習(xí)和NLP的一年，這一點很難反對。更具體地說，是語言模型的年份，是Transformers和GPT-2的一年。是的，這可能令人難以置信，但是距OpenAI首次使用至今不到一年，談到他們的GPT-2語言模型。這篇博客文章引發(fā)了很多關(guān)于AI安全的討論，因為OpenAI并不對外發(fā)布該模型。

從那時起，該模型被公開復(fù)制，并最終發(fā)布。但是，這并不是該領(lǐng)域的唯一進(jìn)步。我們已經(jīng)看到Google發(fā)布了AlBERT或XLNET，還討論了BERT如何成為多年來Google搜索最大的改進(jìn)。從Amazon、Microsoft到Facebook，所有人似乎已經(jīng)真正地加入了語言模型革命，我確實希望在2020年在該領(lǐng)域看到令人矚目的進(jìn)步，而且似乎我們越來越接近通過圖靈測試的日子了。

Anima Anandkumar ： NVIDIA機(jī)器學(xué)習(xí)研究總監(jiān)、加州理工學(xué)院的Bren Professor。

研究人員希望更好地了解深度學(xué)習(xí)，其泛化特性和失敗案例。減少對標(biāo)記數(shù)據(jù)的依賴，而自訓(xùn)練等方法也取得了進(jìn)展。模擬對于AI培訓(xùn)變得越來越重要，并且在諸如自動駕駛和機(jī)器人學(xué)習(xí)等視覺領(lǐng)域的逼真度也越來越高。語言模型變得很龐大，例如NVIDIA的80億Megatron模型在512 GPU上進(jìn)行了訓(xùn)練，并開始生成連貫的段落。

但是，研究人員在這些模型中顯示出虛假的相關(guān)性和不良的社會偏見。人工智能法規(guī)已成為主流，許多知名政客都表示支持政府機(jī)構(gòu)禁止面部識別。從去年的NeurIPS名稱更改開始，人工智能會議開始執(zhí)行行為守則，并加大改善多樣性和包容性的努力。

在未來的一年中，我預(yù)計將會有新的算法開發(fā)，而不僅僅是深度學(xué)習(xí)的表面應(yīng)用。這將特別影響物理，化學(xué)，材料科學(xué)和生物學(xué)等許多領(lǐng)域的“科學(xué)人工智能”。

Andriy Burkov ：Gartner機(jī)器學(xué)習(xí)團(tuán)隊負(fù)責(zé)人，《百頁機(jī)器學(xué)習(xí)書》的作者。

毫無疑問，2019年主要的發(fā)展是BERT，這是一種語言建模神經(jīng)網(wǎng)絡(luò)模型，可以在幾乎所有任務(wù)上提高NLP的質(zhì)量。Google甚至將其用作相關(guān)性的主要信號之一，這是多年來最重要的更新。

在我看來，2020年關(guān)鍵趨勢將是PyTorch在業(yè)界的廣泛采用，對更快的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的研究以及對便利硬件上的神經(jīng)網(wǎng)絡(luò)的快速訓(xùn)練的研究。

Georgina Cosma ：拉夫堡大學(xué)的高級講師。

在2019年，我們對諸如YOLOv3之類的深度學(xué)習(xí)模型中令人印象深刻的功能進(jìn)行了評估，以應(yīng)對各種復(fù)雜的計算機(jī)視覺任務(wù)，尤其是實時對象檢測。我們還已經(jīng)看到，生成式對抗網(wǎng)絡(luò)繼續(xù)吸引著深度學(xué)習(xí)社區(qū)的關(guān)注，其用于ImageNet生成的BigGAN模型以及用于人類圖像合成的StyleGAN合成圖像。

今年，我們還意識到，愚弄深度學(xué)習(xí)模型非常容易，一些研究還表明，深度神經(jīng)網(wǎng)絡(luò)很容易受到對抗性例子的攻擊。在2019年，我們還看到有偏差的AI決策模型被部署用于面部識別，招聘和法律應(yīng)用。我希望在2020年看到多任務(wù)AI模型的發(fā)展，這些模型希望能做到實現(xiàn)通用和多用途。

Pedro Domingos ：華盛頓大學(xué)計算機(jī)科學(xué)與工程系的教授。

2019年的主要發(fā)展：

• 上下文嵌入的快速傳播。它們還不到兩年的歷史，但是現(xiàn)在它們在NLP中占據(jù)了主導(dǎo)地位，而且Google已經(jīng)在搜索引擎中部署了它們，據(jù)報道，每10個搜索中就有1個改進(jìn)了。從視覺到語言，在大數(shù)據(jù)上預(yù)先訓(xùn)練模型，然后針對特定任務(wù)對其進(jìn)行調(diào)整，這已成為標(biāo)準(zhǔn)。
• 雙重血統(tǒng)的發(fā)現(xiàn)。我們對超參數(shù)化模型如何很好地泛化而完美擬合訓(xùn)練數(shù)據(jù)的理論理解已得到很大改善，特別是通過對以下觀察結(jié)果的候選解釋：與經(jīng)典學(xué)習(xí)理論的預(yù)測相反，泛化誤差隨著模型容量的增加而下降，上升然后下降。
• 媒體和公眾對AI進(jìn)步的看法變得更加懷疑，人們對自動駕駛汽車和虛擬助手的期望越來越低，而浮華的演示也不再具有價值。

2020年的主要趨勢：

• 深度學(xué)習(xí)人群加快從視覺和語音識別等低級知覺任務(wù)到語言理解和常識性推理等高級認(rèn)知任務(wù)的“爬升”嘗試。
• 通過在問題上投入更多的數(shù)據(jù)和計算能力來獲得更好的結(jié)果的研究模式將達(dá)到極限，因為它的指數(shù)成本曲線比摩爾定律還要陡峭，即使富裕公司也負(fù)擔(dān)不起。
• 幸運的是，我們將進(jìn)入Goldilocks時代，那里既沒有關(guān)于AI的過度宣傳，也沒有另一個AI冬季。

Ajit Jaokar ：牛津大學(xué)“人工智能：云與邊緣實現(xiàn)”課程的課程主任。

在2019年，我們將牛津大學(xué)的課程更名為人工智能：云和邊緣實現(xiàn)，這也反映了我的個人觀點，即2019年是云成熟的一年。今年是我們談?wù)摰母鞣N技術(shù)（大數(shù)據(jù)，人工智能，物聯(lián)網(wǎng)等）在云框架內(nèi)融合在一起的一年。這種趨勢將繼續(xù)，特別是對于企業(yè)。公司將采取“數(shù)字化轉(zhuǎn)型”計劃-在這些計劃中，他們將使用云作為統(tǒng)一的范式來轉(zhuǎn)換由AI驅(qū)動的流程（類似于重新設(shè)計公司2.0）

在2020年，我還將看到NLP逐漸成熟（BERT，Megatron）。5G將繼續(xù)部署。當(dāng)2020年后5G全面部署（例如無人駕駛汽車）時，我們將看到IoT的廣泛應(yīng)用。最后，在IoT方面，我遵循一種稱為MCU（微控制器單元）的技術(shù)-特別是機(jī)器學(xué)習(xí)模型或MCU的部署。

我相信AI會改變游戲規(guī)則，每天我們都會看到許多有趣的AI部署示例。阿爾文·托夫勒（Alvin Toffler）在《Future shock》中所預(yù)測的大部分內(nèi)容，今天已經(jīng)在我們身邊了，人工智能究竟將如何放大，還有待觀察！可悲的是，人工智能的變化速度將使許多人落伍。

Charles Martin ：AI科學(xué)家和顧問，Calculation Consulting創(chuàng)始人。

2019年的AI在NLP方面取得了巨大進(jìn)步，例如BERT，ELMO，GPT-2等！OpenAI發(fā)布了他們的大型GPT-2模型，用于文本的DeepFakes。谷歌宣布將BERT用于搜索，這是自pandas以來的最大變化。甚至我在UC Berkeley的合作者都發(fā)布了（量化的）QBERT，用于低占用空間的硬件。每個人都在制作自己的文檔嵌入。

這對2020年意味著什么。根據(jù)搜索專家的說法，2020年將是具有相關(guān)性的一年。期望看到通過BERT樣式的微調(diào)嵌入，向量空間搜索最終會受到關(guān)注。

在底層，作為AI研究的選擇，2019年PyTorch超過Tensorflow。隨著TensorFlow 2.x的發(fā)布（以及pytorch的TPU支持）。2020年的AI編碼有希望將全部執(zhí)行。

大公司在AI方面正在進(jìn)步嗎？報告顯示成功率為十分之一。不是很好。因此，AutoML將在2020年出現(xiàn)需求，盡管我個人認(rèn)為，像取得出色的搜索結(jié)果一樣，成功的AI需要針對業(yè)務(wù)的定制解決方案。

Ines Montani ：致力于人工智能和自然語言處理技術(shù)的軟件開發(fā)人員，Explosion共同創(chuàng)始人。

在2019年，每個人都選擇“ DIY AI”而不是云解決方案。推動這一趨勢的一個因素是遷移學(xué)習(xí)的成功，這使任何人都可以更輕松地以良好的準(zhǔn)確性訓(xùn)練自己的模型，并根據(jù)他們的特定用例進(jìn)行微調(diào)。每個模型只有一個用戶，服務(wù)提供商無法利用規(guī)模經(jīng)濟(jì)。轉(zhuǎn)移學(xué)習(xí)的另一個優(yōu)點是，數(shù)據(jù)集不再需要那么大，因此注釋也在內(nèi)部移動。

內(nèi)部趨勢是一個積極的發(fā)展：商業(yè)AI的集中程度遠(yuǎn)低于許多人的預(yù)期。幾年前，人們擔(dān)心每個人都只能從一個提供商那里獲得“他們的AI”。如今取而代之的是，人們并沒有從任何提供商那里獲得AI，而是他們自己在做。

Dipanjan Sarkar ：Applied Materials的數(shù)據(jù)科學(xué)負(fù)責(zé)人，Google Developer Machine-Experts的作者，作家，顧問和培訓(xùn)師。

2019年人工智能領(lǐng)域的主要進(jìn)步是在Auto-ML，可解釋AI和深度學(xué)習(xí)領(lǐng)域。自最近幾年以來，數(shù)據(jù)科學(xué)的民主化仍然是一個關(guān)鍵方面，并且與Auto-ML有關(guān)的各種工具和框架都在試圖使這一過程變得更容易。還有一點需要注意的是，在使用這些工具時，我們需要小心以確保我們不會出現(xiàn)偏倚或過度擬合的模型。

公平，負(fù)責(zé)和透明仍然是客戶，企業(yè)和企業(yè)接受AI決策的關(guān)鍵因素。因此，可解釋的AI不再是僅限于研究論文的主題。許多優(yōu)秀的工具和技術(shù)已經(jīng)開始讓機(jī)器學(xué)習(xí)模型的決策更具可解釋性。同樣重要的是，在深度學(xué)習(xí)和轉(zhuǎn)移學(xué)習(xí)領(lǐng)域，尤其是在自然語言處理方面，我們已經(jīng)看到了許多進(jìn)步。

我希望在2020年圍繞NLP和計算機(jī)視覺的深度轉(zhuǎn)移學(xué)習(xí)領(lǐng)域看到更多的研究和模型，并希望有一些東西能夠充分利用深度學(xué)習(xí)和神經(jīng)科學(xué)的知識，從而引導(dǎo)我們邁向真正的AGI。

Elena Sharova ：ITV的高級數(shù)據(jù)科學(xué)家。

到目前為止，深度強化學(xué)習(xí)是2019年最重要的機(jī)器學(xué)習(xí)的發(fā)展，在深度強化學(xué)習(xí)DQN和AlphaGo的游戲中， 導(dǎo)致圍棋冠軍Lee Sedol退役。另一個重要的進(jìn)步是自然語言處理，谷歌和微軟開源了BERT（深度雙向語言表示），從而領(lǐng)導(dǎo)了GLUE基準(zhǔn)測試，并開發(fā)了用于語音解析任務(wù)的MT-DNN集成并進(jìn)行了開源采購。

重要的是要強調(diào)歐洲委員會發(fā)布的《Ethics guidelines for trustworthy AI》（人工智能道德準(zhǔn)則），這是關(guān)于人工智能道德的第一份正式準(zhǔn)則，其中列出了關(guān)于合法，道德和AI發(fā)展的明智準(zhǔn)則。

最后，我想要分享一點，PyData London 2019的所有主題演講者都是女性，這是一個可喜的進(jìn)步。

我預(yù)計2020年的主要機(jī)器學(xué)習(xí)發(fā)展趨勢將在NLP和計算機(jī)視覺領(lǐng)域內(nèi)繼續(xù)。

Rosaria Silipo ：KNIME首席數(shù)據(jù)科學(xué)家。

2019年最有希望的成就是采用主動學(xué)習(xí)，強化學(xué)習(xí)和其他半監(jiān)督學(xué)習(xí)程序。半監(jiān)督學(xué)習(xí)可能有希望填充我們數(shù)據(jù)庫的所有這些未標(biāo)記數(shù)據(jù)存根。

另一個重大進(jìn)步是在auto-ML概念中用“指導(dǎo)”對“自動”一詞進(jìn)行了更正。對于更復(fù)雜的數(shù)據(jù)科學(xué)問題，專家干預(yù)似乎是必不可少的。

2020年，數(shù)據(jù)科學(xué)家需要一種快速的解決方案，以實現(xiàn)簡單的模型部署，持續(xù)的模型監(jiān)視和靈活的模型管理。真正的業(yè)務(wù)價值將來自數(shù)據(jù)科學(xué)生命周期的這三個最終部分。

我還相信，深度學(xué)習(xí)黑匣子的更廣泛使用將引發(fā)機(jī)器學(xué)習(xí)可解釋性（MLI）的問題。到2020年底，我們將看到MLI算法是否能夠應(yīng)對詳盡解釋深度學(xué)習(xí)模型閉門事件的挑戰(zhàn)。

Daniel Tunkelang ：專門從事搜索、挖掘、ML / AI的獨立顧問。

• AI的最前沿仍然專注于語言理解和生成。
• OpenAI發(fā)布了GPT-2以預(yù)測和生成文本。出于對惡意應(yīng)用程序的關(guān)注，OpenAI當(dāng)時并未發(fā)布經(jīng)過訓(xùn)練的模型，但最終他們改變了主意。
• Google發(fā)布了大小為80MB的安裝在設(shè)備上的語音識別器，從而可以在移動設(shè)備上執(zhí)行語音識別，而無需將數(shù)據(jù)發(fā)送到云端。
• 同時，我們看到了有關(guān)AI和隱私的擔(dān)憂日益加劇。今年，所有涉及聽取用戶對話的問題都受到強烈的反對。
• 2020年將為人工智能帶來什么？我們將看到對話式AI的進(jìn)一步發(fā)展，以及更好的圖像和視頻生成。這些進(jìn)展將使人們更加關(guān)注惡意應(yīng)用程序，并且我們可能會看到一兩個丑聞，尤其是在選舉年。善惡AI之間的張力不會消失，我們必須學(xué)習(xí)更好的應(yīng)對方法。