作者 | 機(jī)器之心

人工智能不是將要改變世界，而是正在改變世界。在新年以及新的十年開啟之際，VentureBeat 采訪了人工智能領(lǐng)域最杰出的頭腦，來回顧人工智能在 2019 年的進(jìn)展，展望機(jī)器學(xué)習(xí)在 2020 年的前景。受訪者包括 PyTorch 之父 Soumith Chintala、加州大學(xué)教授 Celeste Kidd、谷歌 AI 負(fù)責(zé)人 Jeff Dean、英偉達(dá)機(jī)器學(xué)習(xí)研究負(fù)責(zé)人 Anima Anandkumar，以及 IBM 研究主管 Dario Gil。

其中部分人預(yù)測(cè)半監(jiān)督學(xué)習(xí)和神經(jīng)符號(hào)方法等子領(lǐng)域?qū)⒊霈F(xiàn)進(jìn)展，而幾乎所有受訪者一致認(rèn)同 2019 年基于 Transformer 的自然語言模型取得巨大進(jìn)步，也都認(rèn)為對(duì)人臉識(shí)別等爭(zhēng)議性技術(shù)的討論仍會(huì)持續(xù)。此外，他們還期望 AI 領(lǐng)域不再只以準(zhǔn)確率論輸贏。

PyTorch 之父 Soumith Chintala

PyTorch 負(fù)責(zé)人、首席工程師和創(chuàng)造者 Soumith Chintala

不論用哪種衡量方式，PyTorch 都是現(xiàn)在全世界最流行的機(jī)器學(xué)習(xí)框架。PyTorch 是基于 2002 年發(fā)布的 Torch 開源框架的衍生，于 2016 年發(fā)布初始版本，目前其擴(kuò)展和庫均穩(wěn)步增長(zhǎng)。

在 2019 年秋季舉辦的 PyTorch 開發(fā)者大會(huì)上，F(xiàn)acebook 發(fā)布了 PyTorch 1.3 版本，該版本支持量化和 TPU 支持。會(huì)上還發(fā)布了深度學(xué)習(xí)可解釋性工具 Captum 和 PyTorch Mobile。此外，還有機(jī)器人框架 PyRobot 和代碼共享神器 PyTorch Hub，鼓勵(lì)機(jī)器學(xué)習(xí)從業(yè)者擁抱可復(fù)現(xiàn)性。

在這次 PyTorch 開發(fā)者大會(huì)上，Chintala 表示：2019 年機(jī)器學(xué)習(xí)領(lǐng)域幾乎沒有突破性進(jìn)展。

「我認(rèn)為，自 Transformer 之后，基本上沒有什么突破。2012 年 CNN 在 ImageNet 大賽上奪冠，迎來了高光時(shí)刻，2017 年是 Transformer。這是我的個(gè)人看法?！顾f。

他認(rèn)為 DeepMind 的 AlphaGo 對(duì)強(qiáng)化學(xué)習(xí)的貢獻(xiàn)是突破性的，但其結(jié)果很難在現(xiàn)實(shí)世界的實(shí)際任務(wù)中實(shí)現(xiàn)。

Chintala 還認(rèn)為，PyTorch 和 TensorFlow 等機(jī)器學(xué)習(xí)框架的演化改變了研究者探索新思路和做研究的方式?！高@些框架使研究者的速度比之前快了一兩個(gè)數(shù)量級(jí)，從這個(gè)角度看，這是一項(xiàng)巨大突破?！?/span>

2019 年，谷歌和 Facebook 的開源框架都引入了量化，用于提升模型訓(xùn)練速度。Chintala 預(yù)測(cè)，2020 年 PyTorch 的 JIT 編譯器和神經(jīng)網(wǎng)絡(luò)硬件加速器（如 Glow）等工具的重要性和采用范圍將迎來「爆發(fā)」。

「從 PyTorch 和 TensorFlow 中，可以看到框架的融合趨勢(shì)。量化以及大量其他較低級(jí)功能出現(xiàn)的原因是，框架之爭(zhēng)的下一戰(zhàn)是編譯器——XLA（TensorFlow）、TVM（陳天奇團(tuán)隊(duì)）、Glow（PyTorch），大量創(chuàng)新即將出現(xiàn)。未來幾年，你們會(huì)看到如何更智能地量化、更好地融合、更高效地使用 GPU，以及如何針對(duì)新硬件執(zhí)行自動(dòng)編譯。」

和本文大多數(shù)受訪者一樣，Chintala 預(yù)測(cè) 2020 年 AI 社區(qū)將用更多度量指標(biāo)衡量 AI 模型的性能，而不僅僅是準(zhǔn)確率。社區(qū)將注意力轉(zhuǎn)向其他因素，如創(chuàng)建模型所需的電量、如何向人類解釋輸出結(jié)果，以及如何使 AI 更好地反映人類想要構(gòu)建的社會(huì)。

「回望過去五六年，我們只關(guān)注準(zhǔn)確率和原始數(shù)據(jù)，例如『英偉達(dá)的模型更準(zhǔn)確，還是 Facebook 的模型更準(zhǔn)確？』我認(rèn)為，2020 年我們將（以更復(fù)雜的方式）思考，如果模型不具備良好的可解釋性（或滿足其他標(biāo)準(zhǔn)），那就算準(zhǔn)確率高出 3% 又怎樣呢？」Chintala 表示。

加州大學(xué)教授 Celeste Kidd

加州大學(xué)伯克利分校發(fā)展心理學(xué)家 Celeste Kidd。

Celeste Kidd 是加州大學(xué)伯克利分校 Kidd 實(shí)驗(yàn)室的主管，她和她的團(tuán)隊(duì)致力于探索兒童的學(xué)習(xí)方式。他們的見解可以幫助那些嘗試以類似于培養(yǎng)兒童的方式訓(xùn)練模型的神經(jīng)網(wǎng)絡(luò)創(chuàng)建者。

Kidd 表示：「人類嬰兒不需要標(biāo)注數(shù)據(jù)集，但他們也能學(xué)習(xí)得很好。這其中的關(guān)鍵在于我們需要理解這其中的原理?！?/span>

她認(rèn)為，當(dāng)你對(duì)嬰兒的行為綜合分析后，你確實(shí)會(huì)看到他們理解一些事物的證據(jù)，但是他們并非完美的學(xué)習(xí)者?！笅雰耗茏詣?dòng)學(xué)習(xí)很多東西」這種說法是對(duì)嬰兒能力的過度美化。

「嬰兒很棒，但他們也會(huì)出很多錯(cuò)。我看到人們隨意地進(jìn)行對(duì)比，將嬰兒的行為理想化了。我認(rèn)為人們將會(huì)更加重視如何將當(dāng)前的研究和未來的研究目標(biāo)之間的聯(lián)系」

在 AI 領(lǐng)域，「黑箱」一詞已誕生多年，該詞常用于批評(píng)神經(jīng)網(wǎng)絡(luò)缺乏可解釋性。但 Kidd 認(rèn)為，在 2020 年，可能不會(huì)再有這種對(duì)神經(jīng)網(wǎng)絡(luò)的認(rèn)識(shí)了。

「黑箱這個(gè)觀點(diǎn)是虛假的……大腦也是黑箱，而我們?cè)诹私獯竽X工作原理方面已經(jīng)獲得巨大進(jìn)展?！?/span>

在為「黑箱」理論祛魅的過程中，Kidd 閱讀了 MIT-IBM Watson AI 實(shí)驗(yàn)室執(zhí)行主任 Aude Oliva 的研究。

「我們當(dāng)時(shí)討論過這件事。我之前認(rèn)為系統(tǒng)是黑箱，她批評(píng)了我，說當(dāng)然不是黑箱。你當(dāng)然可以將它分割開來，查看其工作方式，并運(yùn)行實(shí)驗(yàn)，就像我們?cè)诹私庹J(rèn)知過程時(shí)所做的實(shí)驗(yàn)?zāi)菢??！?/span>

上個(gè)月，Kidd 在 NeurIPS 2019 開幕式上發(fā)表主旨演講。她的演講主要涉及人類大腦如何堅(jiān)持己見、注意力系統(tǒng)以及貝葉斯統(tǒng)計(jì)。

她注意到了內(nèi)容推薦系統(tǒng)如何操縱人類的想法。追求讓用戶最大程度參與的系統(tǒng)對(duì)人類如何形成想法和觀點(diǎn)有著重大影響。

2020 年，她希望看到更多人意識(shí)到技術(shù)工具和技術(shù)決策對(duì)現(xiàn)實(shí)生活的影響，拒絕「工具創(chuàng)造者不對(duì)工具使用者的行為和后果負(fù)責(zé)」的觀點(diǎn)。

「我聽到太多人用『我不是衛(wèi)道士』這樣的說辭自我辯護(hù)。我認(rèn)為必須有更多人意識(shí)到這是不誠(chéng)實(shí)的?！?/span>

「作為社會(huì)一員，尤其是作為研發(fā)這些工具的人，我們需要直接正視隨之而來的責(zé)任?！?/span>

谷歌 AI 負(fù)責(zé)人 Jeff Dean

谷歌 AI 負(fù)責(zé)人 Jeff Dean

Jeff Dean 在谷歌工作了二十年，現(xiàn)已領(lǐng)導(dǎo)谷歌 AI 近兩年，他是谷歌早期很多搜索和分布式網(wǎng)絡(luò)算法的設(shè)計(jì)師，谷歌大腦的早期成員。

Jeff Dean 在 NeurIPS 2019 會(huì)議上發(fā)表了兩場(chǎng)演講，這兩場(chǎng)演講分別關(guān)于使用機(jī)器學(xué)習(xí)設(shè)計(jì) ASIC 半導(dǎo)體（ML for Systems）和 AI 社區(qū)幫助解決氣候變化的方法（Tackling Climate Change with ML）。他認(rèn)為后者是這個(gè)時(shí)代最重要的問題之一。在關(guān)于氣候變化的演講里，Dean 討論了 AI 怎樣能夠成為零碳產(chǎn)業(yè)的方法，以及使用 AI 幫助改變?nèi)祟惖男袨椤?/span>

談到對(duì) 2020 年的期待，Dean 表示，他希望看到多模型學(xué)習(xí)領(lǐng)域的進(jìn)展。在這一領(lǐng)域中，多模態(tài)學(xué)習(xí)依賴多媒體數(shù)據(jù)進(jìn)行訓(xùn)練，而多任務(wù)學(xué)習(xí)則讓網(wǎng)絡(luò)通過訓(xùn)練一次就可以完成多項(xiàng)任務(wù)。

毫無疑問，2019 年最顯著的機(jī)器學(xué)習(xí)趨勢(shì)之一是：基于 Transformer 的自然語言模型的發(fā)展和壯大（上文中 Chintala 也認(rèn)為這是 AI 領(lǐng)域近年來的最大突破之一）。在 2018 年，谷歌開源了基于 Transformer 的模型 BERT。而 2019 年大量頂級(jí)性能的模型（如谷歌的 XLNet、微軟的 MT-DNN、Facebook 的 RoBERTa）都基于 Transformer 構(gòu)建。而且，谷歌發(fā)言人還告訴 VentureBeat，XLNet 2 將于本月底發(fā)布。

Jeff Dean 在談到 Transformer 進(jìn)展時(shí)表示，「基于 Transformer 實(shí)際獲得的機(jī)器學(xué)習(xí)模型可以執(zhí)行比之前更復(fù)雜的 NLP 任務(wù)，從這個(gè)角度看，這個(gè)領(lǐng)域的研究碩果累累?！沟撬a(bǔ)充道，該領(lǐng)域仍有發(fā)展空間。

「我們還是希望能夠使模型更多地理解語境。現(xiàn)在 BERT 等模型可以很好地處理數(shù)百個(gè)單詞的語境，但如果語境包含 10000 個(gè)單詞就不行了。這是一個(gè)有趣的研究方向?！?/span>

Dean 表示他希望社區(qū)更少去強(qiáng)調(diào)微小的 SOTA 進(jìn)展，而是多關(guān)注如何創(chuàng)建更穩(wěn)健的模型。

谷歌 AI 將推進(jìn)新計(jì)劃，如 2019 年 11 月開啟的內(nèi)部項(xiàng)目「Everyday Robot」，該項(xiàng)目旨在創(chuàng)造在家庭和工作環(huán)境中完成常見任務(wù)的機(jī)器人。

英偉達(dá)機(jī)器學(xué)習(xí)研究負(fù)責(zé)人 Anima Anandkumar

英偉達(dá)機(jī)器學(xué)習(xí)研究負(fù)責(zé)人 Anima Anandkumar

英偉達(dá)的 AI 研究圍繞多個(gè)領(lǐng)域展開，從針對(duì)醫(yī)療領(lǐng)域的聯(lián)邦學(xué)習(xí)到自動(dòng)駕駛、超級(jí)計(jì)算機(jī)、顯卡不一而足。

2019 年，在英偉達(dá)負(fù)責(zé)機(jī)器學(xué)習(xí)工作的 Anandkumar 的重點(diǎn)之一是強(qiáng)化學(xué)習(xí)模擬框架。目前這樣的框架越來越流行，也更加成熟。

2019 年，我們看到英偉達(dá)開發(fā)了自動(dòng)駕駛平臺(tái) Drive 和機(jī)器人模擬器 Isaac，以及基于模擬生成合成數(shù)據(jù)的模型和 GAN。

例如，去年 StyleGAN 和 GauGAN 等 AI 模型大出風(fēng)頭。而在上個(gè)月，英偉達(dá)還發(fā)布了 StyleGAN2。

這其中使用的便是 GAN 這一神經(jīng)網(wǎng)絡(luò)。這是一項(xiàng)能「混淆現(xiàn)實(shí)和虛擬界限」的技術(shù)，Anandkumar 認(rèn)為該技術(shù)能夠幫助解決 AI 社區(qū)面臨的難題，如抓握式機(jī)器臂和自動(dòng)駕駛。

Anandkumar 預(yù)測(cè)，2020 年迭代算法（iterative algorithm）、自監(jiān)督和自訓(xùn)練方法將有新的進(jìn)展。所謂自訓(xùn)練，指的是模型使用無監(jiān)督數(shù)據(jù)，通過自我訓(xùn)練得到改進(jìn)。

「我認(rèn)為迭代算法就是未來，因?yàn)槿绻阒蛔鲆粋€(gè)前饋網(wǎng)絡(luò)，它的穩(wěn)健性可能是個(gè)問題。而如果你嘗試進(jìn)行多次迭代——基于數(shù)據(jù)類型或準(zhǔn)確率要求來調(diào)試迭代，那么達(dá)到目標(biāo)的可能性就會(huì)大大增加。」

Anandkumar 認(rèn)為，2020 年 AI 社區(qū)將面臨多項(xiàng)挑戰(zhàn)，比如說，AI 社區(qū)需要和領(lǐng)域?qū)＜液献鳛樘囟ㄐ袠I(yè)創(chuàng)建模型。政策制定者、個(gè)人和 AI 社區(qū)還需要處理特征表示上的問題，并確保模型訓(xùn)練所用數(shù)據(jù)集能夠代表不同群體。

「我認(rèn)為人臉識(shí)別存在的問題是容易被發(fā)現(xiàn)的，但是，在很多領(lǐng)域中，人們還沒有意識(shí)到數(shù)據(jù)的使用會(huì)涉及隱私問題?！笰nandkumar 表示，人臉識(shí)別得到的關(guān)注最多，這是因?yàn)槿藗兒苋菀桌斫馊四樧R(shí)別如何損害個(gè)人隱私，而 2020 年 AI 社區(qū)將面臨更多倫理問題。

「我們需要更加審慎地審查數(shù)據(jù)收集和使用過程。歐洲正在這樣做，但在美國(guó)更應(yīng)該如此。出于正當(dāng)理由，美國(guó)國(guó)家運(yùn)輸安全委員會(huì)（NTSB）和聯(lián)邦公共交通管理局（FTA）等組織將更多地執(zhí)行此類操作。」

Anandkumar』s 認(rèn)為，2019 年的一大驚喜是文本生成模型的突飛猛進(jìn)。

「2019 是語言模型之年，不是嗎？現(xiàn)在，我們第一次得到了更連貫的文本生成結(jié)果，且其長(zhǎng)度相當(dāng)于整個(gè)段落，這在之前絕不可能，這非常棒?！?/span>

2019 年 8 月，英偉達(dá)發(fā)布了 Megatron 自然語言模型。該模型具備 80 億參數(shù)，被認(rèn)為是全球最大的 Transformer 模型。Anandkumar 表示，她被人們開始按模型是否具備人格或個(gè)性進(jìn)行分類的方式震驚到了。她期待看到更加適用于特定行業(yè)的文本模型。

「我們?nèi)匀粵]有到達(dá)交互式對(duì)話生成階段。在這個(gè)階段中，我們可以追蹤和進(jìn)行自然對(duì)話。我認(rèn)為 2020 年這一方向會(huì)有更多嘗試?！?/span>

開發(fā)控制文本生成的框架比開發(fā)圖像識(shí)別框架難度更大。而且文本生成模型會(huì)遇到為神經(jīng)模型定義事實(shí)等方面的挑戰(zhàn)。

IBM 研究主管 Dario Gil

IBM 研究主管 Dario Gil

Dario Gil 帶領(lǐng)的研究者團(tuán)隊(duì)為白宮和全球企業(yè)提供積極指導(dǎo)。他認(rèn)為，2019 年機(jī)器學(xué)習(xí)領(lǐng)域的重要進(jìn)展包括生成模型和語言模型的進(jìn)步。

他預(yù)測(cè)，使用較低精度架構(gòu)更高效地訓(xùn)練模型方面會(huì)有持續(xù)進(jìn)展。開發(fā)更高效的 AI 模型是 NeurIPS 的重點(diǎn)，IBM Research 在會(huì)上介紹了使用 8-bit 精度模型的深度學(xué)習(xí)技術(shù)。

「總體上，使用現(xiàn)有硬件和 GPU 架構(gòu)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的方式仍然是低效的。因此，從根本上重新思考非常重要。我們已經(jīng)提升了 AI 的計(jì)算效率，我們還將做得更多?！?/span>

Gil 引用研究表示，機(jī)器學(xué)習(xí)訓(xùn)練的需求每三個(gè)半月翻一番，比摩爾定律預(yù)測(cè)的要快得多。

Gil 對(duì) AI 加速推動(dòng)科學(xué)新發(fā)現(xiàn)感到很振奮，但他表示，IBM 研究院的研究重點(diǎn)將是神經(jīng)符號(hào)方法。

2020 年，Gil 希望 AI 從業(yè)者和研究者能夠關(guān)注準(zhǔn)確率以外的度量指標(biāo)，考慮在生產(chǎn)環(huán)境中部署模型的價(jià)值。AI 領(lǐng)域轉(zhuǎn)向構(gòu)建受信任的系統(tǒng)，而不是準(zhǔn)確率至上，這將是 AI 得到繼續(xù)采用的關(guān)鍵。

「社區(qū)中有些人可能會(huì)說『不要擔(dān)心，只需要提高準(zhǔn)確率。人們會(huì)習(xí)慣黑箱這件事的?！?，或者他們認(rèn)為人類有時(shí)做決策時(shí)也不給出解釋啊。我認(rèn)為將社區(qū)的智力聚焦于比準(zhǔn)確率更好的事情是非常非常重要的。在任務(wù)關(guān)鍵型應(yīng)用中，AI 系統(tǒng)不能是黑箱?！?/span>

AI 只有少數(shù)機(jī)器學(xué)習(xí)奇才能做，具備數(shù)據(jù)科學(xué)和軟件工程技能的更多人只用使用它就行了。Gil 認(rèn)為這種認(rèn)知應(yīng)該摒棄。

「如果我們讓 AI 保持神秘，只有該領(lǐng)域的 PhD 才能研究，這對(duì) AI 的應(yīng)用沒有好處?！?/span>

2020 年，Gil 對(duì)神經(jīng)符號(hào) AI 尤其感興趣。IBM 將尋找神經(jīng)符號(hào)方法為概率編程（讓 AI 學(xué)習(xí)如何編程）和能夠分享決策背后原因的模型等賦能。

「采用神經(jīng)符號(hào)方法，能夠?qū)W(xué)習(xí)和推理結(jié)合起來，即符號(hào)維度嵌入到學(xué)習(xí)程序中。通過這種方式，我們已經(jīng)證明可使用所需數(shù)據(jù)的一部分進(jìn)行學(xué)習(xí)。因?yàn)槟銓W(xué)習(xí)了程序，你的最終輸出是可解釋的，因?yàn)橛辛诉@些可解釋的輸出，系統(tǒng)就更加可信。」

公平性、數(shù)據(jù)完整性和數(shù)據(jù)集選擇問題仍是關(guān)注的重點(diǎn)。同樣，和生物識(shí)別技術(shù)相關(guān)的領(lǐng)域也是如此。人臉識(shí)別獲得了巨大關(guān)注，這只是個(gè)開始。隨著語音數(shù)據(jù)的敏感度上升，其他形式的生物識(shí)別特征也會(huì)日益受到關(guān)注。

「和人類身份和生物識(shí)別特征有關(guān)的工作，以及使用 AI 分析這些信息依然是研究中的核心問題。」

除了 MIT-IBM Watson 實(shí)驗(yàn)室的主要項(xiàng)目——神經(jīng)符號(hào)和常識(shí)推理以外，Gil 表示 2020 年 IBM 研究院還將探索用于 AI 的量子計(jì)算，以及較低精度架構(gòu)以外的 AI 模擬硬件。

總結(jié)

機(jī)器學(xué)習(xí)將繼續(xù)塑造商業(yè)和社會(huì)，本文采訪的這些研究者和專家發(fā)現(xiàn)了如下趨勢(shì)：

• 神經(jīng)語言模型的進(jìn)展是 2019 年的重大事件，Transformer 是其背后的巨大助力。2020 年會(huì)出現(xiàn)更多 BERT 變體和基于 Transformer 的模型。
• AI 行業(yè)應(yīng)該尋找準(zhǔn)確率以外的模型輸出度量指標(biāo)。
• 2020 年，半監(jiān)督學(xué)習(xí)、神經(jīng)符號(hào)等方法和多任務(wù)學(xué)習(xí)、多模態(tài)學(xué)習(xí)等子領(lǐng)域可能出現(xiàn)進(jìn)展。
• 和生物識(shí)別數(shù)據(jù)（如語音記錄）相關(guān)的倫理挑戰(zhàn)可能繼續(xù)成為爭(zhēng)議焦點(diǎn)。
• 編譯器和量化等方法可能在 PyTorch 和 TensorFlow 等機(jī)器學(xué)習(xí)框架中更加流行，以作為優(yōu)化模型性能的方式。