機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)，迫使重新評估芯片和系統(tǒng)的設(shè)計(jì)方式，這將改變未來幾十年的行業(yè)方向。

從芯片到軟件再到系統(tǒng)，計(jì)算領(lǐng)域?qū)⒃谖磥韼啄陜?nèi)因機(jī)器學(xué)習(xí)的普及而發(fā)生巨大變化。我們可能仍然將這些計(jì)算機(jī)稱為“通用圖靈機(jī)”，正如我們已有八十年或更長時(shí)間。但在實(shí)踐中，它們將與迄今為止構(gòu)建和使用的方式不同。

任何關(guān)心計(jì)算機(jī)工作的人以及對所有形式的機(jī)器學(xué)習(xí)感興趣的人都會感興趣。

今年2月，F(xiàn)acebook負(fù)責(zé)人工智能研究的負(fù)責(zé)人Yann LeCun在舊金山舉行的國際固態(tài)電路會議上發(fā)表了演講，該會議是世界上運(yùn)行時(shí)間最長的計(jì)算機(jī)芯片會議之一。在ISSCC，LeCun明確了計(jì)算機(jī)技術(shù)對人工智能研究的重要性。 LeCun說：“硬件功能和軟件工具既激勵(lì)又限制了AI研究人員想象并將允許自己追求的想法類型，我們所掌握的工具比我們承認(rèn)的更能影響我們的想法”。

不難看出情況是怎樣的。從2006年開始，深度學(xué)習(xí)的興起不僅是因?yàn)榇罅繑?shù)據(jù)和機(jī)器學(xué)習(xí)中的新技術(shù)，例如“輟學(xué)”，而且還因?yàn)橛?jì)算能力越來越強(qiáng)。特別是，越來越多地使用來自Nvidia的圖形處理單元或“GPU”，導(dǎo)致計(jì)算的更大并行化。這使得對比以往更大的網(wǎng)絡(luò)的培訓(xùn)成為可能。20世紀(jì)80年代提出的“并行分布式處理”的前提，即人工網(wǎng)絡(luò)的節(jié)點(diǎn)同時(shí)被訓(xùn)練，最終成為現(xiàn)實(shí)。

一些人認(rèn)為，機(jī)器學(xué)習(xí)現(xiàn)在有望接管世界上大部分的計(jì)算活動。在2月份的ISSCC期間，LeCun 向ZDNet講述了計(jì)算方向的變化。LeCun說：“如果你走了五年，未來十年，你會看到計(jì)算機(jī)花費(fèi)時(shí)間做些什么，大多數(shù)情況下，我認(rèn)為他們會做一些像深度學(xué)習(xí)這樣的事情 - 就計(jì)算量而言”。他還指出，深度學(xué)習(xí)可能無法通過收入占據(jù)計(jì)算機(jī)銷售的大部分，但是，“就我們?nèi)绾蚊棵牖ㄙM(fèi)我們的毫瓦或我們的運(yùn)營而言，他們將花在神經(jīng)網(wǎng)絡(luò)上。

深度學(xué)習(xí)成倍增長

隨著深度學(xué)習(xí)成為計(jì)算的焦點(diǎn)，它正在推動當(dāng)今計(jì)算機(jī)能夠做到的界限，在某種程度上推動神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測的“推理任務(wù)”，但對于訓(xùn)練神經(jīng)網(wǎng)絡(luò)更是如此，計(jì)算密集型功能。

注：據(jù)OpenAI稱，自2012年以來，深度學(xué)習(xí)網(wǎng)絡(luò)對計(jì)算的需求每3.5個(gè)月翻一番。

諸如OpenAI的GPT-2之類的現(xiàn)代神經(jīng)網(wǎng)絡(luò)需要并行訓(xùn)練超過十億個(gè)參數(shù)或網(wǎng)絡(luò)權(quán)重。作為Facebook的熱門機(jī)器學(xué)習(xí)培訓(xùn)庫PyTorch的產(chǎn)品經(jīng)理，5月份告訴ZDNet，“模型越來越大，它們真的非常大，而且培訓(xùn)成本非常高?！?如今最大的模型通常不能完全存儲在GPU附帶的存儲器電路中。

此外：谷歌表示人工智能的“指數(shù)”增長正在改變計(jì)算的本質(zhì)

計(jì)算周期的需求速度越來越快。根據(jù)OpenAI提供的數(shù)據(jù)，早在2012年創(chuàng)建的令人尊敬的AlexNet圖像識別系統(tǒng)在總培訓(xùn)時(shí)間內(nèi)耗費(fèi)了相當(dāng)于每秒1000萬次浮點(diǎn)運(yùn)算的“千萬億次浮點(diǎn)運(yùn)算”，總時(shí)間達(dá)到一天。但AlphaZero是由谷歌的DeepMind在2016年建立的神經(jīng)網(wǎng)絡(luò)，它擊敗了世界上的國際象棋冠軍，并且每秒消耗超過一千天的千萬億次飛越。AlexNet和AlphaZero之間計(jì)算周期的增加使得每3.5個(gè)月的計(jì)算消耗量翻了一番。這是2016年收集的數(shù)據(jù)。到目前為止，步伐無疑會增加。

計(jì)算機(jī)芯片危機(jī)

世界甚至沒有佩戴千萬億次籌碼，用于深度學(xué)習(xí)培訓(xùn)的頂級芯片，如Nvidia的Tesla V100，每秒運(yùn)行112萬億次。因此，你必須運(yùn)行其中的八天1000天，否則將許多人聚集成一個(gè)耗費(fèi)越來越多能量的系統(tǒng)。

更糟糕的是，近年來芯片改進(jìn)的步伐已經(jīng)觸底。正如加州大學(xué)伯克利分校教授大衛(wèi)帕特森和英國航空公司董事長約翰軒尼詩在今年早些時(shí)候的一篇文章中所指出的那樣，摩爾定律即每十二至十八個(gè)月芯片功率增加一倍的經(jīng)驗(yàn)法則，已經(jīng)耗盡了氣體。英特爾長期以來一直否認(rèn)這一點(diǎn)，但數(shù)據(jù)是帕特森和軒尼詩的一面。正如他們在報(bào)告中提到的那樣，芯片性能現(xiàn)在每年僅增長3％。

這兩位作者都認(rèn)為，這意味著芯片的設(shè)計(jì)，眾所周知，它們的架構(gòu)必須徹底改變，以便從不會產(chǎn)生性能優(yōu)勢的晶體管中獲得更高的性能。（帕特森幫助谷歌創(chuàng)建了“Tensor Processing Unit”芯片，因此他對硬件如何影響機(jī)器學(xué)習(xí)非常了解，反之亦然。）

由于處理器的改進(jìn)停滯不前，但機(jī)器學(xué)習(xí)需求每隔幾個(gè)月翻一番，就必須付出代價(jià)。令人高興的是，如果以正確的方式看待，機(jī)器學(xué)習(xí)本身可以成為芯片設(shè)計(jì)的福音。因?yàn)?a href='/map/jiqixuexi/' style='color:#000;font-size:inherit;'>機(jī)器學(xué)習(xí)需要很少的遺留代碼支持 - 它不必運(yùn)行Excel或Word或Oracle DB - 并且正如他們所說的，對于芯片設(shè)計(jì)師，由于其最基本計(jì)算的高度重復(fù)性，機(jī)器學(xué)習(xí)是一種綠地機(jī)會。

建造一臺新機(jī)器

卷積神經(jīng)網(wǎng)絡(luò)和長期短期記憶網(wǎng)絡(luò)的核心，深度學(xué)習(xí)的兩個(gè)主要支柱，甚至在像谷歌的變形金剛這樣的更現(xiàn)代的網(wǎng)絡(luò)中，大多數(shù)計(jì)算都是線性代數(shù)計(jì)算，稱為張量數(shù)學(xué)。最常見的是，將一些輸入數(shù)據(jù)轉(zhuǎn)換為矢量，然后將該矢量乘以神經(jīng)網(wǎng)絡(luò)權(quán)重矩陣的列，并將所有這些乘法的乘積相加。稱為乘法相加，這些計(jì)算使用所謂的“乘法 - 累加”電路或“MAC”在計(jì)算機(jī)中呈現(xiàn)。因此，只需改進(jìn)MAC并在芯片上創(chuàng)建更多的MAC來增加并行化，就可以立即改善機(jī)器學(xué)習(xí)。

主導(dǎo)AI培訓(xùn)的Nvidia和其CPU主導(dǎo)機(jī)器學(xué)習(xí)推理的英特爾都試圖調(diào)整他們的產(chǎn)品以利用那些原子線性代數(shù)函數(shù)。Nvidia為其Tesla GPU添加了“張量核心”，以優(yōu)化矩陣乘法。英特爾已花費(fèi)300億美元收購那些從事機(jī)器學(xué)習(xí)的公司，包括Mobileye，Movidius和Nervana Systems，其中最后一個(gè)應(yīng)該在某個(gè)時(shí)候?qū)е隆癗ervana神經(jīng)網(wǎng)絡(luò)處理器”，盡管有延遲。

到目前為止，這些舉措并不能滿足機(jī)器學(xué)習(xí)的需求，例如Facebook的LeCun。在2月與ZDNet聊天期間，LeCun認(rèn)為，“我們需要的是競爭對手，現(xiàn)在，你知道，主導(dǎo)供應(yīng)商N(yùn)vidia”。 他還指出，這不是因?yàn)镹vidia沒有做出好的籌碼。這是“因?yàn)樗麄冏龀隽思僭O(shè)，并且擁有一套不同的硬件可以用來做當(dāng)前GPUS擅長的補(bǔ)充事物，這樣做會很不錯(cuò)。

另外：為什么人工智能報(bào)告如此糟糕？

他說，其中一個(gè)有缺陷的假設(shè)是假設(shè)訓(xùn)練神經(jīng)網(wǎng)絡(luò)將是一個(gè)可以操作的“整齊陣列”的問題。相反，未來的網(wǎng)絡(luò)可能會使用大量的網(wǎng)絡(luò)圖，其中神經(jīng)網(wǎng)絡(luò)的計(jì)算圖的元素作為指針流式傳輸?shù)教幚砥鳌eCun表示，芯片必須進(jìn)行大量的乘法增加，但對于如何將這些乘法增加呈現(xiàn)給處理器的期望不同。

作為TPU芯片貢獻(xiàn)者之一的谷歌軟件工程師Cliff Young，去年10月在硅谷舉行的芯片活動上發(fā)表了主題演講時(shí)更直言不諱。Young說：“很長一段時(shí)間，我們都拒絕了，并說英特爾和Nvidia非常擅長構(gòu)建高性能系統(tǒng)，”“五年前我們超越了這個(gè)門檻”。

創(chuàng)業(yè)公司的崛起

在這個(gè)漏洞中，新的芯片來自谷歌等人工智能巨頭，還有一大批風(fēng)險(xiǎn)投資支持的創(chuàng)業(yè)公司。

除了谷歌的TPU，現(xiàn)在已經(jīng)進(jìn)行了第三次迭代，微軟還有一個(gè)可編程處理器，一個(gè)名為Project Brainwave的“FPGA”，客戶可以通過其Azure云服務(wù)租用它。亞馬遜表示，它將在今年晚些時(shí)候推出自己的定制芯片，名為“Inferentia”。當(dāng)LeCun在2月份與ZDNet談話時(shí)，他提到Facebook有自己的籌碼。

他指出，像谷歌和Facebook這樣擁有大量產(chǎn)品的公司，對你自己的引擎工作是有道理的，這方面有內(nèi)部活動。

創(chuàng)業(yè)公司包括Graphcore，一家位于布里斯托爾的五年創(chuàng)業(yè)公司，一個(gè)位于倫敦西南一個(gè)半小時(shí)的港口城市; Cornami，Effinix和Flex Logix，所有這些都是由ZDNet描述的和硅谷的洛斯阿爾托斯的s系統(tǒng)公司仍然處于秘密模式。

許多這些初創(chuàng)公司都有一個(gè)共同點(diǎn)，那就是大大增加用于矩陣乘法的計(jì)算機(jī)芯片區(qū)域的數(shù)量，即MAC單元，以便在每個(gè)時(shí)鐘周期內(nèi)擠出最多的并行化。Graphcore是所有初創(chuàng)公司中最遠(yuǎn)的，是第一個(gè)真正向客戶發(fā)送生產(chǎn)芯片的公司。關(guān)于它的第一個(gè)芯片最引人注目的事情之一是大量的內(nèi)存。為了紀(jì)念世界上第一臺數(shù)字計(jì)算機(jī)，Colossus 被稱為芯片，面積巨大，面積為806平方毫米。首席技術(shù)官Simon Knowles稱其為“迄今為止最復(fù)雜的處理器芯片”。

Colossus由1,024個(gè)被稱為“智能處理單元”的獨(dú)立核心組成，每個(gè)核心都可以獨(dú)立處理矩陣數(shù)學(xué)。眾所周知，每個(gè)IPU都有自己的專用內(nèi)存，256千字節(jié)的快速SRAM內(nèi)存?？偣灿?04兆字節(jié)的內(nèi)存是芯片中最常用的內(nèi)存。

沒有人知道芯片上存在如此多的內(nèi)存會如何改變構(gòu)建的神經(jīng)網(wǎng)絡(luò)的種類?？赡苁峭ㄟ^訪問越來越多的內(nèi)存，訪問速度非常低，更多的神經(jīng)網(wǎng)絡(luò)將專注于以新的和有趣的方式重用存儲在內(nèi)存中的值。

軟件難題

對于所有這些芯片的努力，問題當(dāng)然是由于該公司的“CUDA”編程技術(shù)，他們沒有為Nvidia建立多年的軟件。Graphcore和其他人的答案將是雙重的。一個(gè)是用于機(jī)器學(xué)習(xí)的各種編程框架，例如TensorFlow和Pytorch，提供了一種避免芯片本身細(xì)節(jié)并專注于程序結(jié)構(gòu)的方法。所有進(jìn)入市場的芯片都支持這些框架，他們的創(chuàng)造者認(rèn)為這些框架與Nvidia的競爭環(huán)境。

第二點(diǎn)是Graphcore和其他人正在構(gòu)建自己的編程技術(shù)。他們可以證明他們的專有軟件既可以轉(zhuǎn)換框架，也可以智能地將并行計(jì)算分配給芯片上的眾多MAC單元和向量單元。這就是Graphcore為其“Poplar”軟件所做的論證。Poplar將神經(jīng)網(wǎng)絡(luò)的計(jì)算圖分解為“codelets”，并將每個(gè)codelet分配到Colossus的不同核心，以優(yōu)化并行處理。

在過去的二十年中，大數(shù)據(jù)和快速并行計(jì)算成為常態(tài)，推動了機(jī)器學(xué)習(xí)，帶來了深度學(xué)習(xí)。下一波計(jì)算機(jī)硬件和軟件可能是關(guān)于大量的內(nèi)存和神經(jīng)網(wǎng)絡(luò)，它們是動態(tài)構(gòu)建的，以利用高度并行的芯片架構(gòu)。未來看起來很有趣。

本文翻譯自：AI is changing the entire nature of compute（Machine learning, especially deep learning, is forcing a re-evaluation of how chips and systems are designed that will change the direction of the industry for decades to come.）