作者 | William G. Wong

出品 | CDA數(shù)據(jù)分析師

英文標(biāo)題 | Machine Learning: The Magic is How it Works

雖然人工智能的發(fā)展還沒有達(dá)到人類的想象和預(yù)期，但機(jī)器學(xué)習(xí)工具已經(jīng)可以使應(yīng)用程序做一些神奇的事情了。

最近,我和朋友談?wù)撊斯ぶ悄埽ˋI）和機(jī)器學(xué)習(xí)（ML），大家認(rèn)為，如果用魔術(shù)這個(gè)詞代替AI或ML，那么很多討論和研究會(huì)包含相當(dāng)多有用的信息量。形成這總現(xiàn)狀的原因有很多，包括對(duì)AI，ML等當(dāng)前發(fā)展的誤解，更具體地說，深度神經(jīng)網(wǎng)絡(luò)（DNN） - 特別是ML模型實(shí)際上在做什么和理解ML模型如何被協(xié)同使用。

希望工作中涉及到ML的人們能夠接受我的解釋,因?yàn)樗麄兊哪繕?biāo)是那些想要理解和使用ML的工程師，即使ML公司正在大肆宣傳的炒作,但實(shí)際上他們還沒有做到宣傳的程度。超過一半的人正在研究ML，但只有一小部分實(shí)際上將其納入產(chǎn)品中。然而這個(gè)數(shù)字正在快速增長(zhǎng)。

ML只是AI領(lǐng)域的一部分，許多ML工具和模型可供使用，或者正在使用，或者正在開發(fā)中（圖1）。DNN只是其中的一部分; 其他神經(jīng)網(wǎng)絡(luò)方法進(jìn)入混合，但后來(lái)更多。

神經(jīng)網(wǎng)絡(luò)只是人工智能研究的機(jī)器學(xué)習(xí)部分的一部分。

開發(fā)人員應(yīng)該更多地考慮ML模型，如快速傅里葉變換（FFT）或卡爾曼濾波器。它們是構(gòu)建具有特定功能的構(gòu)建塊，可以與類似的工具，模塊或模型結(jié)合使用來(lái)解決問題。將黑盒子串在一起的想法是可行的。FFT和DNN模型之間的區(qū)別在于配置。前者有一些參數(shù)，而DNN模型需要訓(xùn)練。

某些類型的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要數(shù)千個(gè)樣本，例如照片。這通常在云中完成，這樣可以應(yīng)用大量的存儲(chǔ)和計(jì)算能力。訓(xùn)練后的模型可以在終端使用，因?yàn)樗鼈兺ǔＰ枰^少的存儲(chǔ)和計(jì)算能力作為其訓(xùn)練對(duì)應(yīng)物?？梢栽趦煞N情況下使用AI加速器來(lái)提高性能并達(dá)到降低功率要求。

滾動(dòng)機(jī)器學(xué)習(xí)模型

可以訓(xùn)練大多數(shù)ML模型以使用不同的訓(xùn)練樣本集提供不同的結(jié)果。例如，貓照片的集合可以與某些模型一起使用以幫助識(shí)別貓。

模型可以執(zhí)行不同的功能，例如檢測(cè)，分類和分割。這些是基于圖像工具的常見應(yīng)用。其他功能可以包括路徑優(yōu)化或異常檢測(cè)，或提供推薦等。

單個(gè)模型通常不會(huì)提供大多數(shù)應(yīng)用程序所需的所有處理，輸入和輸出數(shù)據(jù)可能會(huì)受益于額外的處理。例如，降噪對(duì)于模型的音頻輸入可能是有用的。降噪可以由傳統(tǒng)的模擬或數(shù)字濾波器提供，或者同時(shí)存在于ML模型中。然后可以使用輸出來(lái)識(shí)別音素，單詞等，因?yàn)閿?shù)據(jù)被處理直到可能識(shí)別語(yǔ)音命令。

同樣，可以使用模型或過濾器來(lái)識(shí)別圖像中的感興趣區(qū)域。然后可以將該子集呈現(xiàn)給基于ML的識(shí)別子系統(tǒng)等等（圖2）。詳細(xì)程度取決于應(yīng)用程序。例如，基于視頻的門打開系統(tǒng)可能需要區(qū)分人和動(dòng)物以及運(yùn)動(dòng)方向，使得門僅在人朝向它移動(dòng)時(shí)打開。

可以使用不同的工具或ML模型來(lái)識(shí)別感興趣的區(qū)域，然后對(duì)這些區(qū)域進(jìn)行隔離和處理以區(qū)分諸如人和汽車之類的物體。

模型可以是定制的和預(yù)訓(xùn)練的，或者由開發(fā)者創(chuàng)建和訓(xùn)練。很大程度上取決于應(yīng)用程序的要求和目標(biāo)。例如，保持機(jī)器運(yùn)行可能意味著跟蹤系統(tǒng)中電動(dòng)機(jī)的操作。可以從提供給電動(dòng)機(jī)的功率到噪聲和振動(dòng)信息記錄和分析許多因素。

H2O.ai和XNor等公司正在為那些不想從頭開始或使用可能需要集成和定制的開源模型的人提供預(yù)建或定制的模型和培訓(xùn)。H2O.ai擁有針對(duì)特定平臺(tái)和服務(wù)的Enterprise Steam和Enterprise Puddle等軟件包。XNor的AI2Go使用菜單式方法：開發(fā)人員首先選擇目標(biāo)平臺(tái)，如Raspberry Pi，然后是行業(yè)，如汽車，然后是一個(gè)用例，如艙內(nèi)物體分類。最后一步是根據(jù)延遲和內(nèi)存占用限制選擇模型（圖3）

顯示的是XNor AI2Go菜單選擇過程的尾部。開發(fā)人員可以通過指定內(nèi)存占用和延遲時(shí)間來(lái)縮小對(duì)理想模型的搜索范圍。

這不是關(guān)于DNN的全部

在處理神經(jīng)網(wǎng)絡(luò)和類似技術(shù)時(shí)，開發(fā)人員需要牢記許多因素。涉及概率，ML模型的結(jié)果通常以百分比定義。例如，訓(xùn)練識(shí)別貓和狗的模型可能能夠提供圖像包含狗或貓的高度置信度。水平可以較低，區(qū)別于狗與貓等等，以至于識(shí)別出特定品種的動(dòng)物。

通過額外的培訓(xùn)，百分比通?？梢蕴岣撸兓ǔ２皇蔷€性的?？赡芎苋菀走_(dá)到50％的標(biāo)記，90％可能是一個(gè)很好的模型。但是，可能需要很多訓(xùn)練時(shí)間才能達(dá)到99％。

最大的問題是：“在決策過程中有哪些應(yīng)用要求以及有哪些替代方案？”這就是為什么在安全性和安全性是重要設(shè)計(jì)因素時(shí)使用多個(gè)傳感器的原因之一。

由于開源解決方案的可用性，包括TensorFlow和Caffe等平臺(tái)，DNN一直很受歡迎。他們已經(jīng)從Xilinx，NVIDIA，Intel等公司那里獲得了廣泛的硬件和軟件支持，但它們并不是唯一可用的神經(jīng)網(wǎng)絡(luò)工具。卷積神經(jīng)網(wǎng)絡(luò)（CNN），遞歸神經(jīng)網(wǎng)絡(luò)（RNN）和尖峰神經(jīng)網(wǎng)絡(luò)（SNN）是其他一些可用選擇。

SNNS通過使用BrainChip和埃塔計(jì)算。BrainChip的Akida開發(fā)環(huán)境（ADE）旨在支持SNN模型的創(chuàng)建。Eta Compute 通過SNN硬件增強(qiáng)了其超低功耗Cortex-M3微控制器。雖然所有神經(jīng)網(wǎng)絡(luò)方法都存在權(quán)衡，但SNN比DNN及其同類產(chǎn)品更容易訓(xùn)練。

Neurala的終身DNN（LDNN）是另一種ML方法，類似于DNN，具有較低的SNN訓(xùn)練開銷。LDNN是多年來(lái)開發(fā)的專有系統(tǒng)。它支持使用近似輕量級(jí)反向傳播的連續(xù)學(xué)習(xí)，允許學(xué)習(xí)繼續(xù)而無(wú)需保留初始訓(xùn)練信息。LDNN還需要更少的樣本來(lái)達(dá)到與傳統(tǒng)DNN相同的培訓(xùn)水平。

與DNN相比，精確度和識(shí)別水平存在折衷，但這種差異與涉及SNN的差異相似。由于涉及的因素很多，包括培訓(xùn)時(shí)間，樣本等，因此不可能在系統(tǒng)之間進(jìn)行直接比較。

LDNN可以受益于通用GPU（GPGPU）提供的AI加速。SNN更加輕巧，使其更易于在微控制器上使用。即便如此，只要模型不是太苛刻，DNN就可以在微控制器和低端DSP上運(yùn)行。圖像處理可能不實(shí)用，但是跟蹤電機(jī)控制系統(tǒng)上的異常是可行的。

克服ML挑戰(zhàn)

處理ML時(shí)存在許多挑戰(zhàn)。例如，過度擬合是基于培訓(xùn)的解決方案遇到的問題。當(dāng)模型與訓(xùn)練數(shù)據(jù)類似的數(shù)據(jù)很好地工作時(shí)，會(huì)發(fā)生這種情況，但對(duì)于新的數(shù)據(jù)則很差。LDNN使用基于閾值的自動(dòng)合并系統(tǒng)，可減少冗余權(quán)重向量并重置權(quán)重，同時(shí)保留新的有效異常值。

ML模型可以高精度地成功解決許多任務(wù)。然而，這并不意味著所有任務(wù)，無(wú)論它們是傳統(tǒng)的分類或分割問題，都可以適應(yīng)。有時(shí)，改變模型可以幫助或開發(fā)新模型。這是數(shù)據(jù)工程師可以派上用場(chǎng)的地方，盡管它們往往很少見且價(jià)格昂貴。

調(diào)試模型也可能是一個(gè)挑戰(zhàn)。ML模塊調(diào)試與調(diào)試傳統(tǒng)程序有很大不同。調(diào)試在應(yīng)用程序中工作的模型是另一個(gè)問題。請(qǐng)記住，模型的精度通常低于100％; 因此，需要設(shè)計(jì)應(yīng)用程序來(lái)處理這些條件。對(duì)于非關(guān)鍵應(yīng)用程序而言，這不是一個(gè)問題。但是，像自動(dòng)駕駛汽車這樣的應(yīng)用需要冗余，重疊的系統(tǒng)。

雪崩式的進(jìn)步

新系統(tǒng)繼續(xù)來(lái)自學(xué)術(shù)界和研究機(jī)構(gòu)。例如，“使用神經(jīng)形態(tài)傳感器學(xué)習(xí)感知運(yùn)動(dòng)控制：邁向超維度主動(dòng)感知”是馬里蘭大學(xué)工程系的一篇論文。Anton Mitrokhin和Peter Sutor Jr.，CorneliaFermüller和計(jì)算機(jī)科學(xué)教授Yiannis Aloimonos開發(fā)了一個(gè)用于集成傳感器數(shù)據(jù)，ML分析和控制的超維度管道。它使用自己的超維記憶系統(tǒng)。

ML過去一直沒有像其他編程工具那樣進(jìn)步。即使不轉(zhuǎn)向?qū)Ｓ糜布?，改進(jìn)也很顯著。部分原因在于改進(jìn)了軟件對(duì)優(yōu)化的支持，這些優(yōu)化可提高準(zhǔn)確性或性能，同時(shí)降低硬件要求。開發(fā)人員面臨的挑戰(zhàn)是確定要使用的硬件，使用什么ML工具以及如何將它們結(jié)合起來(lái)以解決其應(yīng)用問題。

現(xiàn)在制作大多數(shù)系統(tǒng)是值得的，而不是等待下一次改進(jìn)。一些平臺(tái)將向上兼容; 但是，其他人可能不會(huì)。使用硬件加速解決方案將限制可支持但具有顯著性能增益的ML模型，通常是多個(gè)數(shù)量級(jí)。

使用ML的系統(tǒng)并不神奇，它們的應(yīng)用可以使用傳統(tǒng)的設(shè)計(jì)方法。它們確實(shí)需要新的工具和調(diào)試技術(shù)，因此首次采用ML不應(yīng)該是輕率的任務(wù)。另一方面，回報(bào)可能很大，ML模型可能經(jīng)常提供傳統(tǒng)編程技術(shù)和框架所不具備的支持。

如上所述，單個(gè)ML模型可能不是特定應(yīng)用所需的。組合模型，過濾器和其他模塊需要了解每個(gè)模塊，因此不要假設(shè)它只是選擇ML模型和進(jìn)行有限數(shù)量的培訓(xùn)。在某些情況下這可能就足夠了，特別是如果應(yīng)用程序與現(xiàn)有模型匹配，但在嘗試之前不要指望它。