▲利用機(jī)器學(xué)習(xí)來(lái)優(yōu)化生產(chǎn)高能等離子體的設(shè)備

隨著來(lái)自無(wú)數(shù)領(lǐng)域的科學(xué)家急于進(jìn)行算法分析，谷歌的Patrick Riley呼吁在研究和報(bào)告方面制定明確的標(biāo)準(zhǔn)。

作者 | Patrick Riley

出品 | CDA數(shù)據(jù)分析師

Three pitfalls to avoid in machine learning

機(jī)器學(xué)習(xí)正在推動(dòng)整個(gè)科學(xué)的發(fā)現(xiàn)。其強(qiáng)大的模式發(fā)現(xiàn)和預(yù)測(cè)工具正在幫助各個(gè)領(lǐng)域的研究人員 - 從發(fā)現(xiàn)分子的新方法和在分析中發(fā)現(xiàn)細(xì)微信號(hào)，到改善醫(yī)學(xué)診斷和揭示基本粒子。

然而，機(jī)器學(xué)習(xí)工具也會(huì)變成傻瓜的黃金 - 誤報(bào)，盲目的小巷和錯(cuò)誤。許多算法都非常復(fù)雜，以至于無(wú)法檢查所有參數(shù)或無(wú)法確切地了解輸入的操作方式。隨著這些算法開(kāi)始得到更廣泛的應(yīng)用，誤解，錯(cuò)誤結(jié)論和浪費(fèi)的科學(xué)努力的風(fēng)險(xiǎn)將呈螺旋式上升。

這些問(wèn)題并不新鮮。機(jī)器學(xué)習(xí)領(lǐng)域幾十年來(lái)一直受到“坦克問(wèn)題”的影響。最初的研究似乎是在20世紀(jì)60年代出現(xiàn)的（參考文獻(xiàn)1是本研究中最早的合理參考文獻(xiàn);感謝軟件工程師Jeff Kaufman）并被時(shí)間的迷霧所掩蓋，但故事就是這樣。研究人員在軍方提供的照片中編寫(xiě)了一種算法來(lái)發(fā)現(xiàn)坦克。該模型在測(cè)試圖像中成功找到了坦克。但它后來(lái)因?yàn)槲磥?lái)的真實(shí)照片而失敗了。為什么？復(fù)述中的細(xì)節(jié)各不相同，但它所訓(xùn)練的圖片包含其他圖案 - 在晨光中或在云層下出現(xiàn)的坦克。因此，推動(dòng)算法的是其他因素，而不是坦克的存在。

類(lèi)似的混亂今天引起了反省。許多機(jī)器學(xué)習(xí)論文未能完成足夠的實(shí)驗(yàn)。審查標(biāo)準(zhǔn)不一致。競(jìng)爭(zhēng)鼓勵(lì)一些研究人員一旦認(rèn)為他們有他們想要的答案就偷工減料并跳過(guò)檢查。

我們無(wú)法預(yù)測(cè)每次分析會(huì)產(chǎn)生的所有困難。但是，至少，研究人員將機(jī)器學(xué)習(xí)帶到他們的領(lǐng)域應(yīng)該熟悉他們可以用來(lái)檢測(cè)和避免它們的常見(jiàn)陷阱和實(shí)踐。

為了說(shuō)明這一點(diǎn)，我強(qiáng)調(diào)了我們?cè)贕oogle Accelerated Science團(tuán)隊(duì)中面臨和克服的機(jī)器學(xué)習(xí)分析中的三個(gè)問(wèn)題。

三個(gè)問(wèn)題

1、不恰當(dāng)?shù)夭鸱謹(jǐn)?shù)據(jù)

在構(gòu)建模型時(shí)，機(jī)器學(xué)習(xí)從業(yè)者通常會(huì)將數(shù)據(jù)分解為訓(xùn)練和測(cè)試集。訓(xùn)練集訓(xùn)練模型，并通過(guò)它對(duì)測(cè)試集的描述程度來(lái)評(píng)估模型的性能。研究人員通常會(huì)隨機(jī)分割數(shù)據(jù)。但現(xiàn)實(shí)生活中的數(shù)據(jù)很少是隨機(jī)的。它們可能包含時(shí)間趨勢(shì) - 例如收集數(shù)據(jù)的方式的變化，或者收集的信息的不同選擇。

例如，這些歷史模式被埋藏在分子的數(shù)據(jù)集中，其通過(guò)機(jī)器學(xué)習(xí)算法虛擬地篩選以找到藥物的候選者。挑戰(zhàn)在于預(yù)測(cè)假設(shè)分子如何有效地被吸收到體內(nèi)或減少炎癥。篩選開(kāi)始于分子的數(shù)據(jù)，這些分子具有或不具有期望的效果。但是收集數(shù)據(jù)的背景可能與機(jī)器學(xué)習(xí)模型的使用方式不同。

▲使用機(jī)器學(xué)習(xí)來(lái)尋找能量材料

例如，模型可以建立在公開(kāi)可用的一組分子上，然后用于不同的專(zhuān)有集合?；瘜W(xué)家的凝視經(jīng)常從某些分子群轉(zhuǎn)向其他分子，當(dāng)有希望的導(dǎo)聯(lián)被檢查和丟棄時(shí)。因此，研究人員經(jīng)常高估模型在實(shí)踐中的表現(xiàn)。這可能導(dǎo)致預(yù)期膨脹，并且在選擇不當(dāng)?shù)姆肿由侠速M(fèi)時(shí)間和金錢(qián)。許多模型制作者（包括我自己）都陷入了這個(gè)陷阱。

換句話(huà)說(shuō)，您要回答的問(wèn)題應(yīng)該會(huì)影響您分割數(shù)據(jù)的方式。為了模型預(yù)測(cè)添加幾個(gè)原子對(duì)分子的影響，測(cè)試集中的每個(gè)分子應(yīng)該在訓(xùn)練集中具有一個(gè)不同原子的伙伴。如果你想對(duì)化學(xué)上不同的分子做出很好的預(yù)測(cè)，那么測(cè)試集中的每個(gè)分子都應(yīng)該與訓(xùn)練集中的所有分子不同。分割數(shù)據(jù)的“正確”方式可能并不明顯，但仔細(xì)考慮并嘗試多種方法可以提供更多洞察力。

2、隱藏的變量

在理想的實(shí)驗(yàn)中，研究人員只更改感興趣的變量并修復(fù)所有其他變量。在現(xiàn)實(shí)世界中，這種控制水平通常是不可能的。隨著時(shí)間的推移，設(shè)備的精度漂移，批次的試劑不同，一個(gè)實(shí)驗(yàn)條件在另一個(gè)之前進(jìn)行，結(jié)果甚至可能被天氣扭曲。這種不受控制的變量在機(jī)器學(xué)習(xí)模型中可能是有害的。

例如，我在Google的團(tuán)隊(duì)一直在加利福尼亞州Foothill Ranch的核聚變初創(chuàng)公司TAE Technologies工作，以?xún)?yōu)化生產(chǎn)高能等離子體4的實(shí)驗(yàn)。我們建立了模型，試圖了解等離子機(jī)的最佳設(shè)備設(shè)置。存在數(shù)百個(gè)控制參數(shù)，從何時(shí)激勵(lì)電極到要設(shè)置在磁體上的電壓。記錄一系列測(cè)量值，包括溫度和光譜。

我們從數(shù)千次運(yùn)行的等離子機(jī)中獲取了數(shù)月的數(shù)據(jù)。設(shè)備調(diào)整和修改以及組件磨損并嘗試不同的想法時(shí)，設(shè)置會(huì)有所不同。當(dāng)我們到達(dá)一個(gè)模型時(shí)，我們很高興，根據(jù)給定的設(shè)置預(yù)測(cè)，等離子體的能量是否會(huì)很高。很快，很明顯我們的預(yù)測(cè)不是基于我們的想法。

▲在印度馬杜賴(lài)的Aravind醫(yī)院進(jìn)行眼科檢查，工作人員和谷歌研究人員正試圖自動(dòng)診斷由糖尿病引起的失明。

當(dāng)我們?cè)俅斡?xùn)練模型時(shí)，將實(shí)驗(yàn)時(shí)間作為唯一輸入，而不是機(jī)器的所有設(shè)置，我們獲得了類(lèi)似的預(yù)測(cè)能力。為什么？我們認(rèn)為我們的第一個(gè)模型鎖定時(shí)間趨勢(shì)，而不是物理現(xiàn)象。隨著實(shí)驗(yàn)的進(jìn)行，有一段時(shí)間機(jī)械運(yùn)行良好，有些時(shí)間沒(méi)有。因此，實(shí)驗(yàn)的時(shí)間可以為您提供有關(guān)產(chǎn)生的等離子體是否為高能量的信息。此外，可以從控制參數(shù)的設(shè)置大致預(yù)測(cè)實(shí)驗(yàn)的時(shí)間 - 這些變化的時(shí)間趨勢(shì)也是如此。

隱藏變量也可以源于實(shí)驗(yàn)布局。例如，我們正在與許多合作者合作解釋顯微鏡圖像，包括紐約市的紐約干細(xì)胞基金會(huì)研究所。圖像包括在板上的生物實(shí)驗(yàn)陣列 - 通常是包含細(xì)胞和液體的孔的網(wǎng)格。目標(biāo)是找到具有某些特征的孔，例如化學(xué)處理后細(xì)胞外觀的變化。但生物變異意味著每個(gè)板塊看起來(lái)總是略有不同。并且單個(gè)板塊可能存在差異。邊緣通?？雌饋?lái)與中心不同，例如，如果更多液體在外圍井中蒸發(fā)或者板是否傾斜。

機(jī)器學(xué)習(xí)算法可以輕松掌握這些無(wú)意識(shí)的變化。例如，該模型可能只是確定哪些井位于板的邊緣。檢查是否發(fā)生這種情況的一種簡(jiǎn)單方法是讓模型預(yù)測(cè)其他事物，例如盤(pán)子上的位置，盤(pán)子是什么以及圖像來(lái)自哪個(gè)批次。如果它可以做到這一點(diǎn)，請(qǐng)懷疑你的結(jié)果。

得到的教訓(xùn)是：使用多個(gè)機(jī)器學(xué)習(xí)模型來(lái)檢測(cè)意外和隱藏的變量。一個(gè)模型側(cè)重于您關(guān)心的問(wèn)題 - 等離子是高能還是低能; 細(xì)胞是健康還是生??？其他模型清除了混雜因素。如果后者的結(jié)果很強(qiáng)，請(qǐng)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，進(jìn)行進(jìn)一步的實(shí)驗(yàn)或調(diào)整結(jié)論。

3、誤解目標(biāo)

機(jī)器學(xué)習(xí)算法要求研究人員指定一個(gè)“損失函數(shù)”，它決定了各種錯(cuò)誤的嚴(yán)重程度 - 例如，最好是兩個(gè)錯(cuò)誤是1％，還是單個(gè)錯(cuò)誤2％。從業(yè)者傾向于使用一小部分功能，這些功能無(wú)法捕捉他們真正關(guān)心的內(nèi)容。

例如，我們一直在使用機(jī)器學(xué)習(xí)來(lái)幫助求解偏微分方程。這些公式在科學(xué)中很常見(jiàn)，包括流體動(dòng)力學(xué)，電磁學(xué)，材料科學(xué)，天體物理學(xué)和經(jīng)濟(jì)建模。通常，它們必須以數(shù)字方式解決，我們訓(xùn)練模型以在有限的分辨率下提供更好的準(zhǔn)確性。

▲神經(jīng)技術(shù)和AI的四個(gè)道德優(yōu)先事項(xiàng)

我們從一個(gè)方程開(kāi)始描述水波如何在一個(gè)維度上傳播。該算法的任務(wù)是重復(fù)預(yù)測(cè)當(dāng)前步驟的下一個(gè)時(shí)間步長(zhǎng)。我們有兩種略有不同的配方和訓(xùn)練模型。根據(jù)我們的損失函數(shù)，這兩個(gè)模型同樣好。然而，一個(gè)產(chǎn)生廢話(huà)，而另一個(gè)產(chǎn)生了接近期望的結(jié)果。

為什么？控制學(xué)習(xí)的損失函數(shù)只考慮下一步的錯(cuò)誤，而不是多步驟的解決方案的有效性，這正是我們真正想要的。

發(fā)散目標(biāo)也冒出了我們的機(jī)器篩選工作，為糖尿病視網(wǎng)膜病變，糖尿病的并發(fā)癥及預(yù)防失明的世界的首要原因。如果從眼睛后部的圖像中提早檢測(cè)到，則可以有效地治療該病癥。當(dāng)我們收集數(shù)據(jù)并讓眼科醫(yī)生根據(jù)圖像提供診斷時(shí)，我們要求我們的機(jī)器學(xué)習(xí)工具預(yù)測(cè)眼科醫(yī)生會(huì)說(shuō)些什么。出現(xiàn)了兩個(gè)問(wèn)題。

首先，眼科醫(yī)生經(jīng)常不同意診斷。因此，我們意識(shí)到我們不能將模型建立在單一預(yù)測(cè)上。我們也不能使用多數(shù)票，因?yàn)樵卺t(yī)療準(zhǔn)確性方面，有時(shí)少數(shù)意見(jiàn)是正確的。其次，單一疾病的診斷實(shí)際上并不是真正的目標(biāo)。我們本來(lái)應(yīng)該問(wèn)：'該病人應(yīng)該去看醫(yī)生嗎？' 因此，我們將目標(biāo)從單一疾病的診斷擴(kuò)展到多種疾病。

機(jī)器學(xué)習(xí)從業(yè)者很容易掌握數(shù)據(jù)和標(biāo)簽清晰的“明顯”目標(biāo)。但他們可能正在設(shè)置算法來(lái)解決錯(cuò)誤的問(wèn)題。必須牢記總體目標(biāo)，否則我們將生成能夠回答錯(cuò)誤問(wèn)題的精確系統(tǒng)。

接下來(lái)是什么？

首先，機(jī)器學(xué)習(xí)專(zhuān)家需要讓自己和同事保持更高的標(biāo)準(zhǔn)。當(dāng)新的實(shí)驗(yàn)室設(shè)備到來(lái)時(shí)，我們希望我們的實(shí)驗(yàn)室伙伴了解其功能，如何校準(zhǔn)，如何檢測(cè)錯(cuò)誤以及了解其功能的限制。因此，機(jī)器學(xué)習(xí)也是如此。沒(méi)有魔法，使用它們的人必須理解這些工具。

其次，不同的學(xué)科需要制定明確的標(biāo)準(zhǔn)，以便如何執(zhí)行和報(bào)告他們所在地區(qū)的機(jī)器學(xué)習(xí)。適當(dāng)?shù)目刂?，健全性檢查和錯(cuò)誤測(cè)量將因場(chǎng)而異，這些需要清楚地說(shuō)明，以便研究人員，審稿人和編輯能夠鼓勵(lì)良好的行為。

第三，機(jī)器學(xué)習(xí)科學(xué)家的教育需要包括這些更廣泛的問(wèn)題。雖然存在一些資源（例如http://ai.google/education），但我們還需要做更多工作。我們經(jīng)常教授算法和工具，但學(xué)生需要更多地了解如何應(yīng)用他們的算法并對(duì)其進(jìn)行適當(dāng)?shù)馁|(zhì)疑。

我們處于一個(gè)驚人的地步 - 計(jì)算能力，數(shù)據(jù)和算法匯集在一起，在機(jī)器學(xué)習(xí)的幫助下為發(fā)現(xiàn)創(chuàng)造了巨大的機(jī)會(huì)。作為一個(gè)科學(xué)界，我們有責(zé)任確保我們充分利用這個(gè)機(jī)會(huì)。