▲利用機器學(xué)習(xí)來優(yōu)化生產(chǎn)高能等離子體的設(shè)備

隨著來自無數(shù)領(lǐng)域的科學(xué)家急于進行算法分析，谷歌的Patrick Riley呼吁在研究和報告方面制定明確的標準。

作者 | Patrick Riley

出品 | CDA數(shù)據(jù)分析師

Three pitfalls to avoid in machine learning

機器學(xué)習(xí)正在推動整個科學(xué)的發(fā)現(xiàn)。其強大的模式發(fā)現(xiàn)和預(yù)測工具正在幫助各個領(lǐng)域的研究人員 - 從發(fā)現(xiàn)分子的新方法和在分析中發(fā)現(xiàn)細微信號，到改善醫(yī)學(xué)診斷和揭示基本粒子。

然而，機器學(xué)習(xí)工具也會變成傻瓜的黃金 - 誤報，盲目的小巷和錯誤。許多算法都非常復(fù)雜，以至于無法檢查所有參數(shù)或無法確切地了解輸入的操作方式。隨著這些算法開始得到更廣泛的應(yīng)用，誤解，錯誤結(jié)論和浪費的科學(xué)努力的風(fēng)險將呈螺旋式上升。

這些問題并不新鮮。機器學(xué)習(xí)領(lǐng)域幾十年來一直受到“坦克問題”的影響。最初的研究似乎是在20世紀60年代出現(xiàn)的（參考文獻1是本研究中最早的合理參考文獻;感謝軟件工程師Jeff Kaufman）并被時間的迷霧所掩蓋，但故事就是這樣。研究人員在軍方提供的照片中編寫了一種算法來發(fā)現(xiàn)坦克。該模型在測試圖像中成功找到了坦克。但它后來因為未來的真實照片而失敗了。為什么？復(fù)述中的細節(jié)各不相同，但它所訓(xùn)練的圖片包含其他圖案 - 在晨光中或在云層下出現(xiàn)的坦克。因此，推動算法的是其他因素，而不是坦克的存在。

類似的混亂今天引起了反省。許多機器學(xué)習(xí)論文未能完成足夠的實驗。審查標準不一致。競爭鼓勵一些研究人員一旦認為他們有他們想要的答案就偷工減料并跳過檢查。

我們無法預(yù)測每次分析會產(chǎn)生的所有困難。但是，至少，研究人員將機器學(xué)習(xí)帶到他們的領(lǐng)域應(yīng)該熟悉他們可以用來檢測和避免它們的常見陷阱和實踐。

為了說明這一點，我強調(diào)了我們在Google Accelerated Science團隊中面臨和克服的機器學(xué)習(xí)分析中的三個問題。

三個問題

1、不恰當?shù)夭鸱謹?shù)據(jù)

在構(gòu)建模型時，機器學(xué)習(xí)從業(yè)者通常會將數(shù)據(jù)分解為訓(xùn)練和測試集。訓(xùn)練集訓(xùn)練模型，并通過它對測試集的描述程度來評估模型的性能。研究人員通常會隨機分割數(shù)據(jù)。但現(xiàn)實生活中的數(shù)據(jù)很少是隨機的。它們可能包含時間趨勢 - 例如收集數(shù)據(jù)的方式的變化，或者收集的信息的不同選擇。

例如，這些歷史模式被埋藏在分子的數(shù)據(jù)集中，其通過機器學(xué)習(xí)算法虛擬地篩選以找到藥物的候選者。挑戰(zhàn)在于預(yù)測假設(shè)分子如何有效地被吸收到體內(nèi)或減少炎癥。篩選開始于分子的數(shù)據(jù)，這些分子具有或不具有期望的效果。但是收集數(shù)據(jù)的背景可能與機器學(xué)習(xí)模型的使用方式不同。

▲使用機器學(xué)習(xí)來尋找能量材料

例如，模型可以建立在公開可用的一組分子上，然后用于不同的專有集合?；瘜W(xué)家的凝視經(jīng)常從某些分子群轉(zhuǎn)向其他分子，當有希望的導(dǎo)聯(lián)被檢查和丟棄時。因此，研究人員經(jīng)常高估模型在實踐中的表現(xiàn)。這可能導(dǎo)致預(yù)期膨脹，并且在選擇不當?shù)姆肿由侠速M時間和金錢。許多模型制作者（包括我自己）都陷入了這個陷阱。

換句話說，您要回答的問題應(yīng)該會影響您分割數(shù)據(jù)的方式。為了模型預(yù)測添加幾個原子對分子的影響，測試集中的每個分子應(yīng)該在訓(xùn)練集中具有一個不同原子的伙伴。如果你想對化學(xué)上不同的分子做出很好的預(yù)測，那么測試集中的每個分子都應(yīng)該與訓(xùn)練集中的所有分子不同。分割數(shù)據(jù)的“正確”方式可能并不明顯，但仔細考慮并嘗試多種方法可以提供更多洞察力。

2、隱藏的變量

在理想的實驗中，研究人員只更改感興趣的變量并修復(fù)所有其他變量。在現(xiàn)實世界中，這種控制水平通常是不可能的。隨著時間的推移，設(shè)備的精度漂移，批次的試劑不同，一個實驗條件在另一個之前進行，結(jié)果甚至可能被天氣扭曲。這種不受控制的變量在機器學(xué)習(xí)模型中可能是有害的。

例如，我在Google的團隊一直在加利福尼亞州Foothill Ranch的核聚變初創(chuàng)公司TAE Technologies工作，以優(yōu)化生產(chǎn)高能等離子體4的實驗。我們建立了模型，試圖了解等離子機的最佳設(shè)備設(shè)置。存在數(shù)百個控制參數(shù)，從何時激勵電極到要設(shè)置在磁體上的電壓。記錄一系列測量值，包括溫度和光譜。

我們從數(shù)千次運行的等離子機中獲取了數(shù)月的數(shù)據(jù)。設(shè)備調(diào)整和修改以及組件磨損并嘗試不同的想法時，設(shè)置會有所不同。當我們到達一個模型時，我們很高興，根據(jù)給定的設(shè)置預(yù)測，等離子體的能量是否會很高。很快，很明顯我們的預(yù)測不是基于我們的想法。

▲在印度馬杜賴的Aravind醫(yī)院進行眼科檢查，工作人員和谷歌研究人員正試圖自動診斷由糖尿病引起的失明。

當我們再次訓(xùn)練模型時，將實驗時間作為唯一輸入，而不是機器的所有設(shè)置，我們獲得了類似的預(yù)測能力。為什么？我們認為我們的第一個模型鎖定時間趨勢，而不是物理現(xiàn)象。隨著實驗的進行，有一段時間機械運行良好，有些時間沒有。因此，實驗的時間可以為您提供有關(guān)產(chǎn)生的等離子體是否為高能量的信息。此外，可以從控制參數(shù)的設(shè)置大致預(yù)測實驗的時間 - 這些變化的時間趨勢也是如此。

隱藏變量也可以源于實驗布局。例如，我們正在與許多合作者合作解釋顯微鏡圖像，包括紐約市的紐約干細胞基金會研究所。圖像包括在板上的生物實驗陣列 - 通常是包含細胞和液體的孔的網(wǎng)格。目標是找到具有某些特征的孔，例如化學(xué)處理后細胞外觀的變化。但生物變異意味著每個板塊看起來總是略有不同。并且單個板塊可能存在差異。邊緣通?？雌饋砼c中心不同，例如，如果更多液體在外圍井中蒸發(fā)或者板是否傾斜。

機器學(xué)習(xí)算法可以輕松掌握這些無意識的變化。例如，該模型可能只是確定哪些井位于板的邊緣。檢查是否發(fā)生這種情況的一種簡單方法是讓模型預(yù)測其他事物，例如盤子上的位置，盤子是什么以及圖像來自哪個批次。如果它可以做到這一點，請懷疑你的結(jié)果。

得到的教訓(xùn)是：使用多個機器學(xué)習(xí)模型來檢測意外和隱藏的變量。一個模型側(cè)重于您關(guān)心的問題 - 等離子是高能還是低能; 細胞是健康還是生病？其他模型清除了混雜因素。如果后者的結(jié)果很強，請對數(shù)據(jù)進行標準化，進行進一步的實驗或調(diào)整結(jié)論。

3、誤解目標

機器學(xué)習(xí)算法要求研究人員指定一個“損失函數(shù)”，它決定了各種錯誤的嚴重程度 - 例如，最好是兩個錯誤是1％，還是單個錯誤2％。從業(yè)者傾向于使用一小部分功能，這些功能無法捕捉他們真正關(guān)心的內(nèi)容。

例如，我們一直在使用機器學(xué)習(xí)來幫助求解偏微分方程。這些公式在科學(xué)中很常見，包括流體動力學(xué)，電磁學(xué)，材料科學(xué)，天體物理學(xué)和經(jīng)濟建模。通常，它們必須以數(shù)字方式解決，我們訓(xùn)練模型以在有限的分辨率下提供更好的準確性。

▲神經(jīng)技術(shù)和AI的四個道德優(yōu)先事項

我們從一個方程開始描述水波如何在一個維度上傳播。該算法的任務(wù)是重復(fù)預(yù)測當前步驟的下一個時間步長。我們有兩種略有不同的配方和訓(xùn)練模型。根據(jù)我們的損失函數(shù)，這兩個模型同樣好。然而，一個產(chǎn)生廢話，而另一個產(chǎn)生了接近期望的結(jié)果。

為什么？控制學(xué)習(xí)的損失函數(shù)只考慮下一步的錯誤，而不是多步驟的解決方案的有效性，這正是我們真正想要的。

發(fā)散目標也冒出了我們的機器篩選工作，為糖尿病視網(wǎng)膜病變，糖尿病的并發(fā)癥及預(yù)防失明的世界的首要原因。如果從眼睛后部的圖像中提早檢測到，則可以有效地治療該病癥。當我們收集數(shù)據(jù)并讓眼科醫(yī)生根據(jù)圖像提供診斷時，我們要求我們的機器學(xué)習(xí)工具預(yù)測眼科醫(yī)生會說些什么。出現(xiàn)了兩個問題。

首先，眼科醫(yī)生經(jīng)常不同意診斷。因此，我們意識到我們不能將模型建立在單一預(yù)測上。我們也不能使用多數(shù)票，因為在醫(yī)療準確性方面，有時少數(shù)意見是正確的。其次，單一疾病的診斷實際上并不是真正的目標。我們本來應(yīng)該問：'該病人應(yīng)該去看醫(yī)生嗎？' 因此，我們將目標從單一疾病的診斷擴展到多種疾病。

機器學(xué)習(xí)從業(yè)者很容易掌握數(shù)據(jù)和標簽清晰的“明顯”目標。但他們可能正在設(shè)置算法來解決錯誤的問題。必須牢記總體目標，否則我們將生成能夠回答錯誤問題的精確系統(tǒng)。

接下來是什么？

首先，機器學(xué)習(xí)專家需要讓自己和同事保持更高的標準。當新的實驗室設(shè)備到來時，我們希望我們的實驗室伙伴了解其功能，如何校準，如何檢測錯誤以及了解其功能的限制。因此，機器學(xué)習(xí)也是如此。沒有魔法，使用它們的人必須理解這些工具。

其次，不同的學(xué)科需要制定明確的標準，以便如何執(zhí)行和報告他們所在地區(qū)的機器學(xué)習(xí)。適當?shù)目刂?，健全性檢查和錯誤測量將因場而異，這些需要清楚地說明，以便研究人員，審稿人和編輯能夠鼓勵良好的行為。

第三，機器學(xué)習(xí)科學(xué)家的教育需要包括這些更廣泛的問題。雖然存在一些資源（例如http://ai.google/education），但我們還需要做更多工作。我們經(jīng)常教授算法和工具，但學(xué)生需要更多地了解如何應(yīng)用他們的算法并對其進行適當?shù)馁|(zhì)疑。

我們處于一個驚人的地步 - 計算能力，數(shù)據(jù)和算法匯集在一起，在機器學(xué)習(xí)的幫助下為發(fā)現(xiàn)創(chuàng)造了巨大的機會。作為一個科學(xué)界，我們有責(zé)任確保我們充分利用這個機會。