大數(shù)據(jù)時(shí)代下的遷移學(xué)習(xí)

遷移學(xué)習(xí)不是機(jī)器學(xué)習(xí)的一個(gè)模型或技術(shù)，它是機(jī)器學(xué)習(xí)中的一種“設(shè)計(jì)方法論”，還有一些其他的設(shè)方法論，比如說主動(dòng)學(xué)習(xí)。

本文是AI科技大本營編譯的遷移學(xué)習(xí)系列的第一篇文章。第二篇文章也會(huì)在近期放送給大家，其中討論了遷移學(xué)習(xí)的兩種應(yīng)用。

在后續(xù)的文章中，作者將解釋如何結(jié)合主動(dòng)學(xué)習(xí)與遷移學(xué)習(xí)來最優(yōu)地利用現(xiàn)有(或者新的)數(shù)據(jù)。 從廣義上說，在利用外部信息來提高性能或泛化能力時(shí)，可以使用遷移學(xué)習(xí)來實(shí)現(xiàn)一些機(jī)器學(xué)習(xí)的應(yīng)用。

▌遷移學(xué)習(xí)的定義

遷移學(xué)習(xí)的總體思路是：對于帶大量標(biāo)簽數(shù)據(jù)及可用參數(shù)設(shè)置的源任務(wù)，遷移已學(xué)習(xí)的知識(shí)，處理帶少量標(biāo)簽的目標(biāo)任務(wù)。因?yàn)闃?biāo)記數(shù)據(jù)的成本是昂貴的，最佳地利用現(xiàn)有數(shù)據(jù)集來解決目標(biāo)任務(wù)是關(guān)鍵。

在傳統(tǒng)的機(jī)器學(xué)習(xí)模型中，主要目標(biāo)是將訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的模式，推廣到未知的數(shù)據(jù)。 通過遷移學(xué)習(xí)，你可以嘗試從已經(jīng)學(xué)習(xí)的任務(wù)模式開始，啟動(dòng)這個(gè)泛化過程。本質(zhì)上，這不是從無到有地(通常是隨機(jī)初始化的)開始學(xué)習(xí)過程，而是在學(xué)會(huì)了其他任務(wù)模式的基礎(chǔ)上開始學(xué)習(xí)新任務(wù)。

能夠從圖像中區(qū)分線條和形狀(左)，這些特征能夠更容易確定圖中是否是“汽車”?？梢赃\(yùn)用遷移學(xué)習(xí)來學(xué)習(xí)其他計(jì)算機(jī)視覺模型中的模式，而不必從圖像的原始像素值開始。

存在不同的方法來表示自然語言中的單詞(詞嵌入像左、右側(cè)的詞表示)。借助詞嵌入算法，機(jī)器學(xué)習(xí)模型就可以利用不同單詞之間存在的關(guān)系。

知識(shí)和模式的遷移在各種領(lǐng)域都是有可能實(shí)現(xiàn)的。這篇文章將通過幾個(gè)不同領(lǐng)域的例子來說明遷移學(xué)習(xí)是如何工作的。我們的目標(biāo)是鼓勵(lì)數(shù)據(jù)科學(xué)家在機(jī)器學(xué)習(xí)項(xiàng)目中使用遷移學(xué)習(xí)，并讓他們意識(shí)到這種方法的優(yōu)缺點(diǎn)。

對于遷移學(xué)習(xí)的理解，以下這三個(gè)方面是我認(rèn)為數(shù)據(jù)科學(xué)家都應(yīng)具備的關(guān)鍵技能：

在任何一種學(xué)習(xí)模式中，遷移學(xué)習(xí)的應(yīng)用都是至關(guān)重要的。為了獲得成功，人類不可能學(xué)習(xí)到每一個(gè)任務(wù)或問題。每個(gè)人都會(huì)遇到從未遇到過的情況，但我們?nèi)匀幌Ｍ蕴厥獾姆绞浇鉀Q問題。從大量的經(jīng)驗(yàn)中學(xué)習(xí)，并將“知識(shí)”轉(zhuǎn)移到新環(huán)境中的能力正是遷移學(xué)習(xí)的關(guān)鍵所在。從這個(gè)角度來看，遷移學(xué)習(xí)和泛化能力在概念層面上是非常相似的。它們的主要區(qū)別在于遷移學(xué)習(xí)經(jīng)常被用于“跨任務(wù)遷移知識(shí)，而不是在一個(gè)特定的任務(wù)中進(jìn)行概括”。因此，遷移學(xué)習(xí)與所有機(jī)器學(xué)習(xí)模型所必需的泛化能力概念有著內(nèi)在聯(lián)系。

對于小數(shù)據(jù)量情況下深度學(xué)習(xí)技術(shù)，應(yīng)用遷移學(xué)習(xí)是取得成功的關(guān)鍵。在實(shí)際研究中，深度學(xué)習(xí)幾乎是無處不在，但是對于很多現(xiàn)實(shí)生活場景來說，通常都沒有數(shù)百萬個(gè)帶標(biāo)簽的數(shù)據(jù)來訓(xùn)練模型。而深度學(xué)習(xí)技術(shù)需要大量的數(shù)據(jù)來調(diào)整神經(jīng)網(wǎng)絡(luò)中的數(shù)百萬個(gè)參數(shù)，特別是在監(jiān)督式學(xué)習(xí)的情況下。這就意味著你需要大量帶標(biāo)簽數(shù)據(jù)來訓(xùn)練模型，而標(biāo)注數(shù)據(jù)則需要昂貴的人工成本。標(biāo)記圖像聽起來很平常的，但是在諸如自然語言處理(NLP)任務(wù)中，需要專家知識(shí)才能創(chuàng)建大型標(biāo)記數(shù)據(jù)集。例如，Penn treebank是一個(gè)詞性標(biāo)注語料庫，至今已有7年的歷史了，它需要與多位語言學(xué)專家的密切合作才能完成。為保證小數(shù)據(jù)量上的神經(jīng)網(wǎng)絡(luò)能夠正常運(yùn)行，遷移學(xué)習(xí)是一種可行的方法。而其他可行的選擇正朝著更多概率啟發(fā)的模式發(fā)展，這些模式通常更適合處理有限的小數(shù)據(jù)集。

遷移學(xué)習(xí)有著顯著的優(yōu)點(diǎn)和缺點(diǎn)。了解這些缺點(diǎn)對于機(jī)器學(xué)習(xí)應(yīng)用程序的成功是至關(guān)重要。知識(shí)遷移只有在“適當(dāng)”的情況下才有可能。這種情況下，確切地定義“適當(dāng)”的概念是不容易的，需要點(diǎn)經(jīng)驗(yàn)知識(shí)來幫助確定。例如，你不應(yīng)該相信一個(gè)在玩具車?yán)镩_車的孩子能夠開上法拉利。遷移學(xué)習(xí)的原理也是一樣的：雖然它很難被量化，但遷移學(xué)習(xí)也是有上限的，也就是說它不是一個(gè)適合所有問題的解決方案。

▌遷移學(xué)習(xí)的一般概念

遷移學(xué)習(xí)的要求

正如它的名字，遷移學(xué)習(xí)需要將知識(shí)從一個(gè)領(lǐng)域遷移到另一個(gè)領(lǐng)域的能力。通常，遷移學(xué)習(xí)可以在高層級上進(jìn)行解釋。例如，自然語言處理任務(wù)中的體系結(jié)構(gòu)可以在序列預(yù)測問題中重復(fù)使用，因?yàn)楹芏?a href='/map/ziranyuyanchuli/' style='color:#000;font-size:inherit;'>自然語言處理問題本質(zhì)上都可以歸結(jié)為序列預(yù)測問題。遷移學(xué)習(xí)也可以在低層級上進(jìn)行解釋，例如在實(shí)際中你經(jīng)常會(huì)重復(fù)使用不同模型中的參數(shù)(跳過詞組，連續(xù)詞袋等)。遷移學(xué)習(xí)的要求，一方面是針對具體的問題而定，另一方面則是由具體的模型決定。接下來的兩節(jié)將分別討論遷移學(xué)習(xí)在高層級和低層級的應(yīng)用方法。盡管在文獻(xiàn)中通常會(huì)用不同的名字來闡述這些概念，但是遷移學(xué)習(xí)的總體概念仍然存在。

多任務(wù)學(xué)習(xí)

在多任務(wù)學(xué)習(xí)中，你可以同時(shí)在不同的任務(wù)上訓(xùn)練模型，通常這些都是深度學(xué)習(xí)模型，因?yàn)樗鼈兛梢造`活地進(jìn)行調(diào)整。

網(wǎng)絡(luò)體系結(jié)構(gòu)是這樣調(diào)整的：第一層跨越不同的任務(wù)使用，隨后為不同的任務(wù)指定特定的任務(wù)層和輸出?？傮w的思路是，通過對不同任務(wù)的網(wǎng)絡(luò)進(jìn)行訓(xùn)練，網(wǎng)絡(luò)將更好地推廣，因?yàn)槟Ｐ托枰谙嗨频摹爸R(shí)”或“處理”任務(wù)上表現(xiàn)良好。

例如，自然語言處理任務(wù)的最終目標(biāo)是執(zhí)行實(shí)體識(shí)別的模型，而不是在實(shí)體識(shí)別任務(wù)純粹地訓(xùn)練模型。你還用它來處理一部分語音分類，詞語聯(lián)想等任務(wù)......因此，模型將從不用的結(jié)構(gòu)、不同的任務(wù)和不同的數(shù)據(jù)集的學(xué)習(xí)中獲益。如果你想學(xué)習(xí)更多關(guān)于多任務(wù)學(xué)習(xí)的內(nèi)容，強(qiáng)烈建議你閱讀Sebastian Ruder的關(guān)于多任務(wù)學(xué)習(xí)的博文(http://ruder.io/multi-task/)。

▌特征提取

深度學(xué)習(xí)模型的一大優(yōu)點(diǎn)是能夠“自動(dòng)化”地提取特征?；跇?biāo)記的數(shù)據(jù)和反向傳播法則，網(wǎng)絡(luò)能夠捕捉到對任務(wù)有用的特征。例如，對于圖像分類任務(wù)，網(wǎng)絡(luò)會(huì)計(jì)算出輸入的哪一部分是重要的。這意味著手動(dòng)定義的特征是很抽象的，而深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到的特征可以在其他問題中重復(fù)地使用。因?yàn)榫W(wǎng)絡(luò)所提取的特征類型，常常對其他問題也是有用。本質(zhì)上，你可以使用網(wǎng)絡(luò)的第一層來確定有用的特征，但是你不能在其他任務(wù)上使用網(wǎng)絡(luò)的輸出，因?yàn)檫@些輸出是針對特定任務(wù)的。

考慮到深度學(xué)習(xí)系統(tǒng)強(qiáng)大的特征提取能力，如何重復(fù)使用現(xiàn)有網(wǎng)絡(luò)來執(zhí)行其他任務(wù)的特征提取?

這里有一個(gè)方法，可以將新的數(shù)據(jù)樣本饋送到網(wǎng)絡(luò)中，并將網(wǎng)絡(luò)中的一個(gè)中間層作為輸出。這個(gè)中間層可以被設(shè)置為一個(gè)固定的長度，來表示原始數(shù)據(jù)的輸出。特別地，在計(jì)算機(jī)視覺領(lǐng)域使用圖像特征，饋送到預(yù)訓(xùn)練好的網(wǎng)絡(luò)(例如，VGG或AlexNet)，并在新的數(shù)據(jù)表示上使用不同的機(jī)器學(xué)習(xí)方法。提取中間層作為圖像的表示能夠顯著地減少了原始數(shù)據(jù)大小，以便它們更適合于傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)(例如，對于一個(gè)128×128的小圖像：大小為128x128=16384像素，邏輯回歸算法或支持向量機(jī)通常有更好的算法性能)。