一個(gè)數(shù)據(jù)科學(xué)家首先應(yīng)該做的5件事

人們總是問我如何有效的成為一名數(shù)據(jù)科學(xué)家。我的經(jīng)歷是先成為一名軟件工程師，然后讀了數(shù)據(jù)科學(xué)相關(guān)的PhD (是在它變成熱點(diǎn)之前)。在這篇文章里，基于我在這個(gè)領(lǐng)域的經(jīng)驗(yàn)總結(jié)，給出了成為數(shù)據(jù)學(xué)家的首要步驟，目的是為了幫助那些想從純軟件工程領(lǐng)域轉(zhuǎn)行到數(shù)據(jù)科學(xué)。

當(dāng)我們就讀PhD 課程的過程中，如果你已經(jīng)明確要成為一名數(shù)據(jù)科學(xué)家，那么我并不建議使用傳統(tǒng)的學(xué)習(xí)方法。當(dāng)我們自主學(xué)習(xí)時(shí)，我們可以從互聯(lián)網(wǎng)上找到大量可用的學(xué)習(xí)資料。事實(shí)上，我們可以比讀一個(gè)PhD進(jìn)步的更快，因?yàn)镻hD項(xiàng)目有很多循規(guī)蹈矩的事情花費(fèi)我們大量的精力。

這篇文章由五個(gè)相關(guān)步驟構(gòu)成。盡管我列出了順序，但是很多步驟可以同時(shí)進(jìn)行。

第一步：從解決一個(gè)難題開始

盡管你對(duì)于數(shù)據(jù)科學(xué)領(lǐng)域的機(jī)器學(xué)習(xí)和數(shù)據(jù)方面一無所知，從解決一個(gè)難題開始非常重要。理想化的，你可以找一些自己感興趣的東西，因?yàn)檫@樣做起來會(huì)更有激情。

你可以用一些原有的難題，例如 Kaggle competition 或者 UCI datasets. 或者你也可以自己搜集數(shù)據(jù)分析，這樣會(huì)更具挑戰(zhàn)。

當(dāng)時(shí)，我的興趣點(diǎn)是 natural language processing 和 user modeling. 我的導(dǎo)師被授予一批經(jīng)費(fèi)對(duì)調(diào)查問卷進(jìn)行情感分析，那也成為了我研究的方向。這個(gè)課題很快被著眼于研究作者和他們表達(dá)情感的方式之間的關(guān)系上面，同時(shí)也被應(yīng)用于提高情感分析算法的準(zhǔn)確性上面。為了達(dá)到研究目的，我收集了大量IMDb用戶的文本數(shù)據(jù)。難點(diǎn)在于結(jié)合這些用戶自己的評(píng)論去推斷他們的等級(jí)，假設(shè)考慮作者的身份的方法比忽略其身份背景更有用。

第二步：跨越你知識(shí)的屏障

無論你選擇了什么問題，你都會(huì)面對(duì)跨領(lǐng)域知識(shí)的學(xué)習(xí)，像維基百科，教材和網(wǎng)上課程都會(huì)是類似機(jī)器學(xué)習(xí)和數(shù)據(jù)，最好的基礎(chǔ)教程。當(dāng)你面對(duì)一個(gè)具體的難題時(shí)，閱讀專業(yè)論文將會(huì)有助于你更好地理解眼下這個(gè)難題。

讀PhD就是給了我寶貴的時(shí)間，例如用一個(gè)月時(shí)間去閱讀文獻(xiàn)。我閱讀地200多頁地論文中大部分都是有關(guān)情感分析的，那讓我對(duì)于這個(gè)領(lǐng)域地成就有了全面的了解。然而，最有效的方法時(shí)停止閱讀，開始動(dòng)手解決問題。這也是我認(rèn)為最好的建議：沒有比親自動(dòng)手解決困難更有效的學(xué)習(xí)方法了。

第三步：弄“臟”你的手

當(dāng)選好的課題和跨領(lǐng)域?qū)W習(xí)都已經(jīng)基本完成，是時(shí)候做一個(gè)計(jì)劃并且努力實(shí)現(xiàn)它。由于我的背景是軟件工程師以及對(duì)于early collaborative filtering approaches to recommender systems的嘗試，我的計(jì)劃很大程度上就像 Leo Breiman 所說的算法模型文化。那就是：我將更多關(guān)注于開發(fā)處理搜集數(shù)據(jù)過程的建模算法。該方法更像是由直線思維的軟件工程師提出來的，而不像是數(shù)學(xué)家或者數(shù)據(jù)學(xué)家的方法。

這個(gè)計(jì)劃非常的簡單：

復(fù)制結(jié)果，結(jié)果顯示rating inference 模型是由很多目標(biāo)群體提供的文本測(cè)試過的（i.e.,寫了文本的作者的等級(jí)是我們用來預(yù)測(cè)的）；outperform 模型有更多多樣性的客戶提供的文本測(cè)試過的。

用一種被聯(lián)合篩選的方法，以目標(biāo)客戶提供的文本為基礎(chǔ)，把許多單一作者的模型和infer rating 的模型就目標(biāo)群體的共同點(diǎn)進(jìn)行對(duì)比。

多種相似的實(shí)驗(yàn)方法基于訓(xùn)練和目標(biāo)客戶提供的大量文本中各種各樣的限制條件。

重復(fù)這些方法直到結(jié)果出來。

這個(gè)計(jì)劃的原理是：因?yàn)椴煌娜吮磉_(dá)情緒的方法不同，而相似的人表達(dá)情緒的方法相似（e.g.,不同文化背景下描述事物的方法不同）。最主要的推動(dòng)因素是 Pang 和 Lee 的發(fā)現(xiàn)－在同一目標(biāo)試驗(yàn)足夠的文本量的模型是最好的。

我當(dāng)時(shí)用來實(shí)現(xiàn)這項(xiàng)計(jì)劃的方式與今天我將怎么做截然不同。那是2009年，結(jié)合 Weka package 用Java 的主要模型看起來比我以前用的C/C++是顯著的提高。我很大程度上依賴于學(xué)校網(wǎng)絡(luò)去運(yùn)行實(shí)驗(yàn)和寫一大堆代碼去處理試驗(yàn)邏輯，包括一些 Perl 腳本 for post-processing。 雖然結(jié)果很復(fù)雜，但是那樣確實(shí)很奏效并且我得到了可以用來發(fā)表文章的結(jié)果。如果我當(dāng)時(shí)做像今天這樣的工作，我會(huì)把 Python用于所有的事情。 IPyhon Notebook 是跟蹤實(shí)驗(yàn)過程很好的方法，以及Python packages 例如 pandas, scikit-learn, gensim, TextBlob, 等，都是對(duì)于數(shù)據(jù)科學(xué)入門簡單而成熟的方法。

第四步：發(fā)表你的結(jié)果

制定一個(gè)發(fā)表結(jié)果的期限的確很有壓力，但是它會(huì)有兩個(gè)積極的效應(yīng)。第一，把你的實(shí)驗(yàn)結(jié)果公布開來可以讓你得到有價(jià)值的反饋。第二，艱難的截止日期可以有助于你制定切實(shí)的目標(biāo)。你可以一直保持收獲無數(shù)細(xì)小的進(jìn)步，但是出版截止日期可以強(qiáng)制你停下來。

我的例子是，UMAP 2010 會(huì)議是我的截止日期，會(huì)議承諾的免費(fèi)去夏威夷履行也稱為了一個(gè)很好的激勵(lì)因素。但是及時(shí)你沒有精力和時(shí)間去發(fā)表一篇專業(yè)論文，你也應(yīng)該給自己制定一個(gè)發(fā)表一些東西在博客或者論壇的截止時(shí)間；也或者是一個(gè)導(dǎo)師可以關(guān)注到你工作的報(bào)告。得到持續(xù)不斷的反饋是進(jìn)步的主要因素，所以應(yīng)該盡早公布，經(jīng)常公布。

第五步：完善你的結(jié)果并且繼續(xù)前進(jìn)

恭喜你！你已經(jīng)把你的努力公之于眾了。接下來應(yīng)該干什么？你可以繼續(xù)專注于同一個(gè)難題－探索更多的方法，加入更多的數(shù)據(jù)，改善限制條件，等。你也可以著眼于其他你感興趣的難題。

我的例子是，因?yàn)槲医酉聛硪獙W(xué)習(xí)的東西與我第一篇論文的試驗(yàn)結(jié)果有關(guān)，我不得不再次回到那個(gè)議題。結(jié)果是我把所有的實(shí)驗(yàn)材料都組織整理好去支撐我的論文（寫一篇論文是讀PhD的首要任務(wù)）。如果我可以選擇，我將不會(huì)那樣做。我將追求如何有效地加強(qiáng)我的論文，例如用一個(gè)客戶為主體，使用更多的切實(shí)全面有效地方法，和測(cè)試不同方法而不是僅僅去支持矢量機(jī)器。因此，我仍然在審視核心觀點(diǎn)－在情感分析當(dāng)中，客戶的身份背景應(yīng)該被考慮進(jìn)去，這個(gè)方法直到今天仍然切實(shí)有效。但是我已經(jīng)采取了自己地方法并且繼續(xù)進(jìn)行下去。