我的第一份數(shù)據(jù)科學(xué)實(shí)習(xí)

在寫本文時(shí)，這是我在Quantum Inventions公司實(shí)習(xí)的最后一天。當(dāng)我坐在電腦屏幕前，反思過去幾個(gè)月的學(xué)習(xí)歷程，我感到非常的滿足。

在實(shí)習(xí)即將結(jié)束時(shí)，縈繞在我腦中的問題是：我學(xué)到了些什么？這是我想要的嗎？

作為一名物理學(xué)家，我習(xí)慣通過推理解答問題從而來尋求真相。事實(shí)上，對(duì)數(shù)據(jù)科學(xué)家來說，問合適的問題也是至關(guān)重要的。

本文分為三個(gè)部分：實(shí)習(xí)前，實(shí)習(xí)期間，實(shí)習(xí)后。當(dāng)中記敘了在這段經(jīng)歷中我所得到的收獲。也歡迎閱讀我上一篇文章《我是如何從物理學(xué)轉(zhuǎn)行到數(shù)據(jù)科學(xué)領(lǐng)域》。

實(shí)習(xí)前

我仍然清楚地記得，在2017年11月的期末時(shí)我開始閱讀《統(tǒng)計(jì)學(xué)習(xí)導(dǎo)論：基于R應(yīng)用》(An Introduction to Statistical Learning?—?with Applications in R)。這是第一次接觸到基礎(chǔ)的機(jī)器學(xué)習(xí)知識(shí)。

一旦掌握了這些概念之后，我就開始學(xué)習(xí)熱門的課程Coursera上吳恩達(dá)的《機(jī)器學(xué)習(xí)》。雖然剛開始的時(shí)候并不那么輕松，但是吳恩達(dá)能夠吸引人們的注意力，用簡(jiǎn)單的方式解讀復(fù)雜的概念。這也許就是我喜歡上機(jī)器學(xué)習(xí)的原因之一。我也強(qiáng)烈建議你試試，機(jī)器學(xué)習(xí)并沒有聽上去那么高大上和復(fù)雜。

同時(shí)，我開始學(xué)習(xí)人工智能的另一個(gè)重要領(lǐng)域——深度學(xué)習(xí)。

在掌握了一定的基礎(chǔ)知識(shí)之后，我在2017年12月開始了我的第一份數(shù)據(jù)科學(xué)實(shí)習(xí)。

實(shí)習(xí)期間

Quantum Inventions專注于向消費(fèi)者、企業(yè)和政府智能交通服務(wù)。我是第一位加入研發(fā)和分析團(tuán)隊(duì)的數(shù)據(jù)科學(xué)實(shí)習(xí)生。

在剛開始的幾天，我認(rèn)識(shí)到了許多出色的同事，接觸到許多行業(yè)術(shù)語(yǔ)以及正在進(jìn)行的項(xiàng)目。在這次實(shí)習(xí)中，Quantum Inventions給了我足夠的信任和自由，讓我能夠選擇感興趣的項(xiàng)目，并為其而努力。

令我吃驚的是，目前我著手的這個(gè)項(xiàng)目是之前沒有人做過的。這時(shí)就需要大量的研究，存在許多不確定性和困難，但是我仍然樂在其中。為什么呢？很簡(jiǎn)單，因?yàn)槲夷軌蛴袡C(jī)會(huì)從頭開始體驗(yàn)整個(gè)數(shù)據(jù)科學(xué)工作流程。

下面我將列出我所經(jīng)歷的工作流程，在這一過程中為我進(jìn)入數(shù)據(jù)科學(xué)領(lǐng)域打下了一定的基礎(chǔ)。希望能夠給你帶來一些幫助。

1. 了解業(yè)務(wù)問題

我所選的項(xiàng)目是預(yù)測(cè)短期高速公路行程時(shí)間。正如我所說的，提出合適的問題對(duì)數(shù)據(jù)科學(xué)家來說非常重要。 在項(xiàng)目完成前，需要提出大量的問題，從而了解實(shí)際的業(yè)務(wù)問題：可用的數(shù)據(jù)源，項(xiàng)目的最終目標(biāo)等等。我們的目標(biāo)是更準(zhǔn)確地預(yù)測(cè)新加坡高速公路行程時(shí)間。

2. 收集數(shù)據(jù)源

我對(duì)新項(xiàng)目感到十分興奮，然后我開始從數(shù)據(jù)庫(kù)等渠道收集數(shù)據(jù)源。收集正確的數(shù)據(jù)源類似在不同網(wǎng)站抓取數(shù)據(jù)，以便稍后進(jìn)行數(shù)據(jù)預(yù)處理。這一過程非常重要，這可能會(huì)影響你在后期建立模型的準(zhǔn)確性。

3. 數(shù)據(jù)預(yù)處理

真實(shí)世界的數(shù)據(jù)并不那么理想。我們不能期望會(huì)獲得Kaggle比賽中那樣格式良好且干凈的數(shù)據(jù)。因此，數(shù)據(jù)預(yù)處理(也稱為數(shù)據(jù)管理或數(shù)據(jù)清理)至關(guān)重要。該過程占到整個(gè)工作流程的40％-70％，對(duì)提供給模型的數(shù)據(jù)進(jìn)行清理。

Garbage in, Garbage out。(無(wú)用輸入，無(wú)用輸出)

我喜歡數(shù)據(jù)科學(xué)的一點(diǎn)在于，你必須對(duì)自己誠(chéng)實(shí)。如果你沒有把握，認(rèn)為預(yù)處理的數(shù)據(jù)已經(jīng)足夠干凈，并可以提供給模型，那么將存在使用錯(cuò)誤數(shù)據(jù)構(gòu)建模型的風(fēng)險(xiǎn)。換句話說，你需要從專業(yè)的角度質(zhì)疑自己，確認(rèn)數(shù)據(jù)是否可以使用。嚴(yán)格用閾值檢查數(shù)據(jù)，確認(rèn)整個(gè)數(shù)據(jù)集中是否存在其他異常、缺失或不一致的數(shù)據(jù)。

我對(duì)這個(gè)過程格外謹(jǐn)慎，之前我僅僅因?yàn)轭A(yù)處理步驟中的小疏忽就給模型提供了錯(cuò)誤的數(shù)據(jù)。

4. 建立模型

經(jīng)過一番研究，對(duì)于項(xiàng)目我提出了以下四個(gè)模型：支持向量回歸(SVR)，多層感知器(MLP)，長(zhǎng)期短期記憶網(wǎng)咯(LSTM)和狀態(tài)空間神經(jīng)網(wǎng)絡(luò)(SSNN)。

對(duì)于還在學(xué)習(xí)在線課程的我來說，從頭開始構(gòu)建不同的模型無(wú)疑是十分困難的。幸運(yùn)的是，Scikit-learn and Keras拯救了我，因?yàn)樗鼈兒苋菀讓W(xué)習(xí)，能夠快速構(gòu)建原型模型，并用Python進(jìn)行編寫。此外，我還學(xué)習(xí)了如何使用多種技術(shù)優(yōu)化模型，并調(diào)整每個(gè)模型的參數(shù)。

5. 模型評(píng)估

為了評(píng)估每個(gè)模型的性能，我主要使用了以下指標(biāo)：

· 平均絕對(duì)誤差(MAE)

· 均方誤差(MSE)

· 測(cè)定系數(shù)(R2)

在這個(gè)階段，重復(fù)步驟3-5(可互換)，直到得出的最佳模型能夠超越基線估計(jì)。

實(shí)習(xí)后

這次實(shí)習(xí)加深了我對(duì)數(shù)據(jù)科學(xué)領(lǐng)域的熱愛，這段經(jīng)歷為我之后的工作也提供了一些動(dòng)力。我也大大提高了自身的能力，比如與不同人群進(jìn)行利益的溝通技巧，利用數(shù)據(jù)解決業(yè)務(wù)問題等等。

數(shù)據(jù)科學(xué)行業(yè)還是一個(gè)新興領(lǐng)域，對(duì)于我們這些求職者來說，有時(shí)當(dāng)中的一些工作描述可能有些模棱兩可。因此在求職時(shí)，發(fā)現(xiàn)自己不具備崗位所需的全部技能是完全正常的，因?yàn)榇蠖鄶?shù)工作描述都是按照理想的方式寫的，從而符合雇主的期望。

當(dāng)在學(xué)習(xí)或工作中遇到疑問時(shí)，你可以從在線課程、書籍和文章中進(jìn)行學(xué)習(xí)，這也是我仍在做的，并通過個(gè)人項(xiàng)目或?qū)嵙?xí)來應(yīng)用所學(xué)到的知識(shí)。請(qǐng)耐心一點(diǎn)，學(xué)習(xí)的過程需要大量的精力和時(shí)間。

在最后，記得問自己：你學(xué)到了什么？這是你要的嗎？