
我的第一份數(shù)據(jù)科學實習
在寫本文時,這是我在Quantum Inventions公司實習的最后一天。當我坐在電腦屏幕前,反思過去幾個月的學習歷程,我感到非常的滿足。
在實習即將結(jié)束時,縈繞在我腦中的問題是:我學到了些什么?這是我想要的嗎?
作為一名物理學家,我習慣通過推理解答問題從而來尋求真相。事實上,對數(shù)據(jù)科學家來說,問合適的問題也是至關(guān)重要的。
本文分為三個部分:實習前,實習期間,實習后。當中記敘了在這段經(jīng)歷中我所得到的收獲。也歡迎閱讀我上一篇文章《我是如何從物理學轉(zhuǎn)行到數(shù)據(jù)科學領(lǐng)域》。
實習前
我仍然清楚地記得,在2017年11月的期末時我開始閱讀《統(tǒng)計學習導論:基于R應(yīng)用》(An Introduction to Statistical Learning?—?with Applications in R)。這是第一次接觸到基礎(chǔ)的機器學習知識。
一旦掌握了這些概念之后,我就開始學習熱門的課程Coursera上吳恩達的《機器學習》。雖然剛開始的時候并不那么輕松,但是吳恩達能夠吸引人們的注意力,用簡單的方式解讀復(fù)雜的概念。這也許就是我喜歡上機器學習的原因之一。我也強烈建議你試試,機器學習并沒有聽上去那么高大上和復(fù)雜。
同時,我開始學習人工智能的另一個重要領(lǐng)域——深度學習。
在掌握了一定的基礎(chǔ)知識之后,我在2017年12月開始了我的第一份數(shù)據(jù)科學實習。
實習期間
Quantum Inventions專注于向消費者、企業(yè)和政府智能交通服務(wù)。我是第一位加入研發(fā)和分析團隊的數(shù)據(jù)科學實習生。
在剛開始的幾天,我認識到了許多出色的同事,接觸到許多行業(yè)術(shù)語以及正在進行的項目。在這次實習中,Quantum Inventions給了我足夠的信任和自由,讓我能夠選擇感興趣的項目,并為其而努力。
令我吃驚的是,目前我著手的這個項目是之前沒有人做過的。這時就需要大量的研究,存在許多不確定性和困難,但是我仍然樂在其中。為什么呢?很簡單,因為我能夠有機會從頭開始體驗整個數(shù)據(jù)科學工作流程。
下面我將列出我所經(jīng)歷的工作流程,在這一過程中為我進入數(shù)據(jù)科學領(lǐng)域打下了一定的基礎(chǔ)。希望能夠給你帶來一些幫助。
1. 了解業(yè)務(wù)問題
我所選的項目是預(yù)測短期高速公路行程時間。正如我所說的,提出合適的問題對數(shù)據(jù)科學家來說非常重要。 在項目完成前,需要提出大量的問題,從而了解實際的業(yè)務(wù)問題:可用的數(shù)據(jù)源,項目的最終目標等等。我們的目標是更準確地預(yù)測新加坡高速公路行程時間。
2. 收集數(shù)據(jù)源
我對新項目感到十分興奮,然后我開始從數(shù)據(jù)庫等渠道收集數(shù)據(jù)源。收集正確的數(shù)據(jù)源類似在不同網(wǎng)站抓取數(shù)據(jù),以便稍后進行數(shù)據(jù)預(yù)處理。這一過程非常重要,這可能會影響你在后期建立模型的準確性。
3. 數(shù)據(jù)預(yù)處理
真實世界的數(shù)據(jù)并不那么理想。我們不能期望會獲得Kaggle比賽中那樣格式良好且干凈的數(shù)據(jù)。因此,數(shù)據(jù)預(yù)處理(也稱為數(shù)據(jù)管理或數(shù)據(jù)清理)至關(guān)重要。該過程占到整個工作流程的40%-70%,對提供給模型的數(shù)據(jù)進行清理。
Garbage in, Garbage out。(無用輸入,無用輸出)
我喜歡數(shù)據(jù)科學的一點在于,你必須對自己誠實。如果你沒有把握,認為預(yù)處理的數(shù)據(jù)已經(jīng)足夠干凈,并可以提供給模型,那么將存在使用錯誤數(shù)據(jù)構(gòu)建模型的風險。換句話說,你需要從專業(yè)的角度質(zhì)疑自己,確認數(shù)據(jù)是否可以使用。嚴格用閾值檢查數(shù)據(jù),確認整個數(shù)據(jù)集中是否存在其他異常、缺失或不一致的數(shù)據(jù)。
我對這個過程格外謹慎,之前我僅僅因為預(yù)處理步驟中的小疏忽就給模型提供了錯誤的數(shù)據(jù)。
4. 建立模型
經(jīng)過一番研究,對于項目我提出了以下四個模型:支持向量回歸(SVR),多層感知器(MLP),長期短期記憶網(wǎng)咯(LSTM)和狀態(tài)空間神經(jīng)網(wǎng)絡(luò)(SSNN)。
對于還在學習在線課程的我來說,從頭開始構(gòu)建不同的模型無疑是十分困難的。幸運的是,Scikit-learn and Keras拯救了我,因為它們很容易學習,能夠快速構(gòu)建原型模型,并用Python進行編寫。此外,我還學習了如何使用多種技術(shù)優(yōu)化模型,并調(diào)整每個模型的參數(shù)。
5. 模型評估
為了評估每個模型的性能,我主要使用了以下指標:
· 平均絕對誤差(MAE)
· 均方誤差(MSE)
· 測定系數(shù)(R2)
在這個階段,重復(fù)步驟3-5(可互換),直到得出的最佳模型能夠超越基線估計。
實習后
這次實習加深了我對數(shù)據(jù)科學領(lǐng)域的熱愛,這段經(jīng)歷為我之后的工作也提供了一些動力。我也大大提高了自身的能力,比如與不同人群進行利益的溝通技巧,利用數(shù)據(jù)解決業(yè)務(wù)問題等等。
數(shù)據(jù)科學行業(yè)還是一個新興領(lǐng)域,對于我們這些求職者來說,有時當中的一些工作描述可能有些模棱兩可。因此在求職時,發(fā)現(xiàn)自己不具備崗位所需的全部技能是完全正常的,因為大多數(shù)工作描述都是按照理想的方式寫的,從而符合雇主的期望。
當在學習或工作中遇到疑問時,你可以從在線課程、書籍和文章中進行學習,這也是我仍在做的,并通過個人項目或?qū)嵙晛響?yīng)用所學到的知識。請耐心一點,學習的過程需要大量的精力和時間。
在最后,記得問自己:你學到了什么?這是你要的嗎?
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03