對(duì)數(shù)據(jù)科學(xué)家來(lái)說(shuō)最重要的算法和統(tǒng)計(jì)模型

作為一個(gè)在這個(gè)行業(yè)已經(jīng)好幾年的數(shù)據(jù)科學(xué)家，在LinkedIn和QuoLa上，我經(jīng)常接觸一些學(xué)生或者想轉(zhuǎn)行的人，幫助他們進(jìn)行機(jī)器學(xué)習(xí)的職業(yè)建議或指導(dǎo)方面相關(guān)的課程選擇。一些問(wèn)題圍繞教育途徑和程序的選擇，但許多問(wèn)題的焦點(diǎn)是今天在數(shù)據(jù)科學(xué)領(lǐng)域什么樣的算法或模型是常見(jiàn)的。
　　由于可供選擇的算法太多了，很難知道從哪里開(kāi)始學(xué)起。課程可能包括在當(dāng)今工業(yè)中使用的不是很典型的算法，而課程可能沒(méi)有包含目前不是很流行的但特別有用的方法?；谲浖某绦蚩梢耘懦匾慕y(tǒng)計(jì)概念，并且基于數(shù)學(xué)的程序可以跳過(guò)算法設(shè)計(jì)中的一些關(guān)鍵主題。


　　我為一些有追求的數(shù)據(jù)專家整理了一個(gè)簡(jiǎn)短的指南，特別是關(guān)注統(tǒng)計(jì)模型和機(jī)器學(xué)習(xí)模型(有監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí));這些主題包括教科書(shū)、畢業(yè)生水平的統(tǒng)計(jì)學(xué)課程、數(shù)據(jù)科學(xué)訓(xùn)練營(yíng)和其它培訓(xùn)資源。(其中有些包含在文章的參考部分)。由于機(jī)器學(xué)習(xí)是統(tǒng)計(jì)學(xué)的一個(gè)分支，機(jī)器學(xué)習(xí)算法在技術(shù)上歸類于統(tǒng)計(jì)學(xué)知識(shí)，還有數(shù)據(jù)挖掘和更多的基于計(jì)算機(jī)科學(xué)的方法。然而，由于一些算法與計(jì)算機(jī)科學(xué)課程的內(nèi)容相重疊，并且因?yàn)樵S多人把傳統(tǒng)的統(tǒng)計(jì)方法從新方法中分離出來(lái)，所以我將把列表中的兩個(gè)分支也分開(kāi)了。


　　統(tǒng)計(jì)學(xué)的方法包括在bootcamps和證書(shū)程序中概述的一些更常見(jiàn)的方法，還有一些通常在研究生統(tǒng)計(jì)學(xué)程序中所教授的不太常見(jiàn)的方法(但在實(shí)踐中可以有很大的優(yōu)勢(shì))。所有建議的工具都是我經(jīng)常使用的工具:
　　1)廣義線性模型，它構(gòu)成了大多數(shù)監(jiān)督機(jī)器學(xué)習(xí)方法的基礎(chǔ)(包括邏輯回歸和Tweedie回歸，它概括了在工業(yè)中遇到的大多數(shù)計(jì)數(shù)或連續(xù)結(jié)果……)
　　2) 時(shí)間序列方法(ARIMA, SSA, 基于機(jī)器學(xué)習(xí)的方法)
　　3) 結(jié)構(gòu)方程建模 (模擬和測(cè)試介導(dǎo)途徑)
　　4) 因子分析法(調(diào)查設(shè)計(jì)與驗(yàn)證的探索和驗(yàn)證)
　　5) 功率分析/試驗(yàn)設(shè)計(jì) (特別是基于仿真的試驗(yàn)設(shè)計(jì)，以免分析過(guò)度)
　　6) 非參數(shù)檢驗(yàn)(從零開(kāi)始的推導(dǎo), 尤其通過(guò)模擬)/MCMC
　　7) K均值聚類
　　8) 貝葉斯方法(Na?ve Bayes, 貝葉斯模型求平均值, 貝葉斯自適應(yīng)試驗(yàn)...)
　　9) 懲罰回歸模型 (elastic net, LASSO, LARS...) ，通常給模型增加懲罰因素(SVM, XGBoost...), 這對(duì)于預(yù)測(cè)值超過(guò)觀測(cè)值的數(shù)據(jù)集是有用的(常見(jiàn)于基因組學(xué)與社會(huì)科學(xué)研究)
　　10) 樣條模型(MARS...) 用于靈活性建模過(guò)程
　　11)馬爾可夫鏈和隨機(jī)過(guò)程 (時(shí)間序列建模與預(yù)測(cè)建模的另一種方法)
　　12)缺失數(shù)據(jù)填補(bǔ)方案及其假設(shè)(missForest, MICE...)
　　13) 生存分析(非常有助于制造建模和消耗過(guò)程)
　　14) 混合建模
　　15) 統(tǒng)計(jì)推斷與分組測(cè)試(A/B測(cè)試和在許多交易活動(dòng)中實(shí)施更復(fù)雜的設(shè)計(jì))
　　機(jī)器學(xué)習(xí)擴(kuò)展了許多這樣框架，特別是K均值聚類和廣義線性建模。在許多行業(yè)中一些有用的常見(jiàn)技術(shù)(還有一些更模糊的算法，在bootcamps或證書(shū)程序中出人意料的有用，但學(xué)校里很少教) 包括:
　　1)回歸/分類樹(shù)(用于高精度、可解釋性好、計(jì)算費(fèi)用低的廣義線性模型的早期推廣)
　　2)維數(shù)約簡(jiǎn)(PCA和多樣學(xué)習(xí)方法如MDS和tSNE)
　　3)經(jīng)典前饋神經(jīng)網(wǎng)絡(luò)
　　4)裝袋組合(構(gòu)成了隨機(jī)森林和KNN回歸整合等算法的基礎(chǔ))
　　7)加速整合(這是梯度提升和XGBoost算法的基礎(chǔ))
　　8)參數(shù)優(yōu)化或設(shè)計(jì)項(xiàng)目的優(yōu)化算法(遺傳算法，量子啟發(fā)進(jìn)化算法，模擬鍛煉，粒子群優(yōu)化)
　　9)拓?fù)鋽?shù)據(jù)分析工具，特別適合于小樣本大小的無(wú)監(jiān)督學(xué)習(xí)(持久同調(diào), Morse-Smale聚類, Mapper...)
　　10)深度學(xué)習(xí)架構(gòu)(一般的深度架構(gòu))
　　11) KNN局部建模方法(回歸, 分類)
　　12)基于梯度的優(yōu)化方法
　　13)網(wǎng)絡(luò)度量與算法(中央度量法、中間性、多樣性、熵、拉普拉斯算子、流行病擴(kuò)散、譜聚類)
　　14)深度體系架構(gòu)中的卷積和匯聚層(專門適用于計(jì)算機(jī)視覺(jué)和圖像分類模型)
　　15)層次聚類 (聚類和拓?fù)鋽?shù)據(jù)分析工具相關(guān))
　　16)貝葉斯網(wǎng)絡(luò)(路徑挖掘)
　　17)復(fù)雜性與動(dòng)態(tài)系統(tǒng)(與微分方程有關(guān)，但通常用于模擬沒(méi)有已知驅(qū)動(dòng)程序的系統(tǒng))
　　依靠所選擇的行業(yè)，可能需要與自然語(yǔ)言處理(NLP)或計(jì)算機(jī)視覺(jué)相關(guān)的附加算法。然而，這些是數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的專門領(lǐng)域，進(jìn)入這些領(lǐng)域的人通常已經(jīng)是那個(gè)特定領(lǐng)域的專家。