
統(tǒng)計建模和機器學習的區(qū)別之我見
最近我多次被問到統(tǒng)計(尤其是統(tǒng)計建模)、機器學習和人工智能之間有何區(qū)別。其實這三者之間在目標、技術和算法方面有很多重疊的部分。引起困惑的原因不僅僅是因為這些重疊部分,也是因為我們被很多非科普文中的時髦詞兒給迷惑了。
統(tǒng)計建模最基本的目標是回答一個問題:哪一種概率模型可以產(chǎn)生我所觀察到的數(shù)據(jù)?因此你必須:
? 從一個合理的模型群里挑出候選模型
? 預估未知變量(參數(shù),Aka擬合模型到數(shù)據(jù)中)
? 比較擬合模型與其他備選模型
舉個例子,如果你的數(shù)據(jù)需要計算,例如流失客戶數(shù)或者細胞分裂數(shù),那么泊松模型(Poisson)、負二項模型或者零膨脹模型(zero-inflated model)都可能適用。
一旦某統(tǒng)計模型被選定,那預估模型將用于測試假設、創(chuàng)建預測值以及置信測量。預估模型將成為我們解析數(shù)據(jù)的透鏡。我們從未宣稱選定模型就能產(chǎn)生數(shù)據(jù),但是我們能觀察它基于某驗證推理在隨機過程所獲取的合理近似值。
驗證推理是統(tǒng)計建模的一個重要部分。舉例而言,要決策到底是哪一種或者哪三種醫(yī)療設備可以讓病患獲得最好的治療,你也許會感興趣使用一個模型,該模型能捕獲某種數(shù)據(jù)機制來判斷該病患在接受不同治療所獲得的不同結果。如果某個模型可以很好地捕獲數(shù)據(jù)產(chǎn)生機制,那么其也可以在那些被觀察數(shù)據(jù)區(qū)間內(nèi)做出很好的預測,甚至可能預測出新的觀察結果。
經(jīng)典機器學習
經(jīng)典機器學習是一種數(shù)據(jù)驅(qū)動型技術,受模式識別啟動,專注于回歸算法和分類算法。其潛在的隨機機制通常并沒有作為最首要一項關注點。當然很多機器學習技術也能通過隨機模型和回歸計算來定義,但是數(shù)據(jù)并不被認為是由其模型直接生成的。因此,最重要的關注點是識別到底是執(zhí)行哪項特定任務的算法還是技術鑒定(或者集成方法):也就是說客戶到底最好被分段于K(數(shù)據(jù)集群或聚類),還是DBSCAN,或者是決策樹,或者是隨機森林,又或者是SVM?
簡而言之,對統(tǒng)計人員來說模型是第一位的,對機器學習者而言,數(shù)據(jù)是第一位的。因為機器學習的終點是數(shù)據(jù),而不是模型。將數(shù)據(jù)分離出來去做訓練集和測試集的驗證技術(鑒定方法)是很重要的。一個解決方案的質(zhì)量高低并不僅僅依賴p-值,而是需要證明這個解決方案在以前不可見數(shù)據(jù)中是否表現(xiàn)良好。將一個統(tǒng)計模型擬合到一個數(shù)據(jù)集,或者將一個決策樹訓練成一個數(shù)據(jù)集,將會需要融合一些未知值的預估值。該決策樹的最佳分割點取決于從屬變量的條件分布參數(shù)的預估值。
對我而言,沒有什么技術被證明可以自我學習。訓練才是成型某種學習的必要過程,換句話說,這意味著要獲取一項新的技能技術,訓練就是學習的一部分。訓練深度神經(jīng)網(wǎng)絡取決于輸入數(shù)據(jù)的權重和偏差,如果它學習分類,而該網(wǎng)絡就變形成為一個分類器。
現(xiàn)代機器學習
機器學習系統(tǒng)如果不是編程去執(zhí)行一個任務,而是編程去學習執(zhí)行一項任務,那么這就是一個真正的學習系統(tǒng),我把這叫做現(xiàn)代機器學習。就像經(jīng)典機器學習的變體,這也是一個數(shù)據(jù)驅(qū)動型的實踐。但不一樣的地方是,現(xiàn)代機器學習不僅僅是依賴于豐富的算法技術,幾乎所有的這類機器學習的應用都基于深度神經(jīng)網(wǎng)絡技術。
這個領域我們現(xiàn)在傾向于稱它為深度學習,一種機器學習的細分,經(jīng)常應用于人工智能,也就是說讓機器去執(zhí)行人類的任務。
數(shù)據(jù)扮演什么角色?
現(xiàn)在我們可以通過數(shù)據(jù)所承擔的角色來區(qū)分統(tǒng)計建模、經(jīng)典機器學習和現(xiàn)代機器學習。
在統(tǒng)計建模里面,數(shù)據(jù)引導我們?nèi)ミx擇隨機模型,來形成對不同問題概率的抽象表達,例如假設、預測和預報。
在經(jīng)典機器學習里,數(shù)據(jù)驅(qū)動的是對分析技術的選擇,如何最佳地執(zhí)行即將任務,這是數(shù)據(jù)訓練算法。
在現(xiàn)代機器學習里,數(shù)據(jù)驅(qū)動基于神經(jīng)網(wǎng)絡算法的系統(tǒng),去學習具體任務,系統(tǒng)可以自動判定數(shù)據(jù)常量規(guī)則。在訓練神經(jīng)網(wǎng)絡數(shù)據(jù)的過程中,系統(tǒng)逐漸學習到執(zhí)行任務,就像某人所說:“是數(shù)據(jù)在做編程。”
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉日期:解鎖數(shù)據(jù)處理的關鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎 ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03