作者 | Jason Brownlee

整理 | CDA數(shù)據(jù)分析師

統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)是兩個(gè)密切相關(guān)的領(lǐng)域。實(shí)際上，兩者之間的界限有時(shí)可能非常模糊。但是，有一些方法顯然屬于統(tǒng)計(jì)領(lǐng)域，不僅在機(jī)器學(xué)習(xí)項(xiàng)目中有用，而且非常有價(jià)值?？梢怨降卣f，需要統(tǒng)計(jì)方法才能有效地通過機(jī)器學(xué)習(xí)預(yù)測建模項(xiàng)目工作。

統(tǒng)計(jì)學(xué)是先決條件

機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)是兩個(gè)緊密相關(guān)的研究領(lǐng)域。因此許多統(tǒng)計(jì)學(xué)家將機(jī)器學(xué)習(xí)稱為“ 應(yīng)用統(tǒng)計(jì)學(xué)”或“ 統(tǒng)計(jì)學(xué)習(xí) ”，而不是以計(jì)算機(jī)科學(xué)為中心的名稱。

所有的機(jī)器學(xué)習(xí)初學(xué)者都應(yīng)該學(xué)習(xí)一點(diǎn)統(tǒng)計(jì)學(xué)的知識(shí)。下面有幾個(gè)精心挑選的例子來具體說明。

從一本流行的應(yīng)用機(jī)器學(xué)習(xí)書《 Applied Predictive Modeling 》的開頭看一下這句話：

… the reader should have some knowledge of basic statistics, including variance, correlation, simple linear regression, and basic hypothesis testing (e.g. p-values and test statistics).

— Page vii, Applied Predictive Modeling, 2013

這是流行的《 Introduction to Statistical Learning 》一書中的另一個(gè)示例：

We expect that the reader will have had at least one elementary course in statistics.

— Page 9, An Introduction to Statistical Learning with Applications in R, 2013.

即使不是統(tǒng)計(jì)學(xué)的先決 條件，也需要一些原始的先驗(yàn)知識(shí)，這可以從廣泛閱讀的“ Programming Collective Intelligence ”的引用中看出：

… this book does not assume you have any prior knowledge of […] or statistics. […] but having some knowledge of trigonometry and basic statistics will help you understand the algorithms.

— Page xiii, Programming Collective Intelligence: Building Smart Web 2.0 Applications, 2007.

為了能夠理解機(jī)器學(xué)習(xí)，需要對統(tǒng)計(jì)信息有一些基本的了解。

想要知道為什么會(huì)這樣，我們必須了解為什么首先需要統(tǒng)計(jì)領(lǐng)域。

為什么要學(xué)習(xí)統(tǒng)計(jì)？

原始觀測值本身就是數(shù)據(jù)，但它們不是信息或知識(shí)。

數(shù)據(jù)引發(fā)了一些問題，例如：

• 最常見或最期望的觀察是什么？
• 觀察的極限是什么？
• 數(shù)據(jù)是什么樣的？

盡管它們看起來很簡單，但必須回答這些問題才能將原始觀察結(jié)果轉(zhuǎn)化為我們可以使用和共享的信息。

除了原始數(shù)據(jù)，我們還可以通過設(shè)計(jì)實(shí)驗(yàn)來收集觀察數(shù)據(jù)。從這些實(shí)驗(yàn)結(jié)果中，我們可能會(huì)遇到更復(fù)雜的問題，例如：

• 哪些變量最相關(guān)？
• 兩次實(shí)驗(yàn)的結(jié)果有何不同？
• 差異是真實(shí)存在的還是因?yàn)閿?shù)據(jù)噪聲產(chǎn)生的？

這些問題很重要。問題的答案對項(xiàng)目，利益相關(guān)者以及有效的決策都是至關(guān)重要的。

需要統(tǒng)計(jì)方法來找到關(guān)于數(shù)據(jù)的問題的答案。

我們可以看到，為了了解用于訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)并解釋測試不同機(jī)器學(xué)習(xí)模型的結(jié)果，都需要統(tǒng)計(jì)方法。

這只是冰山一角，因?yàn)轭A(yù)測建模項(xiàng)目中的每個(gè)步驟都將需要使用統(tǒng)計(jì)方法。

什么是統(tǒng)計(jì)學(xué)？

統(tǒng)計(jì)學(xué)是數(shù)學(xué)的一個(gè)子領(lǐng)域。

它指的是處理數(shù)據(jù)和使用數(shù)據(jù)回答問題的方法的集合。

Statistics is the art of making numerical conjectures about puzzling questions. […] The methods were developed over several hundred years by people who were looking for answers to their questions.

— Page xiii, Statistics, Fourth Edition, 2007.

這是因?yàn)樵擃I(lǐng)域包括處理數(shù)據(jù)的方法包，對于初學(xué)者而言，它看起來像是很大的東西，而且是不確定的。很難看出屬于統(tǒng)計(jì)方法的方法與屬于其他研究領(lǐng)域的方法之間的界限。通常，技術(shù)既可以是統(tǒng)計(jì)中的經(jīng)典方法，又可以是用于特征選擇或建模的現(xiàn)代算法。

盡管統(tǒng)計(jì)工作知識(shí)不需要深入的理論知識(shí)，但一些重要的且易于理解的定理可以為統(tǒng)計(jì)和概率之間的關(guān)系提供有價(jià)值的基礎(chǔ)。

兩個(gè)例子包括大數(shù)定律和中心極限定理；第一個(gè)有助于理解為什么較大的樣本通常更好，第二個(gè)則為我們?nèi)绾伪容^樣本之間的期望值（例如平均值）提供了基礎(chǔ)。

對于我們在實(shí)踐中使用的統(tǒng)計(jì)工具，將統(tǒng)計(jì)領(lǐng)域分為兩大類方法可能會(huì)有所幫助：用于匯總數(shù)據(jù)的描述性統(tǒng)計(jì)和用于從數(shù)據(jù)樣本中得出結(jié)論的推論統(tǒng)計(jì)。

Statistics allow researchers to collect information, or data, from a large number of people and then summarize their typical experience. […] Statistics are also used to reach conclusions about general differences between groups. […] Statistics can also be used to see if scores on two variables are related and to make predictions.

Pages ix-x, Statistics in Plain English, Third Edition, 2010.

描述統(tǒng)計(jì)

描述性統(tǒng)計(jì)指的是將原始觀察匯總為我們可以理解和共享的信息的方法。

通常，我們將描述性統(tǒng)計(jì)視為對數(shù)據(jù)樣本的統(tǒng)計(jì)值的計(jì)算，以便總結(jié)數(shù)據(jù)樣本的屬性，例如共同的期望值（例如，均值或中位數(shù)）和數(shù)據(jù)的傳播范圍（例如，方差或標(biāo)準(zhǔn)差）。

描述性統(tǒng)計(jì)信息還可能涵蓋可用于可視化數(shù)據(jù)樣本的圖形方法。圖表和圖形可以對觀察的形狀或分布以及變量之間如何相互關(guān)聯(lián)提供有用的定性理解。

推論統(tǒng)計(jì)

推論統(tǒng)計(jì)是一些方法的統(tǒng)稱，這些方法可以幫助從較小的一組稱為樣本的觀測值中量化域或總體的屬性。

通常，我們認(rèn)為推論統(tǒng)計(jì)是根據(jù)總體分布估算的數(shù)量，例如期望值或傳播數(shù)量。

更復(fù)雜的統(tǒng)計(jì)推斷工具可用于量化在給定假設(shè)的情況下觀察數(shù)據(jù)樣本的可能性。這些通常被稱為統(tǒng)計(jì)假設(shè)檢驗(yàn)的工具，其中檢驗(yàn)的基本假設(shè)稱為原假設(shè)。

給定我們可以假設(shè)的假設(shè)范圍以及我們可能施加在數(shù)據(jù)上的約束條件，以提高檢驗(yàn)結(jié)果正確的能力或可能性，推理性統(tǒng)計(jì)方法的例子很多。

統(tǒng)計(jì)方法在機(jī)器學(xué)習(xí)項(xiàng)目中的使用示例

在下面的內(nèi)容中，展示了統(tǒng)計(jì)方法的一些特定示例，這些示例在預(yù)測建模問題的關(guān)鍵步驟中非常重要?？梢怨降卣f，需要統(tǒng)計(jì)方法才能有效地通過機(jī)器學(xué)習(xí)方法完成預(yù)測建模的工作。

1.問題框架

在預(yù)測建模問題中最大的影響力也許就是問題的框架。

這是問題類型的選擇，例如回歸或分類，也許是問題的輸入和輸出的結(jié)構(gòu)和類型。

問題的框架并不總是很明顯。對于某個(gè)領(lǐng)域的新手，可能需要對該領(lǐng)域中的觀察結(jié)果進(jìn)行大量探索。

對于可能不從常規(guī)角度看問題的領(lǐng)域?qū)＜?，他們也可能?huì)從多個(gè)角度考慮數(shù)據(jù)而獲取一些有用信息。

可以在問題分類期間幫助探索數(shù)據(jù)的統(tǒng)計(jì)方法包括：

• 探索性數(shù)據(jù)分析。進(jìn)行匯總和可視化以探索數(shù)據(jù)的臨時(shí)視圖。
• 數(shù)據(jù)挖掘。自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中的結(jié)構(gòu)化關(guān)系和模式。

2.數(shù)據(jù)理解

數(shù)據(jù)理解意味著對變量的分布以及變量之間的關(guān)系有密切的了解。

其中一些知識(shí)可能來自領(lǐng)域?qū)I(yè)知識(shí)，或者需要領(lǐng)域?qū)I(yè)知識(shí)才能進(jìn)行解釋。盡管如此，研究領(lǐng)域的專家和新手都將從實(shí)際處理領(lǐng)域問題中的實(shí)際觀察有所受益。

統(tǒng)計(jì)方法的兩個(gè)大分支用于幫助理解數(shù)據(jù)。他們是：

• 摘要統(tǒng)計(jì)。使用統(tǒng)計(jì)量總結(jié)變量之間的分布和關(guān)系的方法。
• 數(shù)據(jù)可視化。使用圖表和圖形等可視化方法總結(jié)變量之間的分布和關(guān)系的方法。

3.數(shù)據(jù)清理

來自某個(gè)領(lǐng)域的觀察通常不是原始的。

盡管數(shù)據(jù)是數(shù)字的，但會(huì)受到可能破壞數(shù)據(jù)保真度的過程的影響，進(jìn)而可能會(huì)影響使用該數(shù)據(jù)的任何下一步過程或模型。

一些示例包括：

• 數(shù)據(jù)損壞。
• 數(shù)據(jù)錯(cuò)誤。
• 數(shù)據(jù)丟失。

識(shí)別和修復(fù)數(shù)據(jù)問題的過程稱為數(shù)據(jù)清理

統(tǒng)計(jì)方法用于數(shù)據(jù)清理，例如：

• 離群值檢測。識(shí)別與分布中的期望值相差甚遠(yuǎn)的觀測值的方法。
• 歸責(zé)。修復(fù)或填充觀測值中損壞或缺失的方法。

4.數(shù)據(jù)選擇

建模時(shí)，并非所有觀察值或所有變量都可能相關(guān)。

將數(shù)據(jù)范圍縮小到對做出預(yù)測最有用的那些元素的過程稱為數(shù)據(jù)選擇。

用于數(shù)據(jù)選擇的兩種統(tǒng)計(jì)方法包括：

• 數(shù)據(jù)樣本。從較大的數(shù)據(jù)集中系統(tǒng)創(chuàng)建較小的代表性樣本的方法。
• 特征選擇。自動(dòng)識(shí)別與結(jié)果變量最相關(guān)的那些變量的方法。

5.數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)通常不能直接用于建模。

通常需要進(jìn)行一些轉(zhuǎn)換，以更改數(shù)據(jù)的形狀或結(jié)構(gòu)，使其更適合問題的選定框架或?qū)W習(xí)算法。

使用統(tǒng)計(jì)方法進(jìn)行數(shù)據(jù)準(zhǔn)備。一些常見的示例包括：

• 縮放比例。標(biāo)準(zhǔn)化和歸一化等方法。
• 編碼。整數(shù)編碼和One-hot編碼等方法。
• 轉(zhuǎn)換。諸如Box-Cox方法之類的冪變換方法。

6.模型評(píng)估

預(yù)測建模問題的關(guān)鍵部分是評(píng)估學(xué)習(xí)方法。

在對模型訓(xùn)練期間未看到的數(shù)據(jù)進(jìn)行預(yù)測時(shí)，通常需要估計(jì)模型的技能。

通常，訓(xùn)練和評(píng)估預(yù)測模型的過程的計(jì)劃稱為實(shí)驗(yàn)設(shè)計(jì)。這是統(tǒng)計(jì)方法的整個(gè)子領(lǐng)域。

• 實(shí)驗(yàn)設(shè)計(jì)。設(shè)計(jì)系統(tǒng)實(shí)驗(yàn)以比較自變量對結(jié)果的影響的方法，例如選擇機(jī)器學(xué)習(xí)算法來提高預(yù)測精度。

作為實(shí)施實(shí)驗(yàn)設(shè)計(jì)的一部分，使用方法對數(shù)據(jù)集進(jìn)行重新采樣，以便經(jīng)濟(jì)地利用可用數(shù)據(jù)，從而估算模型的技能。

• 重采樣方法。為了訓(xùn)練和評(píng)估預(yù)測模型而將數(shù)據(jù)集系統(tǒng)地分為子集的方法。

7.模型超參數(shù)配置

給定的機(jī)器學(xué)習(xí)算法通常具有一整套超參數(shù)，這些超參數(shù)允許使用者根據(jù)特定問題而定制學(xué)習(xí)方法。

超參數(shù)的配置在本質(zhì)上通常是經(jīng)驗(yàn)性的，而不是分析性的，需要大量的實(shí)驗(yàn)才能評(píng)估不同的超參數(shù)的取值對模型效果的影響。

使用兩個(gè)統(tǒng)計(jì)子字段之一對不同的超參數(shù)配置之間的結(jié)果進(jìn)行解釋和比較：

• 統(tǒng)計(jì)假設(shè)檢驗(yàn)。給定對結(jié)果的假設(shè)或期望，量化觀察結(jié)果的可能性的方法（使用臨界值和p值表示）。
• 估計(jì)統(tǒng)計(jì)。使用置信區(qū)間量化結(jié)果不確定性的方法。

8.模型選擇

對于給定的預(yù)測建模問題，可能有不止一個(gè)機(jī)器學(xué)習(xí)算法適合于此問題。選擇一種方法作為解決方案的過程稱為模型選擇。這可能涉及項(xiàng)目利益相關(guān)者的一套標(biāo)準(zhǔn)，也包括對問題評(píng)估方法的估計(jì)技能的仔細(xì)解釋。

與模型配置一樣，出于模型選擇的目的，可以使用兩類統(tǒng)計(jì)方法來解釋不同模型的估計(jì)技能。他們是：

• 統(tǒng)計(jì)假設(shè)檢驗(yàn)。給定對結(jié)果的假設(shè)或期望，量化觀察結(jié)果的可能性的方法（使用臨界值和p值表示）。
• 估計(jì)統(tǒng)計(jì)。使用置信區(qū)間量化結(jié)果不確定性的方法。

9.模型介紹

一旦對最終模型進(jìn)行了訓(xùn)練，就可以在使用或部署最終模型以對實(shí)際數(shù)據(jù)進(jìn)行實(shí)際預(yù)測之前將其呈現(xiàn)給利益相關(guān)者。

呈現(xiàn)最終模型的一部分涉及呈現(xiàn)模型的估計(jì)方法。

估計(jì)統(tǒng)計(jì)領(lǐng)域的方法可用于通過使用公差區(qū)間和置信區(qū)間來量化機(jī)器學(xué)習(xí)模型的估計(jì)技能中的不確定性。

• 估計(jì)統(tǒng)計(jì)。通過置信區(qū)間量化模型技能不確定性的方法。

10.模型預(yù)測

最后，是時(shí)候開始使用最終模型對我們不知道實(shí)際結(jié)果的新數(shù)據(jù)進(jìn)行預(yù)測了。

作為進(jìn)行預(yù)測的一部分，量化預(yù)測的置信度很重要。

就像模型表示過程一樣，我們可以使用估計(jì)統(tǒng)計(jì)領(lǐng)域的方法來量化此不確定性，例如置信區(qū)間和預(yù)測區(qū)間。

• 估計(jì)統(tǒng)計(jì)。通過預(yù)測區(qū)間量化預(yù)測不確定性的方法。

從上面的例子可以看到統(tǒng)計(jì)方法在整個(gè)預(yù)測建模項(xiàng)目過程中的重要性。 探索性的數(shù)據(jù)分析，數(shù)據(jù)匯總和數(shù)據(jù)可視化可用于幫助構(gòu)建預(yù)測性建模問題并更好地理解數(shù)據(jù)。統(tǒng)計(jì)方法可用于清理和準(zhǔn)備用于建模的數(shù)據(jù)。統(tǒng)計(jì)假設(shè)檢驗(yàn)和估計(jì)的統(tǒng)計(jì)數(shù)據(jù)可以在模型的選擇和從最終模型展示的技能和預(yù)測幫助。