如何讓你的數(shù)據(jù)直覺(jué)更敏銳

每當(dāng)人工智能和機(jī)器學(xué)習(xí)取得一些進(jìn)展時(shí)，這些進(jìn)展一定占據(jù)著各大媒體的頭版頭條。

媒體對(duì)其有如此高的關(guān)注度，這意味著，現(xiàn)在科技界主流的興趣領(lǐng)域是數(shù)據(jù)科學(xué)。

對(duì)于有大局意識(shí)的人來(lái)說(shuō)，這無(wú)疑是一個(gè)很好的創(chuàng)業(yè)機(jī)會(huì)和職業(yè)選擇。要想抓住職業(yè)機(jī)會(huì)，你需要超強(qiáng)的“碼力”和深入的專(zhuān)業(yè)知識(shí)。

然而，每個(gè)想在數(shù)據(jù)領(lǐng)域有所成就的數(shù)據(jù)科學(xué)家應(yīng)該非常熟悉，在吸睛的神經(jīng)網(wǎng)絡(luò)和分布式計(jì)算名詞背后是一些基本的統(tǒng)計(jì)實(shí)踐。

你可以為特定的項(xiàng)目去學(xué)習(xí)最新的代碼框架或者閱讀該領(lǐng)域最新成果的科研論文。但是，沒(méi)有捷徑可以獲得數(shù)據(jù)科學(xué)家所需的基礎(chǔ)統(tǒng)計(jì)知識(shí)。

所以，只有不停地耐心練習(xí)，再加上一些學(xué)習(xí)過(guò)程中的挫折，才能真正提高你的“數(shù)據(jù)直覺(jué)”。

簡(jiǎn)約原則

簡(jiǎn)約原則在介紹性的統(tǒng)計(jì)課程中反復(fù)強(qiáng)調(diào)，但英國(guó)統(tǒng)計(jì)學(xué)家喬治·博克斯今天說(shuō)的話可能比之前更有意義：

“所有模型都錯(cuò)了，但有些模型很有用”

這句話想說(shuō)明什么？

它的意思是說(shuō)：在尋求對(duì)現(xiàn)實(shí)世界進(jìn)行系統(tǒng)建模時(shí)，必須以犧牲易理解性為代價(jià)來(lái)簡(jiǎn)化和概括。

現(xiàn)實(shí)世界紛亂嘈雜，我們無(wú)法理解每一個(gè)細(xì)節(jié)。因此，統(tǒng)計(jì)建模并不是為了獲得完美的預(yù)測(cè)能力，而是用最小的必要的模型來(lái)實(shí)現(xiàn)最大的預(yù)測(cè)能力。

對(duì)于那些剛接觸數(shù)據(jù)世界的人來(lái)說(shuō)，這個(gè)概念看起來(lái)可能違反直覺(jué)。但為什么不在模型中包含盡可能多的條件項(xiàng)呢？多余的條件項(xiàng)僅僅只能為模型增加說(shuō)服力嗎？

嗯，是的......不可以。你只需關(guān)心那些會(huì)顯著增加模型解釋力的條件項(xiàng)。

考慮將給定的數(shù)據(jù)集擬合不同類(lèi)型的模型。

最基本的是null模型，它只有一個(gè)參數(shù)—響應(yīng)變量的總體平均值（加上一些隨機(jī)分布的錯(cuò)誤）。

該模型假定響應(yīng)變量不依賴于任何解釋變量。相反，它的值完全由關(guān)于整體均值的隨機(jī)波動(dòng)來(lái)解釋。這顯然限制了模型的解釋力。

在完全相反的飽和模型中，每個(gè)數(shù)據(jù)點(diǎn)都有一個(gè)參數(shù)。這樣，你會(huì)有一個(gè)完美的模型，但是如果你試圖將新的數(shù)據(jù)用于模型，它沒(méi)有任何解釋力。

每個(gè)數(shù)據(jù)點(diǎn)包括一個(gè)特征的同時(shí)也忽略了任何有意義的簡(jiǎn)化方式。實(shí)際上用處并不大。

如上圖左邊是一個(gè)空模型，右邊是一個(gè)飽和模型。兩種模型都不會(huì)提供有力的說(shuō)服力。

顯然，這些是極端的情況。你應(yīng)該在兩者之間尋找一個(gè)模型—一個(gè)能很好地?cái)M合數(shù)據(jù)并具有良好解釋力的模型。 您可以嘗試擬合最大模型。 該模型包括所考慮的所有因素和制約條件。

例如，假設(shè)您有一個(gè)響應(yīng)變量y，您希望將其作為解釋變量x 1和x 2的函數(shù)進(jìn)行建模，乘以系數(shù)β。 最大模型看起來(lái)像這樣：

y = intercept + β?x? + β?x? + β?(x?x?) + error

這個(gè)最大模型可以很好地?cái)M合數(shù)據(jù)，并提供良好的解釋力。它包括每個(gè)解釋變量項(xiàng)和一個(gè)交互項(xiàng)x?x?。

從模型中刪除條件項(xiàng)將增加整體剩余偏差，或者觀察到的預(yù)測(cè)模型未能將自身的變化考慮進(jìn)來(lái)。

但是，并非所有條件項(xiàng)都一樣重要。 您可以刪除一個(gè)（或多個(gè)）條件項(xiàng)，但并不會(huì)發(fā)現(xiàn)統(tǒng)計(jì)結(jié)果上的顯著偏差。

這些條件項(xiàng)可以被認(rèn)為是無(wú)關(guān)緊要的，并從模型中刪除。 您可以逐個(gè)刪除無(wú)關(guān)緊要的項(xiàng)（記住重新計(jì)算每一步的剩余偏差）。 重復(fù)此操作，直到所有項(xiàng)保持良好的統(tǒng)計(jì)性。

現(xiàn)在你已經(jīng)達(dá)到了最小的合適模型。每一項(xiàng)的系數(shù)β的估計(jì)值明顯不同于0。得出此模型的逐步消除方法稱(chēng)為“逐步”回歸。

支持這種簡(jiǎn)化模型的哲學(xué)原理被稱(chēng)為簡(jiǎn)約原則。

它與中世紀(jì)哲學(xué)家威廉的奧卡姆著名的啟發(fā)式奧卡姆的剃刀有一些相似之處。 這個(gè)原則是這樣的：“給出兩個(gè)或多個(gè)同樣可接受的現(xiàn)象解釋?zhuān)x擇引入假設(shè)最少的那一個(gè)。”

換句話說(shuō)：你能以最簡(jiǎn)單的方式解釋一些復(fù)雜的東西嗎？ 可以說(shuō)，這是數(shù)據(jù)科學(xué)的決定性追求 - 有效地將復(fù)雜性轉(zhuǎn)化為可見(jiàn)性。

永遠(yuǎn)持懷疑態(tài)度

假設(shè)檢驗(yàn)（如A / B檢驗(yàn)）是一個(gè)重要的數(shù)據(jù)科學(xué)概念。

簡(jiǎn)單地說(shuō)，假設(shè)檢驗(yàn)將問(wèn)題轉(zhuǎn)化為兩個(gè)相互排斥的假設(shè)，并且在哪個(gè)假設(shè)下詢問(wèn)檢驗(yàn)統(tǒng)計(jì)量的觀察值是最可能的。當(dāng)然，檢驗(yàn)統(tǒng)計(jì)量是從一組適當(dāng)?shù)膶?shí)驗(yàn)或觀察數(shù)據(jù)中計(jì)算出來(lái)的。

當(dāng)涉及到假設(shè)檢驗(yàn)時(shí)，通常會(huì)詢問(wèn)你是接受還是拒絕零假設(shè)。

通常，你會(huì)聽(tīng)到人們將零假設(shè)描述為令人失望的東西，甚至是實(shí)驗(yàn)失敗的證據(jù)。

也許它源于如何向初學(xué)者普及假設(shè)檢驗(yàn)，但似乎許多研究人員和數(shù)據(jù)科學(xué)家對(duì)零假設(shè)有潛意識(shí)偏見(jiàn)。他們?cè)噲D拒絕它，支持所謂更令人興奮，更有趣，另類(lèi)的假設(shè)。

這不僅僅是一個(gè)奇聞樂(lè)事。目前已經(jīng)有人撰寫(xiě)了完整的論文去研究科學(xué)文獻(xiàn)中公開(kāi)的學(xué)術(shù)偏見(jiàn)問(wèn)題。人們僅僅想知道一點(diǎn)：這種傾向在商業(yè)環(huán)境下有什么影響。

然而事實(shí)是：對(duì)于任何設(shè)計(jì)合理的實(shí)驗(yàn)或完整的數(shù)據(jù)集，接受零假設(shè)應(yīng)該與接受替代方案一樣有趣。

實(shí)際上，零假設(shè)是推論統(tǒng)計(jì)的基石。它定義了我們作為數(shù)據(jù)科學(xué)家所做的工作，即將數(shù)據(jù)轉(zhuǎn)化為洞察力。如果我們沒(méi)有過(guò)多地地干涉統(tǒng)計(jì)結(jié)果的可能性，那么洞察力是沒(méi)有價(jià)值的，正是由于這個(gè)原因，在任何時(shí)候都持懷疑態(tài)度是值得的。

特別是考慮到“意外地”拒絕零假設(shè)（至少在天真地應(yīng)用頻率論方法時(shí)）是多么容易時(shí)，懷疑態(tài)度更是不可缺少。

數(shù)據(jù)挖掘（或“p-hacking”）可以拋出各種無(wú)意義的結(jié)果，但這些結(jié)果有著非常重要的統(tǒng)計(jì)學(xué)意義。在無(wú)法避免多次比較的情況下，有必要采取措施減少I(mǎi)型錯(cuò)誤（誤報(bào)，或者說(shuō)“看不到真正存在的效果”）。

首先，在統(tǒng)計(jì)測(cè)試方面，選擇一個(gè)本質(zhì)上謹(jǐn)慎的測(cè)試。檢查是否正確滿足了測(cè)試對(duì)數(shù)據(jù)的假設(shè)。

研究校正方法也很重要，例如Bonferroni校正。 然而，這些方法有時(shí)因過(guò)于謹(jǐn)慎而受到批評(píng)。 它們可能產(chǎn)生太多的II型錯(cuò)誤（假陰性，或者說(shuō)“忽略實(shí)際存在的效應(yīng)”）從而降低統(tǒng)計(jì)的效果。

查找結(jié)果的“null”解釋。 您的數(shù)據(jù)采集程序是否滿足假設(shè)條件？ 你能排除任何系統(tǒng)錯(cuò)誤嗎？ 幸存者偏差，自相關(guān)或趨中心回歸會(huì)有什么影響嗎？

最后，您發(fā)現(xiàn)的任何潛在關(guān)系有多可信？ 無(wú)論正確率多低，都不要拿看起來(lái)好看的數(shù)據(jù)來(lái)糊弄。

懷疑主義是有益的，一般來(lái)說(shuō)，始終注意對(duì)數(shù)據(jù)的空解釋是一種好習(xí)慣。

但要避免偏執(zhí)！ 如果您已經(jīng)很好地設(shè)計(jì)了實(shí)驗(yàn)，并謹(jǐn)慎地分析了您的數(shù)據(jù)，那么請(qǐng)將你的發(fā)現(xiàn)視為是真實(shí)的！

了解你的方法

最近技術(shù)和理論的進(jìn)步為數(shù)據(jù)科學(xué)家提供了一系列強(qiáng)大的新工具，用于解決十年前甚至是兩年前還無(wú)法解決的復(fù)雜問(wèn)題。

機(jī)器學(xué)習(xí)的這些進(jìn)步有理由讓人萬(wàn)分激動(dòng)。但是，當(dāng)將其應(yīng)用于特定問(wèn)題時(shí)可能存在的限制很容易被忽略。

例如，神經(jīng)網(wǎng)絡(luò)在圖像分類(lèi)和手寫(xiě)識(shí)別方面可能非常出色，但它絕不是解決所有問(wèn)題的完美解決方案。首先，神經(jīng)網(wǎng)絡(luò)很容易過(guò)擬合—即對(duì)訓(xùn)練數(shù)據(jù)過(guò)度擬合，無(wú)法推廣到新數(shù)據(jù)中。

如神經(jīng)網(wǎng)絡(luò)的不透明性。神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)能力通常以犧牲模型透明度為代價(jià)。由于特征選擇的內(nèi)化，即使網(wǎng)絡(luò)進(jìn)行了準(zhǔn)確預(yù)測(cè)，你也不一定理解它是如何得出答案的。

在許多業(yè)務(wù)和商業(yè)應(yīng)用中，理解“為什么和怎么做”通常是分析項(xiàng)目最重要的。為了預(yù)測(cè)準(zhǔn)確性而放棄可理解性或許是值得做出的權(quán)衡。

同樣，依靠復(fù)雜機(jī)器學(xué)習(xí)算法的準(zhǔn)確性很吸引人，但它們絕不是百分百可靠的。

例如， 令人深刻的Google Cloud Vision API 也很容易被圖像中的少量噪音欺騙。相反地，另一篇有趣的論文展示了深度神經(jīng)網(wǎng)絡(luò)如何“看到”那些根本不存在的圖像。

這不僅僅是需要謹(jǐn)慎使用的前沿機(jī)器學(xué)習(xí)方法。

即使采用更傳統(tǒng)的建模方法，也需要注意滿足關(guān)鍵假設(shè)。每次都注意使用到訓(xùn)練數(shù)據(jù)以為的數(shù)據(jù)時(shí)，如不懷疑也至少要謹(jǐn)慎使用。每次得到的結(jié)論都需要檢驗(yàn)方法是否合理。

這并不是說(shuō)根本不相信任何方法—只是要知道在任何時(shí)候?yàn)槭裁词褂眠@種方法而不是另一種方法，以及其相對(duì)利弊。

一般地，如果你不能想出至少一個(gè)正考慮使用方法的缺點(diǎn)，那么在進(jìn)行下一步之前深入研究它。始終使用最簡(jiǎn)單的工具來(lái)完成工作。

了解何時(shí)適合使用給定方法是否適合數(shù)據(jù)科學(xué)是一項(xiàng)關(guān)鍵技能。 這是一種隨著經(jīng)驗(yàn)和對(duì)方法的真正理解而提高的技能。

溝通

溝通是數(shù)據(jù)科學(xué)的精華。不同于學(xué)校的科目，你的目標(biāo)受眾將是你研究領(lǐng)域中受過(guò)專(zhuān)業(yè)訓(xùn)練的專(zhuān)家，商業(yè)數(shù)據(jù)科學(xué)家的觀眾可能會(huì)成為其他領(lǐng)域的專(zhuān)家。

如果溝通不暢，即使是世界上最好的洞察力也沒(méi)什么價(jià)值。許多來(lái)自學(xué)術(shù)/研究領(lǐng)域有抱負(fù)的數(shù)據(jù)科學(xué)家會(huì)與技術(shù)專(zhuān)業(yè)的受眾進(jìn)行溝通。

然而，在商業(yè)環(huán)境中，不能過(guò)分強(qiáng)調(diào)以一般受眾能理解和可使用的方式來(lái)解釋你的調(diào)查結(jié)果是多么重要。

例如，你的調(diào)查結(jié)果可能與機(jī)構(gòu)內(nèi)的一系列不同的部門(mén)（從營(yíng)銷(xiāo)，運(yùn)營(yíng)到產(chǎn)品開(kāi)發(fā)）都相關(guān)。其中每個(gè)成員都將成為各自工作領(lǐng)域的專(zhuān)家，并將從簡(jiǎn)明扼要的相關(guān)調(diào)查結(jié)果的總結(jié)中受益。

與實(shí)際結(jié)果一樣重要的是知道調(diào)查結(jié)果的局限性。確保你的受眾了解工作流程中的任何關(guān)鍵假設(shè)、缺失數(shù)據(jù)或不確定程度。

老生常談的“一張圖片勝過(guò)千言萬(wàn)語(yǔ)”在數(shù)據(jù)科學(xué)中尤其如此。因此，數(shù)據(jù)可視化工具非常重要。

應(yīng)用軟件例如Tableau、程序庫(kù)ggplot2 for R和D3.js等都是有效表達(dá)復(fù)雜數(shù)據(jù)的好方法，與任何技術(shù)概念一樣值得掌握。

適當(dāng)了解圖形設(shè)計(jì)原則將大大有助于讓你的圖表看起來(lái)更加專(zhuān)業(yè)和出彩。

寫(xiě)作一定要清晰。生物進(jìn)化已經(jīng)將我們塑造成充滿潛意識(shí)偏見(jiàn)的和易受影響的生物，我們固有地傾向于相信更好的展示和寫(xiě)得好的資料。

有時(shí)，理解概念的最好方式是互動(dòng)—因此學(xué)習(xí)一些前端網(wǎng)絡(luò)技術(shù)來(lái)制作觀眾可以玩的交互可視化特效是值得的。我們沒(méi)有必要重新造輪子，像D3.js和R's Shiny這樣的庫(kù)和工具可使任務(wù)變得更加容易。