數(shù)據(jù)分析的影響因素之分析算法

整個數(shù)據(jù)分析的流程就是基于基礎(chǔ)數(shù)據(jù)，通過不同的算法或數(shù)學(xué)模型來實現(xiàn)業(yè)務(wù)價值的過程。當(dāng)我們擁有了數(shù)據(jù)基礎(chǔ)后，下一步要做的就是選擇合適的算法來挖掘隱藏在數(shù)據(jù)中的信息價值。

在以往企業(yè)的數(shù)據(jù)分析中，數(shù)據(jù)分析人員更多會從歷史數(shù)據(jù)與當(dāng)期數(shù)據(jù)的對比，當(dāng)期數(shù)據(jù)多種緯度的現(xiàn)狀呈現(xiàn)角度入手，其呈現(xiàn)價值主要在于對于企業(yè)運(yùn)營的情況進(jìn)行呈現(xiàn)，由于企業(yè)各個部門中有大量的信息需要同步給其他部門，而這些內(nèi)容如果光靠語言描述或者會議紀(jì)要的方式傳遞的話，無論是承載的信息量還是傳遞效率還是記錄過程中的信息流失都是無法承受的。

所以從很久以前開始，數(shù)字化管理就已經(jīng)成為企業(yè)的關(guān)鍵管理模塊了。正如質(zhì)量管理專家戴明說的那句名言：In God We Trust, All Others Bring Data.(除了上帝我無條件相信以外，所有其他的都給我把數(shù)據(jù)拿出來)。

在以往，這個“所有其他的”的范圍倒是還比較小，因為數(shù)據(jù)分析人員只要把上述內(nèi)容做好，把當(dāng)期的情況全面呈現(xiàn)出來，再跟以往作下對比就行了，如果說做的比較好的，則會把趨勢分析也加入進(jìn)來，基于以往的數(shù)據(jù)，基于趨勢分析算法來評估未來該數(shù)據(jù)指標(biāo)的變動趨勢和波動范圍。

可是在今天，這些內(nèi)容已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足企業(yè)的胃口了，導(dǎo)致這一切發(fā)生的根本原因就在于上一篇文章我所說的，技術(shù)和管理能力的提升所導(dǎo)致的數(shù)據(jù)指標(biāo)的極大豐富，這一因素致使以往管理者想都不敢想的數(shù)學(xué)算法，數(shù)學(xué)模型的應(yīng)用成為可能。

從數(shù)學(xué)角度來看數(shù)據(jù)分析的話，其“了解過去”，用數(shù)字的方式來呈現(xiàn)企業(yè)內(nèi)部方方面面的運(yùn)營情況僅僅只是其功能的很小的一部分，甚至可以說這部分內(nèi)容都不能算在數(shù)學(xué)領(lǐng)域內(nèi)，因為其根本就沒有涉及到任何的算法或模型的應(yīng)用。而真正應(yīng)用數(shù)學(xué)知識來實現(xiàn)的數(shù)據(jù)分析則更多會關(guān)注在預(yù)測未來上。

何為未來的預(yù)測，在前邊我所提到的趨勢分析就是其中一種，即運(yùn)用統(tǒng)計學(xué)算法來計算未來數(shù)據(jù)的波動情況，而這個內(nèi)容的應(yīng)用在以往之所以能夠?qū)崿F(xiàn)的原因就在于其對于數(shù)據(jù)指標(biāo)的需求較為簡單，因為只要數(shù)據(jù)庫中能夠有單一指標(biāo)的歷史數(shù)據(jù)積累，即便數(shù)據(jù)的記錄有所缺失都能夠應(yīng)用該算法。

但是再往上，在應(yīng)用統(tǒng)計學(xué)中的更高階的算法工具時，如聚類分析，回歸分析時，我們對于數(shù)據(jù)指標(biāo)的需求就大大提升了。就像“啤酒尿布”理論中使用的RFM模型就需要最近一次消費(fèi)(Recency)、消費(fèi)頻率(Frequency)、消費(fèi)金額(Monetary)和商品類型等四類指標(biāo)信息。而一旦提升到關(guān)聯(lián)分析這個層級，我們所需要就已經(jīng)不是有限的指標(biāo)了，而是已經(jīng)把指標(biāo)的豐富度作為了模型品質(zhì)的考核因素之一了，也就是說模型中的指標(biāo)越豐富，那么這個模型就越可能發(fā)揮其作用，至于完全獨立的創(chuàng)建數(shù)學(xué)模型的話，我們則不僅需要數(shù)據(jù)指標(biāo)了，其他諸如文本信息的結(jié)構(gòu)化都成為了模型構(gòu)成的核心要素了。

所以說在以往，如果想要達(dá)成上述工具或模型的應(yīng)用，我們的數(shù)據(jù)庫需要多么強(qiáng)大，不過在今天，這一切終于得到了系統(tǒng)層面上的解決方案，在大數(shù)據(jù)技術(shù)的應(yīng)用下，讓我們來看看何為真正的數(shù)據(jù)分析吧。

目前針對業(yè)務(wù)需求，我們最為常用的統(tǒng)計學(xué)分析方法主要有兩類，即聚類分析跟回歸分析。以下讓我們分別以案例的方式來介紹這兩部分內(nèi)容。

聚類分析（客戶分類/熱門問題聚焦）

聚類分析，專業(yè)定義請各位自行查找百度百科，在這里我用大白話來說，其實聚類分析顧名思義就是“物以類聚”的分析方法，它的目標(biāo)就是把類似的對象放到一個類型中去。

聚類分析這個分析工具在企業(yè)的運(yùn)營過程中能夠起到非常巨大的效果，最典型的應(yīng)用場景就是客戶分類或者說市場細(xì)分層面上，在以往我們都是通過客戶的消費(fèi)能力來界定客戶類型的，即“高端客戶”等，而且這個消費(fèi)能力的邊界也是企業(yè)自己腦補(bǔ)的，100元以下一類？1000元以下一類？10000元以下一類？都是企業(yè)管理人員自己看著定的，當(dāng)然并不是說這種拍腦袋的方法有什么錯誤，實際上資深企業(yè)管理人員的經(jīng)驗往往是最好的分析工具。但是這個工具無法推廣，如果換個新人來，出錯誤的概率就會大大提升，而且另一方面，僅僅只是消費(fèi)能力是不是就能夠界定出所謂的“高端客戶”，這本身也存在一定的不合理性。今天比較先進(jìn)的企業(yè)會采取將交互活躍度，購買頻次等信息共同加入的方法來全面衡量所謂的“高端客戶”，但這是否足夠全面，其實大家心里都明白。但如果再增加內(nèi)容，一方面數(shù)據(jù)來源困難，一方面?zhèn)鹘y(tǒng)的人工界定的方法難以顧得過來這么多的信息，而此時就需要大數(shù)據(jù)系統(tǒng)和統(tǒng)計學(xué)軟件了。在今天的數(shù)據(jù)庫中，我們所記錄的內(nèi)容已經(jīng)遠(yuǎn)遠(yuǎn)不是當(dāng)年的客戶簡單的行為信息了，包括地理信息（如住址，氣候，環(huán)境），人口信息（年齡、性別、職業(yè)、收入、教育、家庭類型、家庭人口），心理信息（風(fēng)格個性、愛好、態(tài)度特點、渠道偏好），交互信息（購買產(chǎn)品類型、交互頻次、購買頻次、售后頻次、售后內(nèi)容、產(chǎn)品評價）等等。通過SPSS或者SAS統(tǒng)計軟件，我們能夠?qū)⑦@些內(nèi)容通通放入程序中進(jìn)行綜合分析，在這些各類型的信息綜合之下，我們將能夠在一個更為完整的客戶畫像之下對客戶進(jìn)行分類，進(jìn)而對企業(yè)戰(zhàn)略側(cè)重提供關(guān)鍵信息。

在文本分析中，聚類分析也起到了不可忽視的作用，譬如熱門問題聚焦。以往企業(yè)可以收集到很多客戶反饋的評論，這些客戶聲音對企業(yè)的價值很大，可是龐大的信息量、非結(jié)構(gòu)化的文本，使得對文本價值的挖掘造成了很大困擾。為了使文本信息量縮小并且可分析，首先我們可以去掉一些水詞（如：的、呀等副詞）；然后將一些相似的詞或近義詞進(jìn)行聚類（如：交費(fèi)、充錢、充不上錢、交錢等即可聚類為交費(fèi)），這樣我們會聚類出很多關(guān)鍵詞；然后，我們對這些關(guān)鍵詞進(jìn)行聚類，即可得到熱門話題（如：交費(fèi)出問題）。由于漢語的博大精神，現(xiàn)在文本分析的道路還存在一些障礙，不過不久的將來，文本分析應(yīng)該會帶給企業(yè)更多的顯性價值。

回歸分析（疾病分析/《紙牌屋》）

回歸分析的具體定義在這里也不詳講，從作用上來講，這種分析方法最重要的目的就在于找到各種因素之間的具體關(guān)系。這個分析工具能夠在大量的毫無關(guān)聯(lián)的因素之間，基于一個目標(biāo)因素進(jìn)行分析，來看其他所有的因素與這個目標(biāo)因素之間究竟有著怎么樣的關(guān)系，在這個領(lǐng)域中，屬醫(yī)學(xué)分析相關(guān)應(yīng)用最為成熟，舉例來講，醫(yī)生希望能夠通過一系列檢查來判斷病人是否有得心臟病，那就需要判斷心臟病可能會跟哪些其他癥狀有相關(guān)性，這就需要對以往得過心臟病的病人與沒得過心臟病的正常人進(jìn)行綜合比對，將各個指標(biāo)，諸如心率，膽固醇等指標(biāo)進(jìn)行匯總，以對象是否有心臟病作為目標(biāo)因素來分析，通過SVM等回歸算法來判斷，患有心臟病的對象與沒有心臟病的對象之間有差異的因素都有哪些，這些因素將會成為我們對患者檢查的關(guān)鍵因素。

而在商業(yè)領(lǐng)域中，netflix的《紙牌屋》就是另一個典型的例子了，我們可以看到，以往客戶觀看的電視劇類型，演員陣容，主題類型，包括地點，結(jié)局等，通過以客戶是否觀看作為判斷因素，將上述因素與這個目標(biāo)進(jìn)行回歸分析，我們就能看到影響客戶觀看的關(guān)鍵因素都可能是哪些，他們本身又應(yīng)該是什么，這樣就能進(jìn)一步判斷不同類型的客戶，以及這類客戶的需求會有哪些，應(yīng)該給他們推什么產(chǎn)品，或者設(shè)計什么產(chǎn)品等，這同樣能夠為企業(yè)戰(zhàn)略提供重要支撐。

上述案例是眾多的數(shù)學(xué)方法應(yīng)用于數(shù)據(jù)分析的典型場景，但并不是全部場景，實際上這個領(lǐng)域可以擴(kuò)展的內(nèi)容太多，幾乎無法窮舉，而伴隨著今天底層數(shù)據(jù)的越發(fā)成熟，我們能夠使用的數(shù)據(jù)分析方法也就越來越豐富，能夠給企業(yè)帶來價值的緯度也就越來越多，可以說在今天這樣的技術(shù)支撐下，我們才真正敢說數(shù)據(jù)分析迎來了正式的春天，而要真正進(jìn)入這一數(shù)據(jù)時代，除了前邊所說的數(shù)據(jù)和算法支撐，這些都屬于業(yè)務(wù)層面，我們最后需要的就是事務(wù)層面的需求，這也就是我在下次文章中希望能夠介紹的，在組織結(jié)構(gòu)上的數(shù)據(jù)分析變革。

其實算法層面并不像其他層面有那么多的問題，其實它就是一個客觀的工具，我們更多需要的是在業(yè)務(wù)層面，即數(shù)據(jù)指標(biāo)層面，和事務(wù)層面，即組織結(jié)構(gòu)層面上的支撐，只有這些支撐真正到位，我們才能應(yīng)用這些數(shù)學(xué)工具，真正發(fā)揮數(shù)據(jù)分析的價值。