數(shù)據(jù)分析的影響因素之分析算法

整個(gè)數(shù)據(jù)分析的流程就是基于基礎(chǔ)數(shù)據(jù)，通過(guò)不同的算法或數(shù)學(xué)模型來(lái)實(shí)現(xiàn)業(yè)務(wù)價(jià)值的過(guò)程。當(dāng)我們擁有了數(shù)據(jù)基礎(chǔ)后，下一步要做的就是選擇合適的算法來(lái)挖掘隱藏在數(shù)據(jù)中的信息價(jià)值。

在以往企業(yè)的數(shù)據(jù)分析中，數(shù)據(jù)分析人員更多會(huì)從歷史數(shù)據(jù)與當(dāng)期數(shù)據(jù)的對(duì)比，當(dāng)期數(shù)據(jù)多種緯度的現(xiàn)狀呈現(xiàn)角度入手，其呈現(xiàn)價(jià)值主要在于對(duì)于企業(yè)運(yùn)營(yíng)的情況進(jìn)行呈現(xiàn)，由于企業(yè)各個(gè)部門中有大量的信息需要同步給其他部門，而這些內(nèi)容如果光靠語(yǔ)言描述或者會(huì)議紀(jì)要的方式傳遞的話，無(wú)論是承載的信息量還是傳遞效率還是記錄過(guò)程中的信息流失都是無(wú)法承受的。

所以從很久以前開始，數(shù)字化管理就已經(jīng)成為企業(yè)的關(guān)鍵管理模塊了。正如質(zhì)量管理專家戴明說(shuō)的那句名言：In God We Trust, All Others Bring Data.(除了上帝我無(wú)條件相信以外，所有其他的都給我把數(shù)據(jù)拿出來(lái))。

在以往，這個(gè)“所有其他的”的范圍倒是還比較小，因?yàn)閿?shù)據(jù)分析人員只要把上述內(nèi)容做好，把當(dāng)期的情況全面呈現(xiàn)出來(lái)，再跟以往作下對(duì)比就行了，如果說(shuō)做的比較好的，則會(huì)把趨勢(shì)分析也加入進(jìn)來(lái)，基于以往的數(shù)據(jù)，基于趨勢(shì)分析算法來(lái)評(píng)估未來(lái)該數(shù)據(jù)指標(biāo)的變動(dòng)趨勢(shì)和波動(dòng)范圍。

可是在今天，這些內(nèi)容已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足企業(yè)的胃口了，導(dǎo)致這一切發(fā)生的根本原因就在于上一篇文章我所說(shuō)的，技術(shù)和管理能力的提升所導(dǎo)致的數(shù)據(jù)指標(biāo)的極大豐富，這一因素致使以往管理者想都不敢想的數(shù)學(xué)算法，數(shù)學(xué)模型的應(yīng)用成為可能。

從數(shù)學(xué)角度來(lái)看數(shù)據(jù)分析的話，其“了解過(guò)去”，用數(shù)字的方式來(lái)呈現(xiàn)企業(yè)內(nèi)部方方面面的運(yùn)營(yíng)情況僅僅只是其功能的很小的一部分，甚至可以說(shuō)這部分內(nèi)容都不能算在數(shù)學(xué)領(lǐng)域內(nèi)，因?yàn)槠涓揪蜎](méi)有涉及到任何的算法或模型的應(yīng)用。而真正應(yīng)用數(shù)學(xué)知識(shí)來(lái)實(shí)現(xiàn)的數(shù)據(jù)分析則更多會(huì)關(guān)注在預(yù)測(cè)未來(lái)上。

何為未來(lái)的預(yù)測(cè)，在前邊我所提到的趨勢(shì)分析就是其中一種，即運(yùn)用統(tǒng)計(jì)學(xué)算法來(lái)計(jì)算未來(lái)數(shù)據(jù)的波動(dòng)情況，而這個(gè)內(nèi)容的應(yīng)用在以往之所以能夠?qū)崿F(xiàn)的原因就在于其對(duì)于數(shù)據(jù)指標(biāo)的需求較為簡(jiǎn)單，因?yàn)橹灰獢?shù)據(jù)庫(kù)中能夠有單一指標(biāo)的歷史數(shù)據(jù)積累，即便數(shù)據(jù)的記錄有所缺失都能夠應(yīng)用該算法。

但是再往上，在應(yīng)用統(tǒng)計(jì)學(xué)中的更高階的算法工具時(shí)，如聚類分析，回歸分析時(shí)，我們對(duì)于數(shù)據(jù)指標(biāo)的需求就大大提升了。就像“啤酒尿布”理論中使用的RFM模型就需要最近一次消費(fèi)(Recency)、消費(fèi)頻率(Frequency)、消費(fèi)金額(Monetary)和商品類型等四類指標(biāo)信息。而一旦提升到關(guān)聯(lián)分析這個(gè)層級(jí)，我們所需要就已經(jīng)不是有限的指標(biāo)了，而是已經(jīng)把指標(biāo)的豐富度作為了模型品質(zhì)的考核因素之一了，也就是說(shuō)模型中的指標(biāo)越豐富，那么這個(gè)模型就越可能發(fā)揮其作用，至于完全獨(dú)立的創(chuàng)建數(shù)學(xué)模型的話，我們則不僅需要數(shù)據(jù)指標(biāo)了，其他諸如文本信息的結(jié)構(gòu)化都成為了模型構(gòu)成的核心要素了。

所以說(shuō)在以往，如果想要達(dá)成上述工具或模型的應(yīng)用，我們的數(shù)據(jù)庫(kù)需要多么強(qiáng)大，不過(guò)在今天，這一切終于得到了系統(tǒng)層面上的解決方案，在大數(shù)據(jù)技術(shù)的應(yīng)用下，讓我們來(lái)看看何為真正的數(shù)據(jù)分析吧。

目前針對(duì)業(yè)務(wù)需求，我們最為常用的統(tǒng)計(jì)學(xué)分析方法主要有兩類，即聚類分析跟回歸分析。以下讓我們分別以案例的方式來(lái)介紹這兩部分內(nèi)容。

聚類分析（客戶分類/熱門問(wèn)題聚焦）

聚類分析，專業(yè)定義請(qǐng)各位自行查找百度百科，在這里我用大白話來(lái)說(shuō)，其實(shí)聚類分析顧名思義就是“物以類聚”的分析方法，它的目標(biāo)就是把類似的對(duì)象放到一個(gè)類型中去。

聚類分析這個(gè)分析工具在企業(yè)的運(yùn)營(yíng)過(guò)程中能夠起到非常巨大的效果，最典型的應(yīng)用場(chǎng)景就是客戶分類或者說(shuō)市場(chǎng)細(xì)分層面上，在以往我們都是通過(guò)客戶的消費(fèi)能力來(lái)界定客戶類型的，即“高端客戶”等，而且這個(gè)消費(fèi)能力的邊界也是企業(yè)自己腦補(bǔ)的，100元以下一類？1000元以下一類？10000元以下一類？都是企業(yè)管理人員自己看著定的，當(dāng)然并不是說(shuō)這種拍腦袋的方法有什么錯(cuò)誤，實(shí)際上資深企業(yè)管理人員的經(jīng)驗(yàn)往往是最好的分析工具。但是這個(gè)工具無(wú)法推廣，如果換個(gè)新人來(lái)，出錯(cuò)誤的概率就會(huì)大大提升，而且另一方面，僅僅只是消費(fèi)能力是不是就能夠界定出所謂的“高端客戶”，這本身也存在一定的不合理性。今天比較先進(jìn)的企業(yè)會(huì)采取將交互活躍度，購(gòu)買頻次等信息共同加入的方法來(lái)全面衡量所謂的“高端客戶”，但這是否足夠全面，其實(shí)大家心里都明白。但如果再增加內(nèi)容，一方面數(shù)據(jù)來(lái)源困難，一方面?zhèn)鹘y(tǒng)的人工界定的方法難以顧得過(guò)來(lái)這么多的信息，而此時(shí)就需要大數(shù)據(jù)系統(tǒng)和統(tǒng)計(jì)學(xué)軟件了。在今天的數(shù)據(jù)庫(kù)中，我們所記錄的內(nèi)容已經(jīng)遠(yuǎn)遠(yuǎn)不是當(dāng)年的客戶簡(jiǎn)單的行為信息了，包括地理信息（如住址，氣候，環(huán)境），人口信息（年齡、性別、職業(yè)、收入、教育、家庭類型、家庭人口），心理信息（風(fēng)格個(gè)性、愛好、態(tài)度特點(diǎn)、渠道偏好），交互信息（購(gòu)買產(chǎn)品類型、交互頻次、購(gòu)買頻次、售后頻次、售后內(nèi)容、產(chǎn)品評(píng)價(jià)）等等。通過(guò)SPSS或者SAS統(tǒng)計(jì)軟件，我們能夠?qū)⑦@些內(nèi)容通通放入程序中進(jìn)行綜合分析，在這些各類型的信息綜合之下，我們將能夠在一個(gè)更為完整的客戶畫像之下對(duì)客戶進(jìn)行分類，進(jìn)而對(duì)企業(yè)戰(zhàn)略側(cè)重提供關(guān)鍵信息。

在文本分析中，聚類分析也起到了不可忽視的作用，譬如熱門問(wèn)題聚焦。以往企業(yè)可以收集到很多客戶反饋的評(píng)論，這些客戶聲音對(duì)企業(yè)的價(jià)值很大，可是龐大的信息量、非結(jié)構(gòu)化的文本，使得對(duì)文本價(jià)值的挖掘造成了很大困擾。為了使文本信息量縮小并且可分析，首先我們可以去掉一些水詞（如：的、呀等副詞）；然后將一些相似的詞或近義詞進(jìn)行聚類（如：交費(fèi)、充錢、充不上錢、交錢等即可聚類為交費(fèi)），這樣我們會(huì)聚類出很多關(guān)鍵詞；然后，我們對(duì)這些關(guān)鍵詞進(jìn)行聚類，即可得到熱門話題（如：交費(fèi)出問(wèn)題）。由于漢語(yǔ)的博大精神，現(xiàn)在文本分析的道路還存在一些障礙，不過(guò)不久的將來(lái)，文本分析應(yīng)該會(huì)帶給企業(yè)更多的顯性價(jià)值。

回歸分析（疾病分析/《紙牌屋》）

回歸分析的具體定義在這里也不詳講，從作用上來(lái)講，這種分析方法最重要的目的就在于找到各種因素之間的具體關(guān)系。這個(gè)分析工具能夠在大量的毫無(wú)關(guān)聯(lián)的因素之間，基于一個(gè)目標(biāo)因素進(jìn)行分析，來(lái)看其他所有的因素與這個(gè)目標(biāo)因素之間究竟有著怎么樣的關(guān)系，在這個(gè)領(lǐng)域中，屬醫(yī)學(xué)分析相關(guān)應(yīng)用最為成熟，舉例來(lái)講，醫(yī)生希望能夠通過(guò)一系列檢查來(lái)判斷病人是否有得心臟病，那就需要判斷心臟病可能會(huì)跟哪些其他癥狀有相關(guān)性，這就需要對(duì)以往得過(guò)心臟病的病人與沒(méi)得過(guò)心臟病的正常人進(jìn)行綜合比對(duì)，將各個(gè)指標(biāo)，諸如心率，膽固醇等指標(biāo)進(jìn)行匯總，以對(duì)象是否有心臟病作為目標(biāo)因素來(lái)分析，通過(guò)SVM等回歸算法來(lái)判斷，患有心臟病的對(duì)象與沒(méi)有心臟病的對(duì)象之間有差異的因素都有哪些，這些因素將會(huì)成為我們對(duì)患者檢查的關(guān)鍵因素。

而在商業(yè)領(lǐng)域中，netflix的《紙牌屋》就是另一個(gè)典型的例子了，我們可以看到，以往客戶觀看的電視劇類型，演員陣容，主題類型，包括地點(diǎn)，結(jié)局等，通過(guò)以客戶是否觀看作為判斷因素，將上述因素與這個(gè)目標(biāo)進(jìn)行回歸分析，我們就能看到影響客戶觀看的關(guān)鍵因素都可能是哪些，他們本身又應(yīng)該是什么，這樣就能進(jìn)一步判斷不同類型的客戶，以及這類客戶的需求會(huì)有哪些，應(yīng)該給他們推什么產(chǎn)品，或者設(shè)計(jì)什么產(chǎn)品等，這同樣能夠?yàn)槠髽I(yè)戰(zhàn)略提供重要支撐。

上述案例是眾多的數(shù)學(xué)方法應(yīng)用于數(shù)據(jù)分析的典型場(chǎng)景，但并不是全部場(chǎng)景，實(shí)際上這個(gè)領(lǐng)域可以擴(kuò)展的內(nèi)容太多，幾乎無(wú)法窮舉，而伴隨著今天底層數(shù)據(jù)的越發(fā)成熟，我們能夠使用的數(shù)據(jù)分析方法也就越來(lái)越豐富，能夠給企業(yè)帶來(lái)價(jià)值的緯度也就越來(lái)越多，可以說(shuō)在今天這樣的技術(shù)支撐下，我們才真正敢說(shuō)數(shù)據(jù)分析迎來(lái)了正式的春天，而要真正進(jìn)入這一數(shù)據(jù)時(shí)代，除了前邊所說(shuō)的數(shù)據(jù)和算法支撐，這些都屬于業(yè)務(wù)層面，我們最后需要的就是事務(wù)層面的需求，這也就是我在下次文章中希望能夠介紹的，在組織結(jié)構(gòu)上的數(shù)據(jù)分析變革。

其實(shí)算法層面并不像其他層面有那么多的問(wèn)題，其實(shí)它就是一個(gè)客觀的工具，我們更多需要的是在業(yè)務(wù)層面，即數(shù)據(jù)指標(biāo)層面，和事務(wù)層面，即組織結(jié)構(gòu)層面上的支撐，只有這些支撐真正到位，我們才能應(yīng)用這些數(shù)學(xué)工具，真正發(fā)揮數(shù)據(jù)分析的價(jià)值。