做好數(shù)據(jù)分析 走好這七步

  自大數(shù)據(jù)時(shí)代的概念逐漸被接受以來，企業(yè)的大數(shù)據(jù)應(yīng)用意識(shí)越來越強(qiáng)烈，越來越多的企業(yè)開始布局大數(shù)據(jù)。

　　“數(shù)據(jù)科學(xué)家”術(shù)語總讓人聯(lián)想到一個(gè)孤獨(dú)的天才獨(dú)自工作，將深?yuàn)W的公式應(yīng)用于大量的數(shù)據(jù)，從而探索出有用的見解。但這僅僅是數(shù)據(jù)分析過程中的一步。數(shù)據(jù)分析本身不是目標(biāo)，目標(biāo)是使企業(yè)能夠做出更好的決策。數(shù)據(jù)科學(xué)家構(gòu)建出的產(chǎn)品，必須使得組織中的每個(gè)人更好地使用數(shù)據(jù)，使得每個(gè)部門、每個(gè)層級(jí)可以做出受數(shù)據(jù)驅(qū)動(dòng)的決策。

　　在自動(dòng)收集、清洗和分析數(shù)據(jù)的產(chǎn)品中，可以捕獲數(shù)據(jù)價(jià)值鏈，為執(zhí)行儀表盤或報(bào)告提供信息和預(yù)測(cè)。隨著新數(shù)據(jù)的產(chǎn)生，分析工作可以自動(dòng)地、連續(xù)地運(yùn)行。數(shù)據(jù)科學(xué)家可以根據(jù)業(yè)務(wù)不斷改進(jìn)模型，提高預(yù)測(cè)精度。

　　雖然每個(gè)公司都是針對(duì)自己的需求和目標(biāo)創(chuàng)建數(shù)據(jù)產(chǎn)品，但價(jià)值鏈中的一些步驟是一致的：

　　1. 決定目標(biāo)：

　　在獲取數(shù)據(jù)之前，數(shù)據(jù)價(jià)值鏈的第一步要先決定目標(biāo)：業(yè)務(wù)部門要決定數(shù)據(jù)科學(xué)團(tuán)隊(duì)的目標(biāo)。這些目標(biāo)通常需要進(jìn)行大量的數(shù)據(jù)收集和分析。因?yàn)槲覀冋谘芯磕切?qū)動(dòng)決策的數(shù)據(jù)，所以需要一個(gè)可衡量的方式，判斷業(yè)務(wù)是否正向著目標(biāo)前進(jìn)。數(shù)據(jù)分析過程中，關(guān)鍵權(quán)值或性能指標(biāo)必須及早發(fā)現(xiàn)。

　　2. 確定業(yè)務(wù)手段：

　　應(yīng)該通過業(yè)務(wù)的改變，來提高關(guān)鍵指標(biāo)和達(dá)到業(yè)務(wù)目標(biāo)。如果沒有什么可以改變的，無論收集和分析多少數(shù)據(jù)都不可能有進(jìn)步。在項(xiàng)目中盡早確定目標(biāo)、指標(biāo)和業(yè)務(wù)手段能為項(xiàng)目指明方向，避免無意義的數(shù)據(jù)分析。例如，目標(biāo)是提高客戶滯留度，其中一個(gè)指標(biāo)可以是客戶更新他們訂閱的百分比，業(yè)務(wù)手段可以是更新頁面的設(shè)計(jì)，提醒郵件的時(shí)間和內(nèi)容以及特別的促銷活動(dòng)。

　　3. 數(shù)據(jù)收集：

　　數(shù)據(jù)收集要盡量廣撒網(wǎng)。更多的數(shù)據(jù)--特別是更多的不同來源的數(shù)據(jù)--使得數(shù)據(jù)科學(xué)家能找到數(shù)據(jù)之間更好的相關(guān)性，建立更好的模型，找到更多的可行性見解。大數(shù)據(jù)經(jīng)濟(jì)意味著個(gè)人記錄往往是無用的，擁有可供分析的每一條記錄才能提供真正的價(jià)值。公司通過檢測(cè)它們的網(wǎng)站來密切跟蹤用戶的點(diǎn)擊及鼠標(biāo)移動(dòng)，商店通過在產(chǎn)品上附加RFID來跟蹤用戶的移動(dòng)，教練通過在運(yùn)動(dòng)員身上附加傳感器來跟蹤他們的行動(dòng)方式。

　　4. 數(shù)據(jù)清洗：

　　數(shù)據(jù)分析的第一步是提高數(shù)據(jù)質(zhì)量。數(shù)據(jù)科學(xué)家要糾正拼寫錯(cuò)誤，處理缺失數(shù)據(jù)以及清除無意義的信息。[大數(shù)據(jù)魔方]這是數(shù)據(jù)價(jià)值鏈中最關(guān)鍵的步驟。垃圾數(shù)據(jù)，即使是通過最好的分析，也將產(chǎn)生錯(cuò)誤的結(jié)果，并誤導(dǎo)業(yè)務(wù)本身。不止一個(gè)公司很驚訝地發(fā)現(xiàn)，他們很大一部分客戶住在紐約的斯克內(nèi)克塔迪，而該小鎮(zhèn)的人口不到70000人。然而，斯克內(nèi)克塔迪的郵政編碼是12345，由于客戶往往不愿將他們的真實(shí)信息填入在線表單，所以這個(gè)郵政編碼會(huì)不成比例地出現(xiàn)在幾乎每一個(gè)客戶的檔案數(shù)據(jù)庫中。直接分析這些數(shù)據(jù)將導(dǎo)致錯(cuò)誤的結(jié)論，除非數(shù)據(jù)分析師采取措施來驗(yàn)證和清洗數(shù)據(jù)。尤為重要的是，這一步將規(guī)?；瘓?zhí)行，因?yàn)檫B續(xù)數(shù)據(jù)價(jià)值鏈要求傳入的數(shù)據(jù)會(huì)立即被清洗，且清洗頻率非常高。這通常意味著此過程將自動(dòng)執(zhí)行，但這并不意味著人無法參與其中。

　　5. 數(shù)據(jù)建模：

　　數(shù)據(jù)科學(xué)家構(gòu)建模型，關(guān)聯(lián)數(shù)據(jù)與業(yè)務(wù)成果，提出關(guān)于在第一步中確定的業(yè)務(wù)手段變化的建議。數(shù)據(jù)科學(xué)家獨(dú)一無二的專業(yè)知識(shí)是業(yè)務(wù)成功的關(guān)鍵所在，就體現(xiàn)在這一步--關(guān)聯(lián)數(shù)據(jù)，建立模型，預(yù)測(cè)業(yè)務(wù)成果。數(shù)據(jù)科學(xué)家必須有良好的統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)背景，才能構(gòu)建出科學(xué)、精確的模型，避免毫無意義的相關(guān)性及一些模型的陷阱。這些模型依賴于現(xiàn)有的數(shù)據(jù)，但對(duì)于未來的預(yù)測(cè)是無用的。但只有統(tǒng)計(jì)學(xué)背景是不夠的，數(shù)據(jù)科學(xué)家還需要很好地了解業(yè)務(wù)，這樣他們才能判斷數(shù)學(xué)模型的結(jié)果是否有意義，以及是否具有相關(guān)性。

　　6. 培養(yǎng)一個(gè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)：

　　數(shù)據(jù)科學(xué)家是出了名的難雇用，所以最好自己構(gòu)建一個(gè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)，讓團(tuán)隊(duì)中那些在統(tǒng)計(jì)學(xué)方面有高級(jí)學(xué)位的人專注于數(shù)據(jù)建模和預(yù)測(cè)，而其他人--合格的基礎(chǔ)架構(gòu)工程師，軟件開發(fā)人員和ETL專家--構(gòu)建必要的數(shù)據(jù)收集基礎(chǔ)設(shè)施，數(shù)據(jù)管道和數(shù)據(jù)產(chǎn)品，使得結(jié)果數(shù)據(jù)能夠從模型中輸出，并以報(bào)告和表格的形式在業(yè)務(wù)中進(jìn)行展示。這些大數(shù)據(jù)技術(shù)團(tuán)隊(duì)通常使用類似Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)自動(dòng)化數(shù)據(jù)收集和分析工作，并作為一個(gè)產(chǎn)品運(yùn)行整個(gè)過程。

　　7. 優(yōu)化和重復(fù)：

　　數(shù)據(jù)價(jià)值鏈?zhǔn)且粋€(gè)可重復(fù)的過程，能夠?qū)I(yè)務(wù)和數(shù)據(jù)價(jià)值鏈本身產(chǎn)生連續(xù)的改進(jìn)?；谀Ｐ偷慕Y(jié)果，業(yè)務(wù)將根據(jù)驅(qū)動(dòng)手段做出改變，數(shù)據(jù)科學(xué)團(tuán)隊(duì)將評(píng)估結(jié)果。在結(jié)果的基礎(chǔ)上，企業(yè)可以決定下一步計(jì)劃，而數(shù)據(jù)科學(xué)團(tuán)隊(duì)繼續(xù)進(jìn)行數(shù)據(jù)收集、數(shù)據(jù)清理和數(shù)據(jù)建模。企業(yè)重復(fù)這個(gè)過程越快，就會(huì)越早修正發(fā)展方向，越快得到數(shù)據(jù)價(jià)值。理想情況下，多次迭代后，模型將產(chǎn)生準(zhǔn)確的預(yù)測(cè)，業(yè)務(wù)將達(dá)到預(yù)定的目標(biāo)，結(jié)果數(shù)據(jù)價(jià)值鏈將用于監(jiān)測(cè)和報(bào)告，同時(shí)團(tuán)隊(duì)中的每個(gè)人將開始解決下一個(gè)業(yè)務(wù)挑戰(zhàn)。