數(shù)據(jù)分析的7個關(guān)鍵步驟

“數(shù)據(jù)科學(xué)家” 術(shù)語總讓人聯(lián)想到一個孤獨的天才獨自工作，將深奧的公式應(yīng)用于大量的數(shù)據(jù)，從而探索出有用的見解。但這僅僅是數(shù)據(jù)分析過程中的一步。數(shù)據(jù)分析本身不是目標(biāo)，目標(biāo)是使企業(yè)能夠做出更好的決策。數(shù)據(jù)科學(xué)家構(gòu)建出的產(chǎn)品，必須使得組織中的每個人更好地使用數(shù)據(jù)，使得每個部門、每個層級可以做出受數(shù)據(jù)驅(qū)動的決策。

在自動收集、清洗和分析數(shù)據(jù)的產(chǎn)品中，可以捕獲數(shù)據(jù)價值鏈，為執(zhí)行儀表盤或報告提供信息和預(yù)測。隨著新數(shù)據(jù)的產(chǎn)生，分析工作可以自動地、連續(xù)地運行。數(shù)據(jù)科學(xué)家可以根據(jù)業(yè)務(wù)不斷改進(jìn)模型，提高預(yù)測精度。

雖然每個公司都是針對自己的需求和目標(biāo)創(chuàng)建數(shù)據(jù)產(chǎn)品，但價值鏈中的一些步驟是一致的：

1. 決定目標(biāo)

在獲取數(shù)據(jù)之前，數(shù)據(jù)價值鏈的第一步要先決定目標(biāo)：業(yè)務(wù)部門要決定數(shù)據(jù)科學(xué)團隊的目標(biāo)。這些目標(biāo)通常需要進(jìn)行大量的數(shù)據(jù)收集和分析。因為我們正在研究那些驅(qū)動決策的數(shù)據(jù)，所以需要一個可衡量的方式，判斷業(yè)務(wù)是否正向著目標(biāo)前進(jìn)。數(shù)據(jù)分析過程中，關(guān)鍵權(quán)值或性能指標(biāo)必須及早發(fā)現(xiàn)。

2. 確定業(yè)務(wù)手段

應(yīng)該通過業(yè)務(wù)的改變，來提高關(guān)鍵指標(biāo)和達(dá)到業(yè)務(wù)目標(biāo)。如果沒有什么可以改變的，無論收集和分析多少數(shù)據(jù)都不可能有進(jìn)步。在項目中盡早確定目標(biāo)、指標(biāo)和業(yè)務(wù)手段能為項目指明方向，避免無意義的數(shù)據(jù)分析。例如，目標(biāo)是提高客戶滯留度，其中一個指標(biāo)可以是客戶更新他們訂閱的百分比，業(yè)務(wù)手段可以是更新頁面的設(shè)計，提醒郵件的時間和內(nèi)容以及特別的促銷活動。

3. 數(shù)據(jù)收集

數(shù)據(jù)收集要盡量廣撒網(wǎng)。更多的數(shù)據(jù)—-特別是更多的不同來源的數(shù)據(jù)—-使得數(shù)據(jù)科學(xué)家能找到數(shù)據(jù)之間更好的相關(guān)性，建立更好的模型，找到更多的可行性見解。大數(shù)據(jù)經(jīng)濟意味著個人記錄往往是無用的，擁有可供分析的每一條記錄才能提供真正的價值。公司通過檢測它們的網(wǎng)站來密切跟蹤用戶的點擊及鼠標(biāo)移動，商店通過在產(chǎn)品上附加RFID來跟蹤用戶的移動，教練通過在運動員身上附加傳感器來跟蹤他們的行動方式。

4. 數(shù)據(jù)清洗

數(shù)據(jù)分析的第一步是提高數(shù)據(jù)質(zhì)量。數(shù)據(jù)科學(xué)家要糾正拼寫錯誤，處理缺失數(shù)據(jù)以及清除無意義的信息。這是數(shù)據(jù)價值鏈中最關(guān)鍵的步驟。垃圾數(shù)據(jù)，即使是通過最好的分析，也將產(chǎn)生錯誤的結(jié)果，并誤導(dǎo)業(yè)務(wù)本身。不止一個公司很驚訝地發(fā)現(xiàn)，他們很大一部分客戶住在紐約的斯克內(nèi)克塔迪，而該小鎮(zhèn)的人口不到70000人。然而，斯克內(nèi)克塔迪的郵政編碼是12345，由于客戶往往不愿將他們的真實信息填入在線表單，所以這個郵政編碼會不成比例地出現(xiàn)在幾乎每一個客戶的檔案數(shù)據(jù)庫中。直接分析這些數(shù)據(jù)將導(dǎo)致錯誤的結(jié)論，除非數(shù)據(jù)分析師采取措施來驗證和清洗數(shù)據(jù)。尤為重要的是，這一步將規(guī)模化執(zhí)行，因為連續(xù)數(shù)據(jù)價值鏈要求傳入的數(shù)據(jù)會立即被清洗，且清洗頻率非常高。這通常意味著此過程將自動執(zhí)行，但這并不意味著人無法參與其中。

5. 數(shù)據(jù)建模

數(shù)據(jù)科學(xué)家構(gòu)建模型，關(guān)聯(lián)數(shù)據(jù)與業(yè)務(wù)成果，提出關(guān)于在第一步中確定的業(yè)務(wù)手段變化的建議。數(shù)據(jù)科學(xué)家獨一無二的專業(yè)知識是業(yè)務(wù)成功的關(guān)鍵所在，就體現(xiàn)在這一步—-關(guān)聯(lián)數(shù)據(jù)，建立模型，預(yù)測業(yè)務(wù)成果。數(shù)據(jù)科學(xué)家必須有良好的統(tǒng)計學(xué)和機器學(xué)習(xí)背景，才能構(gòu)建出科學(xué)、精確的模型，避免毫無意義的相關(guān)性及一些模型的陷阱。這些模型依賴于現(xiàn)有的數(shù)據(jù)，但對于未來的預(yù)測是無用的。但只有統(tǒng)計學(xué)背景是不夠的，數(shù)據(jù)科學(xué)家還需要很好地了解業(yè)務(wù)，這樣他們才能判斷數(shù)學(xué)模型的結(jié)果是否有意義，以及是否具有相關(guān)性。

6. 培養(yǎng)一個數(shù)據(jù)科學(xué)團隊

數(shù)據(jù)科學(xué)家是出了名的難雇用，所以最好自己構(gòu)建一個數(shù)據(jù)科學(xué)團隊，讓團隊中那些在統(tǒng)計學(xué)方面有高級學(xué)位的人專注于數(shù)據(jù)建模和預(yù)測，而其他人—-合格的基礎(chǔ)架構(gòu)工程師，軟件開發(fā)人員和ETL專家—-構(gòu)建必要的數(shù)據(jù)收集基礎(chǔ)設(shè)施，數(shù)據(jù)管道和數(shù)據(jù)產(chǎn)品，使得結(jié)果數(shù)據(jù)能夠從模型中輸出，并以報告和表格的形式在業(yè)務(wù)中進(jìn)行展示。這些團隊通常使用類似Hadoop的大規(guī)模數(shù)據(jù)分析平臺自動化數(shù)據(jù)收集和分析工作，并作為一個產(chǎn)品運行整個過程。

7. 優(yōu)化和重復(fù)

數(shù)據(jù)價值鏈?zhǔn)且粋€可重復(fù)的過程，能夠?qū)I(yè)務(wù)和數(shù)據(jù)價值鏈本身產(chǎn)生連續(xù)的改進(jìn)。基于模型的結(jié)果，業(yè)務(wù)將根據(jù)驅(qū)動手段做出改變，數(shù)據(jù)科學(xué)團隊將評估結(jié)果。在結(jié)果的基礎(chǔ)上，企業(yè)可以決定下一步計劃，而數(shù)據(jù)科學(xué)團隊繼續(xù)進(jìn)行數(shù)據(jù)收集、數(shù)據(jù)清理和數(shù)據(jù)建模。企業(yè)重復(fù)這個過程越快，就會越早修正發(fā)展方向，越快得到數(shù)據(jù)價值。理想情況下，多次迭代后，模型將產(chǎn)生準(zhǔn)確的預(yù)測，業(yè)務(wù)將達(dá)到預(yù)定的目標(biāo)，結(jié)果數(shù)據(jù)價值鏈將用于監(jiān)測和報告，同時團隊中的每個人將開始解決下一個業(yè)務(wù)挑戰(zhàn)。