做好數(shù)據(jù)分析 走好這七步

  自大數(shù)據(jù)時代的概念逐漸被接受以來，企業(yè)的大數(shù)據(jù)應(yīng)用意識越來越強烈，越來越多的企業(yè)開始布局大數(shù)據(jù)。

　　“數(shù)據(jù)科學(xué)家”術(shù)語總讓人聯(lián)想到一個孤獨的天才獨自工作，將深奧的公式應(yīng)用于大量的數(shù)據(jù)，從而探索出有用的見解。但這僅僅是數(shù)據(jù)分析過程中的一步。數(shù)據(jù)分析本身不是目標，目標是使企業(yè)能夠做出更好的決策。數(shù)據(jù)科學(xué)家構(gòu)建出的產(chǎn)品，必須使得組織中的每個人更好地使用數(shù)據(jù)，使得每個部門、每個層級可以做出受數(shù)據(jù)驅(qū)動的決策。

　　在自動收集、清洗和分析數(shù)據(jù)的產(chǎn)品中，可以捕獲數(shù)據(jù)價值鏈，為執(zhí)行儀表盤或報告提供信息和預(yù)測。隨著新數(shù)據(jù)的產(chǎn)生，分析工作可以自動地、連續(xù)地運行。數(shù)據(jù)科學(xué)家可以根據(jù)業(yè)務(wù)不斷改進模型，提高預(yù)測精度。

　　雖然每個公司都是針對自己的需求和目標創(chuàng)建數(shù)據(jù)產(chǎn)品，但價值鏈中的一些步驟是一致的：

　　1. 決定目標：

　　在獲取數(shù)據(jù)之前，數(shù)據(jù)價值鏈的第一步要先決定目標：業(yè)務(wù)部門要決定數(shù)據(jù)科學(xué)團隊的目標。這些目標通常需要進行大量的數(shù)據(jù)收集和分析。因為我們正在研究那些驅(qū)動決策的數(shù)據(jù)，所以需要一個可衡量的方式，判斷業(yè)務(wù)是否正向著目標前進。數(shù)據(jù)分析過程中，關(guān)鍵權(quán)值或性能指標必須及早發(fā)現(xiàn)。

　　2. 確定業(yè)務(wù)手段：

　　應(yīng)該通過業(yè)務(wù)的改變，來提高關(guān)鍵指標和達到業(yè)務(wù)目標。如果沒有什么可以改變的，無論收集和分析多少數(shù)據(jù)都不可能有進步。在項目中盡早確定目標、指標和業(yè)務(wù)手段能為項目指明方向，避免無意義的數(shù)據(jù)分析。例如，目標是提高客戶滯留度，其中一個指標可以是客戶更新他們訂閱的百分比，業(yè)務(wù)手段可以是更新頁面的設(shè)計，提醒郵件的時間和內(nèi)容以及特別的促銷活動。

　　3. 數(shù)據(jù)收集：

　　數(shù)據(jù)收集要盡量廣撒網(wǎng)。更多的數(shù)據(jù)--特別是更多的不同來源的數(shù)據(jù)--使得數(shù)據(jù)科學(xué)家能找到數(shù)據(jù)之間更好的相關(guān)性，建立更好的模型，找到更多的可行性見解。大數(shù)據(jù)經(jīng)濟意味著個人記錄往往是無用的，擁有可供分析的每一條記錄才能提供真正的價值。公司通過檢測它們的網(wǎng)站來密切跟蹤用戶的點擊及鼠標移動，商店通過在產(chǎn)品上附加RFID來跟蹤用戶的移動，教練通過在運動員身上附加傳感器來跟蹤他們的行動方式。

　　4. 數(shù)據(jù)清洗：

　　數(shù)據(jù)分析的第一步是提高數(shù)據(jù)質(zhì)量。數(shù)據(jù)科學(xué)家要糾正拼寫錯誤，處理缺失數(shù)據(jù)以及清除無意義的信息。[大數(shù)據(jù)魔方]這是數(shù)據(jù)價值鏈中最關(guān)鍵的步驟。垃圾數(shù)據(jù)，即使是通過最好的分析，也將產(chǎn)生錯誤的結(jié)果，并誤導(dǎo)業(yè)務(wù)本身。不止一個公司很驚訝地發(fā)現(xiàn)，他們很大一部分客戶住在紐約的斯克內(nèi)克塔迪，而該小鎮(zhèn)的人口不到70000人。然而，斯克內(nèi)克塔迪的郵政編碼是12345，由于客戶往往不愿將他們的真實信息填入在線表單，所以這個郵政編碼會不成比例地出現(xiàn)在幾乎每一個客戶的檔案數(shù)據(jù)庫中。直接分析這些數(shù)據(jù)將導(dǎo)致錯誤的結(jié)論，除非數(shù)據(jù)分析師采取措施來驗證和清洗數(shù)據(jù)。尤為重要的是，這一步將規(guī)模化執(zhí)行，因為連續(xù)數(shù)據(jù)價值鏈要求傳入的數(shù)據(jù)會立即被清洗，且清洗頻率非常高。這通常意味著此過程將自動執(zhí)行，但這并不意味著人無法參與其中。

　　5. 數(shù)據(jù)建模：

　　數(shù)據(jù)科學(xué)家構(gòu)建模型，關(guān)聯(lián)數(shù)據(jù)與業(yè)務(wù)成果，提出關(guān)于在第一步中確定的業(yè)務(wù)手段變化的建議。數(shù)據(jù)科學(xué)家獨一無二的專業(yè)知識是業(yè)務(wù)成功的關(guān)鍵所在，就體現(xiàn)在這一步--關(guān)聯(lián)數(shù)據(jù)，建立模型，預(yù)測業(yè)務(wù)成果。數(shù)據(jù)科學(xué)家必須有良好的統(tǒng)計學(xué)和機器學(xué)習(xí)背景，才能構(gòu)建出科學(xué)、精確的模型，避免毫無意義的相關(guān)性及一些模型的陷阱。這些模型依賴于現(xiàn)有的數(shù)據(jù)，但對于未來的預(yù)測是無用的。但只有統(tǒng)計學(xué)背景是不夠的，數(shù)據(jù)科學(xué)家還需要很好地了解業(yè)務(wù)，這樣他們才能判斷數(shù)學(xué)模型的結(jié)果是否有意義，以及是否具有相關(guān)性。

　　6. 培養(yǎng)一個數(shù)據(jù)科學(xué)團隊：

　　數(shù)據(jù)科學(xué)家是出了名的難雇用，所以最好自己構(gòu)建一個數(shù)據(jù)科學(xué)團隊，讓團隊中那些在統(tǒng)計學(xué)方面有高級學(xué)位的人專注于數(shù)據(jù)建模和預(yù)測，而其他人--合格的基礎(chǔ)架構(gòu)工程師，軟件開發(fā)人員和ETL專家--構(gòu)建必要的數(shù)據(jù)收集基礎(chǔ)設(shè)施，數(shù)據(jù)管道和數(shù)據(jù)產(chǎn)品，使得結(jié)果數(shù)據(jù)能夠從模型中輸出，并以報告和表格的形式在業(yè)務(wù)中進行展示。這些大數(shù)據(jù)技術(shù)團隊通常使用類似Hadoop的大規(guī)模數(shù)據(jù)分析平臺自動化數(shù)據(jù)收集和分析工作，并作為一個產(chǎn)品運行整個過程。

　　7. 優(yōu)化和重復(fù)：

　　數(shù)據(jù)價值鏈是一個可重復(fù)的過程，能夠?qū)I(yè)務(wù)和數(shù)據(jù)價值鏈本身產(chǎn)生連續(xù)的改進?；谀Ｐ偷慕Y(jié)果，業(yè)務(wù)將根據(jù)驅(qū)動手段做出改變，數(shù)據(jù)科學(xué)團隊將評估結(jié)果。在結(jié)果的基礎(chǔ)上，企業(yè)可以決定下一步計劃，而數(shù)據(jù)科學(xué)團隊繼續(xù)進行數(shù)據(jù)收集、數(shù)據(jù)清理和數(shù)據(jù)建模。企業(yè)重復(fù)這個過程越快，就會越早修正發(fā)展方向，越快得到數(shù)據(jù)價值。理想情況下，多次迭代后，模型將產(chǎn)生準確的預(yù)測，業(yè)務(wù)將達到預(yù)定的目標，結(jié)果數(shù)據(jù)價值鏈將用于監(jiān)測和報告，同時團隊中的每個人將開始解決下一個業(yè)務(wù)挑戰(zhàn)。