數(shù)據(jù)分析的7個(gè)關(guān)鍵步驟

“數(shù)據(jù)科學(xué)家” 術(shù)語(yǔ)總讓人聯(lián)想到一個(gè)孤獨(dú)的天才獨(dú)自工作，將深?yuàn)W的公式應(yīng)用于大量的數(shù)據(jù)，從而探索出有用的見(jiàn)解。但這僅僅是數(shù)據(jù)分析過(guò)程中的一步。數(shù)據(jù)分析本身不是目標(biāo)，目標(biāo)是使企業(yè)能夠做出更好的決策。數(shù)據(jù)科學(xué)家構(gòu)建出的產(chǎn)品，必須使得組織中的每個(gè)人更好地使用數(shù)據(jù)，使得每個(gè)部門(mén)、每個(gè)層級(jí)可以做出受數(shù)據(jù)驅(qū)動(dòng)的決策。

在自動(dòng)收集、清洗和分析數(shù)據(jù)的產(chǎn)品中，可以捕獲數(shù)據(jù)價(jià)值鏈，為執(zhí)行儀表盤(pán)或報(bào)告提供信息和預(yù)測(cè)。隨著新數(shù)據(jù)的產(chǎn)生，分析工作可以自動(dòng)地、連續(xù)地運(yùn)行。數(shù)據(jù)科學(xué)家可以根據(jù)業(yè)務(wù)不斷改進(jìn)模型，提高預(yù)測(cè)精度。

雖然每個(gè)公司都是針對(duì)自己的需求和目標(biāo)創(chuàng)建數(shù)據(jù)產(chǎn)品，但價(jià)值鏈中的一些步驟是一致的：

1. 決定目標(biāo)

在獲取數(shù)據(jù)之前，數(shù)據(jù)價(jià)值鏈的第一步要先決定目標(biāo)：業(yè)務(wù)部門(mén)要決定數(shù)據(jù)科學(xué)團(tuán)隊(duì)的目標(biāo)。這些目標(biāo)通常需要進(jìn)行大量的數(shù)據(jù)收集和分析。因?yàn)槲覀冋谘芯磕切?qū)動(dòng)決策的數(shù)據(jù)，所以需要一個(gè)可衡量的方式，判斷業(yè)務(wù)是否正向著目標(biāo)前進(jìn)。數(shù)據(jù)分析過(guò)程中，關(guān)鍵權(quán)值或性能指標(biāo)必須及早發(fā)現(xiàn)。

2. 確定業(yè)務(wù)手段

應(yīng)該通過(guò)業(yè)務(wù)的改變，來(lái)提高關(guān)鍵指標(biāo)和達(dá)到業(yè)務(wù)目標(biāo)。如果沒(méi)有什么可以改變的，無(wú)論收集和分析多少數(shù)據(jù)都不可能有進(jìn)步。在項(xiàng)目中盡早確定目標(biāo)、指標(biāo)和業(yè)務(wù)手段能為項(xiàng)目指明方向，避免無(wú)意義的數(shù)據(jù)分析。例如，目標(biāo)是提高客戶(hù)滯留度，其中一個(gè)指標(biāo)可以是客戶(hù)更新他們訂閱的百分比，業(yè)務(wù)手段可以是更新頁(yè)面的設(shè)計(jì)，提醒郵件的時(shí)間和內(nèi)容以及特別的促銷(xiāo)活動(dòng)。

3. 數(shù)據(jù)收集

數(shù)據(jù)收集要盡量廣撒網(wǎng)。更多的數(shù)據(jù)—-特別是更多的不同來(lái)源的數(shù)據(jù)—-使得數(shù)據(jù)科學(xué)家能找到數(shù)據(jù)之間更好的相關(guān)性，建立更好的模型，找到更多的可行性見(jiàn)解。大數(shù)據(jù)經(jīng)濟(jì)意味著個(gè)人記錄往往是無(wú)用的，擁有可供分析的每一條記錄才能提供真正的價(jià)值。公司通過(guò)檢測(cè)它們的網(wǎng)站來(lái)密切跟蹤用戶(hù)的點(diǎn)擊及鼠標(biāo)移動(dòng)，商店通過(guò)在產(chǎn)品上附加RFID來(lái)跟蹤用戶(hù)的移動(dòng)，教練通過(guò)在運(yùn)動(dòng)員身上附加傳感器來(lái)跟蹤他們的行動(dòng)方式。

4. 數(shù)據(jù)清洗

數(shù)據(jù)分析的第一步是提高數(shù)據(jù)質(zhì)量。數(shù)據(jù)科學(xué)家要糾正拼寫(xiě)錯(cuò)誤，處理缺失數(shù)據(jù)以及清除無(wú)意義的信息。這是數(shù)據(jù)價(jià)值鏈中最關(guān)鍵的步驟。垃圾數(shù)據(jù)，即使是通過(guò)最好的分析，也將產(chǎn)生錯(cuò)誤的結(jié)果，并誤導(dǎo)業(yè)務(wù)本身。不止一個(gè)公司很驚訝地發(fā)現(xiàn)，他們很大一部分客戶(hù)住在紐約的斯克內(nèi)克塔迪，而該小鎮(zhèn)的人口不到70000人。然而，斯克內(nèi)克塔迪的郵政編碼是12345，由于客戶(hù)往往不愿將他們的真實(shí)信息填入在線表單，所以這個(gè)郵政編碼會(huì)不成比例地出現(xiàn)在幾乎每一個(gè)客戶(hù)的檔案數(shù)據(jù)庫(kù)中。直接分析這些數(shù)據(jù)將導(dǎo)致錯(cuò)誤的結(jié)論，除非數(shù)據(jù)分析師采取措施來(lái)驗(yàn)證和清洗數(shù)據(jù)。尤為重要的是，這一步將規(guī)模化執(zhí)行，因?yàn)檫B續(xù)數(shù)據(jù)價(jià)值鏈要求傳入的數(shù)據(jù)會(huì)立即被清洗，且清洗頻率非常高。這通常意味著此過(guò)程將自動(dòng)執(zhí)行，但這并不意味著人無(wú)法參與其中。

5. 數(shù)據(jù)建模

數(shù)據(jù)科學(xué)家構(gòu)建模型，關(guān)聯(lián)數(shù)據(jù)與業(yè)務(wù)成果，提出關(guān)于在第一步中確定的業(yè)務(wù)手段變化的建議。數(shù)據(jù)科學(xué)家獨(dú)一無(wú)二的專(zhuān)業(yè)知識(shí)是業(yè)務(wù)成功的關(guān)鍵所在，就體現(xiàn)在這一步—-關(guān)聯(lián)數(shù)據(jù)，建立模型，預(yù)測(cè)業(yè)務(wù)成果。數(shù)據(jù)科學(xué)家必須有良好的統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)背景，才能構(gòu)建出科學(xué)、精確的模型，避免毫無(wú)意義的相關(guān)性及一些模型的陷阱。這些模型依賴(lài)于現(xiàn)有的數(shù)據(jù)，但對(duì)于未來(lái)的預(yù)測(cè)是無(wú)用的。但只有統(tǒng)計(jì)學(xué)背景是不夠的，數(shù)據(jù)科學(xué)家還需要很好地了解業(yè)務(wù)，這樣他們才能判斷數(shù)學(xué)模型的結(jié)果是否有意義，以及是否具有相關(guān)性。

6. 培養(yǎng)一個(gè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)

數(shù)據(jù)科學(xué)家是出了名的難雇用，所以最好自己構(gòu)建一個(gè)數(shù)據(jù)科學(xué)團(tuán)隊(duì)，讓團(tuán)隊(duì)中那些在統(tǒng)計(jì)學(xué)方面有高級(jí)學(xué)位的人專(zhuān)注于數(shù)據(jù)建模和預(yù)測(cè)，而其他人—-合格的基礎(chǔ)架構(gòu)工程師，軟件開(kāi)發(fā)人員和ETL專(zhuān)家—-構(gòu)建必要的數(shù)據(jù)收集基礎(chǔ)設(shè)施，數(shù)據(jù)管道和數(shù)據(jù)產(chǎn)品，使得結(jié)果數(shù)據(jù)能夠從模型中輸出，并以報(bào)告和表格的形式在業(yè)務(wù)中進(jìn)行展示。這些團(tuán)隊(duì)通常使用類(lèi)似Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái)自動(dòng)化數(shù)據(jù)收集和分析工作，并作為一個(gè)產(chǎn)品運(yùn)行整個(gè)過(guò)程。

7. 優(yōu)化和重復(fù)

數(shù)據(jù)價(jià)值鏈?zhǔn)且粋€(gè)可重復(fù)的過(guò)程，能夠?qū)I(yè)務(wù)和數(shù)據(jù)價(jià)值鏈本身產(chǎn)生連續(xù)的改進(jìn)。基于模型的結(jié)果，業(yè)務(wù)將根據(jù)驅(qū)動(dòng)手段做出改變，數(shù)據(jù)科學(xué)團(tuán)隊(duì)將評(píng)估結(jié)果。在結(jié)果的基礎(chǔ)上，企業(yè)可以決定下一步計(jì)劃，而數(shù)據(jù)科學(xué)團(tuán)隊(duì)繼續(xù)進(jìn)行數(shù)據(jù)收集、數(shù)據(jù)清理和數(shù)據(jù)建模。企業(yè)重復(fù)這個(gè)過(guò)程越快，就會(huì)越早修正發(fā)展方向，越快得到數(shù)據(jù)價(jià)值。理想情況下，多次迭代后，模型將產(chǎn)生準(zhǔn)確的預(yù)測(cè)，業(yè)務(wù)將達(dá)到預(yù)定的目標(biāo)，結(jié)果數(shù)據(jù)價(jià)值鏈將用于監(jiān)測(cè)和報(bào)告，同時(shí)團(tuán)隊(duì)中的每個(gè)人將開(kāi)始解決下一個(gè)業(yè)務(wù)挑戰(zhàn)。