如何做一名“稱職”的數(shù)據(jù)專家

眾所周知，在數(shù)據(jù)挖掘課題中，很大比重的工作量集中在數(shù)據(jù)信息收集、整合和探索階段，挖掘模型的穩(wěn)定性和提升度很大程度上依賴于大寬表的數(shù)據(jù)質(zhì)量。

我們數(shù)據(jù)專家的作用就是要確保大寬表的數(shù)據(jù)完備性和數(shù)據(jù)準(zhǔn)確性。

那么，什么樣的人才能稱為數(shù)據(jù)專家？

我的理解是：

1、熟悉行內(nèi)常用業(yè)務(wù)系統(tǒng)的功能；

2、了解行內(nèi)指標(biāo)體系的業(yè)務(wù)定義和業(yè)務(wù)口徑；

3、熟悉行內(nèi)數(shù)據(jù)平臺(tái)的架構(gòu)及數(shù)據(jù)分層方式；

4、能從數(shù)據(jù)角度加以分析解釋任何業(yè)務(wù)問題；

5、技術(shù)能力不可或缺。

下面，我從挖掘課題的前期數(shù)據(jù)準(zhǔn)備階段入手，介紹一下如何更好發(fā)揮一個(gè)數(shù)據(jù)專業(yè)人士的作用。

第一，理解需求，達(dá)成共識(shí)

在項(xiàng)目組接收業(yè)務(wù)需求、明確業(yè)務(wù)目標(biāo)后，挖掘領(lǐng)域?qū)＜?、業(yè)務(wù)領(lǐng)域?qū)＜摇?shù)據(jù)領(lǐng)域?qū)＜視?huì)一同討論研究以下相關(guān)問題：

1、所有干系人討論并熟悉挖掘主題相關(guān)的業(yè)務(wù)流程和業(yè)務(wù)知識(shí)；

2、為了實(shí)現(xiàn)業(yè)務(wù)需求，可能應(yīng)用的算法理論和模型設(shè)計(jì)、開發(fā)；

3、基于對(duì)模型算法和業(yè)務(wù)目標(biāo)的理解，確定應(yīng)該準(zhǔn)備的數(shù)據(jù)集合。

第二，數(shù)據(jù)信息收集

數(shù)據(jù)專家根據(jù)達(dá)成的共識(shí)，去分析可能獲取目標(biāo)數(shù)據(jù)的業(yè)務(wù)系統(tǒng)，對(duì)照數(shù)倉映射文檔，查詢和確認(rèn)目標(biāo)數(shù)據(jù)是否已經(jīng)入倉、在倉庫的存儲(chǔ)位置、是否需要獲取第三方數(shù)據(jù)等數(shù)據(jù)來源問題。

數(shù)據(jù)專家在收集到這些信息后，結(jié)合對(duì)業(yè)務(wù)目標(biāo)的理解，再次組織相關(guān)干系人溝通和確認(rèn)數(shù)據(jù)情況，討論數(shù)據(jù)是否完備，對(duì)部分缺失數(shù)據(jù)提出可選的解決方案。

第三，數(shù)據(jù)整合

在確定數(shù)據(jù)信息后，數(shù)據(jù)專家開始著手對(duì)數(shù)據(jù)進(jìn)行合并整合。

前幾年，我曾接觸到一個(gè)挖掘課題，數(shù)據(jù)專家在準(zhǔn)備好大寬表后，并沒有對(duì)數(shù)據(jù)質(zhì)量進(jìn)行充分的校驗(yàn)就交給了挖掘?qū)＜?，后續(xù)的結(jié)果可想而知：模型結(jié)果的穩(wěn)定性和提升度無法讓客戶滿意，導(dǎo)致項(xiàng)目合作并不愉快。

因此，我在進(jìn)行數(shù)據(jù)整合的過程中，始終帶著辯證的思想去驗(yàn)證數(shù)據(jù)質(zhì)量，在確?；A(chǔ)表數(shù)據(jù)準(zhǔn)確的情況下，每拼接一張表，我都會(huì)從以下角度來檢查：

1、數(shù)據(jù)記錄條數(shù)。比如在做內(nèi)關(guān)聯(lián)時(shí)，如兩個(gè)表的主鍵不匹配，則很可能導(dǎo)致關(guān)聯(lián)結(jié)果表的數(shù)據(jù)記錄有誤；

2、關(guān)鍵指標(biāo)合計(jì)值。對(duì)合并后的寬表與源表進(jìn)行指標(biāo)合計(jì)值比較，個(gè)人認(rèn)為這是檢查多表合并后數(shù)據(jù)質(zhì)量最好的辦法之一；

3、指標(biāo)間勾稽關(guān)系。對(duì)于原表有勾稽關(guān)系的指標(biāo)，抽樣檢查是否繼續(xù)滿足勾稽關(guān)系；

4、關(guān)鍵維度取值校驗(yàn)。在維度取值代碼重定義后，需全樣本分析檢查是否與設(shè)想一致，包括代碼取值、頻數(shù)分布等。

第四，數(shù)據(jù)探索

此處數(shù)據(jù)探索的目的是為了再次確保移交給挖掘?qū)＜业拇髮挶淼臄?shù)據(jù)完備性。

在多次與相關(guān)干系人討論后，各領(lǐng)域?qū)＜乙罁?jù)長期的經(jīng)驗(yàn)積累，判定出某些變量可能會(huì)起到?jīng)Q定性作用，由于系統(tǒng)歷史原因，此時(shí)數(shù)據(jù)專家需要去驗(yàn)證這些變量取值缺失是否嚴(yán)重、分布是否合理，在提出可替代的解決方案并獲得認(rèn)可后重新進(jìn)行數(shù)據(jù)整合。

總的來說，萬丈高樓平地起，作為一個(gè)被認(rèn)可的數(shù)據(jù)專家，我們需要做好挖掘項(xiàng)目的基石，讓挖掘?qū)＜覍?duì)從我們這接收的大寬表不要有任何數(shù)據(jù)顧慮，集中精力做大樓的修葺美化。