基于技能的改善數(shù)據(jù)科學(xué)實(shí)踐的方法

在當(dāng)今的大數(shù)據(jù)時代，利用數(shù)據(jù)科學(xué)理論進(jìn)行數(shù)據(jù)分析起著越來越重要的作用。探討不同數(shù)據(jù)技巧類型和熟練程度對相關(guān)項(xiàng)目有著怎樣的影響也開始具有重要意義。近日，AnalyticsWeek的首席研究員、Bussiness Over Broadway的總裁Bob Hayes博士就公開了研究數(shù)據(jù)分析項(xiàng)目成功所必需技能的相關(guān)結(jié)果。Bob所提出的基于技能的數(shù)據(jù)科學(xué)驅(qū)動力矩陣方法，可以指出最能改善數(shù)據(jù)科學(xué)實(shí)踐的若干技能。

數(shù)據(jù)技能的熟練程度

首先，Bob在AnalyticsWeek的研究包含了很多向數(shù)據(jù)專家提出的，有關(guān)技能、工作角色和教育水平等有關(guān)的問題調(diào)查。該調(diào)查過程針對5個技能領(lǐng)域（包括商業(yè)、技術(shù)、編程、數(shù)學(xué)和建模以及統(tǒng)計(jì)）的25個數(shù)據(jù)技能進(jìn)行，將其熟練程度劃分為了6個等級：完全不知道（0分）、略知（20分）、新手（40）、熟練（60分）、非常熟練（80分）和專家（100分）。這些不同的等級就代表了數(shù)據(jù)專家給予幫助或需要接受幫助的能力水平。其中，“熟練”表示剛好可以成功完成相關(guān)任務(wù)，為某個數(shù)據(jù)技能所能接受的最小等級?！笆炀殹币韵碌牡燃壉硎就瓿扇蝿?wù)還需要幫助，等級越低需要的幫助越多；而“熟練”以上的等級則表示給予別人幫助的能力，等級越高給予的幫助可以更多。

Bob列出了4中不同工作角色對于25種不同數(shù)據(jù)技能的熟練程度。從上圖可以看出，不同領(lǐng)域的專家對其領(lǐng)域內(nèi)技能的掌握更加熟練。然而，即使是數(shù)據(jù)專家對于某些技能的掌握程度也達(dá)不到“熟練”的程度。例如，上圖中淺黃色和淺紅色區(qū)域都在60分以下。這些技能包括非結(jié)構(gòu)化數(shù)據(jù)、NLP、機(jī)器學(xué)習(xí)、大數(shù)據(jù)和分布式數(shù)據(jù)、云管理、前端編程、優(yōu)化、概率圖模型以及算法和貝葉斯統(tǒng)計(jì)。而且，針對以下9種技能，只有一種類型的專家能夠達(dá)到熟練程度——產(chǎn)品設(shè)計(jì)、商業(yè)開發(fā)、預(yù)算編制、數(shù)據(jù)庫管理、后端編程、數(shù)據(jù)管理、數(shù)學(xué)、統(tǒng)計(jì)/統(tǒng)計(jì)建模以及科學(xué)/科學(xué)方法。

并非所有的數(shù)據(jù)技能都同等重要

接下來，Bob繼續(xù)探討了不同數(shù)據(jù)技能的重要性。為此，AnalyticsWeek的研究調(diào)查了不同數(shù)據(jù)專家對其分析項(xiàng)目結(jié)果的滿意程度（也表示項(xiàng)目的成功程度）：從0分到10分，其中0分表示極度不滿意，10分表示極度滿意。

對于每一種數(shù)據(jù)技能，Bob都將數(shù)據(jù)專家的熟練程度和項(xiàng)目的滿意度進(jìn)行了關(guān)聯(lián)。下表就列出了4種工作角色的技能關(guān)聯(lián)情況。表中關(guān)聯(lián)度越高的技能就表示該技能對項(xiàng)目成功的重要性越高。而表中上半部分的技能相比于下半部分的技能對于項(xiàng)目結(jié)果更加重要。從表中可以看出，商業(yè)管理者和研究者的數(shù)據(jù)技能和項(xiàng)目結(jié)果的滿意度關(guān)聯(lián)度最高（平均r=0.30），而開發(fā)人員和創(chuàng)新人員的關(guān)聯(lián)度只有0.18。此外，四種工作角色中不同數(shù)據(jù)技能之間的平均關(guān)聯(lián)度只有0.01，表明對于一種數(shù)據(jù)專家是必須的數(shù)據(jù)技能對于其他數(shù)據(jù)專家未必是必須的。

數(shù)據(jù)科學(xué)驅(qū)動力矩陣：圖形化結(jié)果

基于熟練程度和關(guān)聯(lián)度的結(jié)果，Bob繪出了數(shù)據(jù)科學(xué)驅(qū)動力矩陣（Data Science Driver Matrix，DSDM）的示意圖。其中，x軸代表所有數(shù)據(jù)技能的熟練程度，y軸代表技能與項(xiàng)目結(jié)果的關(guān)聯(lián)度，而原點(diǎn)則分別對于熟練程度的60分和關(guān)聯(lián)度的0.30。

結(jié)果解讀：改善數(shù)據(jù)科學(xué)的實(shí)踐

在DSDM中，每一種數(shù)據(jù)技能都會落在其中的一個象限中。由此，這種技能所代表的含義也就不同。

1. 象限1（左上）：該區(qū)域內(nèi)的技能對于項(xiàng)目結(jié)果非常重要，但熟練程度卻不高。那么，通過聘請掌握相關(guān)技能的數(shù)據(jù)專家或者加強(qiáng)相關(guān)技能的員工培訓(xùn)，項(xiàng)目就可以取得很好的改進(jìn)。
2. 象限2（右上）：該區(qū)域內(nèi)的技能對于項(xiàng)目結(jié)果非常重要，而掌握的熟練程度也不低。
3. 象限3（右下）：該區(qū)域內(nèi)的技能對于項(xiàng)目結(jié)果而言為非必須，但掌握的熟練程度較高。因此，需要避免在這些技能上的過度投入。
4. 象限4（左下）：該區(qū)域內(nèi)的技能對于項(xiàng)目結(jié)果而言為非必須，掌握的熟練程度也不高。但是，仍然沒有必須要加強(qiáng)對這些技能的投入。

對于不同數(shù)據(jù)角色的DSDM

Bob針對商業(yè)管理者、研究者、開發(fā)人員和創(chuàng)新人員4中角色分別創(chuàng)建了DSDM，并主要關(guān)注落在第一象限的技能。

商業(yè)管理者對于商業(yè)管理者而言，第一象限中的技能包括統(tǒng)計(jì)學(xué)/統(tǒng)計(jì)建模、數(shù)據(jù)挖掘、科學(xué)/科學(xué)方法、大數(shù)據(jù)和分布式數(shù)據(jù)、機(jī)器學(xué)習(xí)、貝葉斯統(tǒng)計(jì)、優(yōu)化、非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)以及算法。而沒有任何技能落在第二象限。

開發(fā)人員對于開發(fā)人員，只有系統(tǒng)管理和數(shù)據(jù)挖掘兩種技能落在第一象限。絕大部分技能都落在第四象限。

創(chuàng)新人員對于創(chuàng)新人員，共有數(shù)學(xué)、數(shù)據(jù)挖掘、商業(yè)開發(fā)、概率圖模型和優(yōu)化等五種技能落在第一象限。而絕大部分技能都落在第四象限。

研究者對于研究者，共有算法、大數(shù)據(jù)和分布式數(shù)據(jù)、數(shù)據(jù)管理、產(chǎn)品設(shè)計(jì)、機(jī)器學(xué)習(xí)和貝葉斯統(tǒng)計(jì)等五種技能落在第一象限。而落在第二象限的技能卻很少。

結(jié)論

從以上的研究中，Bob得到以下結(jié)論：

1. 無論是對于哪個領(lǐng)域的專家，數(shù)據(jù)挖掘對于項(xiàng)目結(jié)果都十分重要。
2. 商業(yè)管理者和研究者可以通過改善數(shù)據(jù)技能來增加數(shù)據(jù)分析項(xiàng)目的滿意度。
3. 某些特殊的數(shù)據(jù)技能對于一些分析項(xiàng)目的結(jié)果非常重要。

除此之外，Bob還提出團(tuán)隊(duì)合作對于項(xiàng)目成功也有著非凡的意義。