
基于技能的改善數(shù)據(jù)科學(xué)實踐的方法
在當今的大數(shù)據(jù)時代,利用數(shù)據(jù)科學(xué)理論進行數(shù)據(jù)分析起著越來越重要的作用。探討不同數(shù)據(jù)技巧類型和熟練程度對相關(guān)項目有著怎樣的影響也開始具有重要意義。近日,AnalyticsWeek的首席研究員、Bussiness Over Broadway的總裁Bob Hayes博士就公開了研究數(shù)據(jù)分析項目成功所必需技能的相關(guān)結(jié)果。Bob所提出的基于技能的數(shù)據(jù)科學(xué)驅(qū)動力矩陣方法,可以指出最能改善數(shù)據(jù)科學(xué)實踐的若干技能。
首先,Bob在AnalyticsWeek的研究包含了很多向數(shù)據(jù)專家提出的,有關(guān)技能、工作角色和教育水平等有關(guān)的問題調(diào)查。該調(diào)查過程針對5個技能領(lǐng)域(包括商業(yè)、技術(shù)、編程、數(shù)學(xué)和建模以及統(tǒng)計)的25個數(shù)據(jù)技能進行,將其熟練程度劃分為了6個等級:完全不知道(0分)、略知(20分)、新手(40)、熟練(60分)、非常熟練(80分)和專家(100分)。這些不同的等級就代表了數(shù)據(jù)專家給予幫助或需要接受幫助的能力水平。其中,“熟練”表示剛好可以成功完成相關(guān)任務(wù),為某個數(shù)據(jù)技能所能接受的最小等級?!笆炀殹币韵碌牡燃壉硎就瓿扇蝿?wù)還需要幫助,等級越低需要的幫助越多;而“熟練”以上的等級則表示給予別人幫助的能力,等級越高給予的幫助可以更多。
Bob列出了4中不同工作角色對于25種不同數(shù)據(jù)技能的熟練程度。從上圖可以看出,不同領(lǐng)域的專家對其領(lǐng)域內(nèi)技能的掌握更加熟練。然而,即使是數(shù)據(jù)專家對于某些技能的掌握程度也達不到“熟練”的程度。例如,上圖中淺黃色和淺紅色區(qū)域都在60分以下。這些技能包括非結(jié)構(gòu)化數(shù)據(jù)、NLP、機器學(xué)習(xí)、大數(shù)據(jù)和分布式數(shù)據(jù)、云管理、前端編程、優(yōu)化、概率圖模型以及算法和貝葉斯統(tǒng)計。而且,針對以下9種技能,只有一種類型的專家能夠達到熟練程度——產(chǎn)品設(shè)計、商業(yè)開發(fā)、預(yù)算編制、數(shù)據(jù)庫管理、后端編程、數(shù)據(jù)管理、數(shù)學(xué)、統(tǒng)計/統(tǒng)計建模以及科學(xué)/科學(xué)方法。
并非所有的數(shù)據(jù)技能都同等重要
接下來,Bob繼續(xù)探討了不同數(shù)據(jù)技能的重要性。為此,AnalyticsWeek的研究調(diào)查了不同數(shù)據(jù)專家對其分析項目結(jié)果的滿意程度(也表示項目的成功程度):從0分到10分,其中0分表示極度不滿意,10分表示極度滿意。
對于每一種數(shù)據(jù)技能,Bob都將數(shù)據(jù)專家的熟練程度和項目的滿意度進行了關(guān)聯(lián)。下表就列出了4種工作角色的技能關(guān)聯(lián)情況。表中關(guān)聯(lián)度越高的技能就表示該技能對項目成功的重要性越高。而表中上半部分的技能相比于下半部分的技能對于項目結(jié)果更加重要。從表中可以看出,商業(yè)管理者和研究者的數(shù)據(jù)技能和項目結(jié)果的滿意度關(guān)聯(lián)度最高(平均r=0.30),而開發(fā)人員和創(chuàng)新人員的關(guān)聯(lián)度只有0.18。此外,四種工作角色中不同數(shù)據(jù)技能之間的平均關(guān)聯(lián)度只有0.01,表明對于一種數(shù)據(jù)專家是必須的數(shù)據(jù)技能對于其他數(shù)據(jù)專家未必是必須的。
基于熟練程度和關(guān)聯(lián)度的結(jié)果,Bob繪出了數(shù)據(jù)科學(xué)驅(qū)動力矩陣(Data Science Driver Matrix,DSDM)的示意圖。其中,x軸代表所有數(shù)據(jù)技能的熟練程度,y軸代表技能與項目結(jié)果的關(guān)聯(lián)度,而原點則分別對于熟練程度的60分和關(guān)聯(lián)度的0.30。
在DSDM中,每一種數(shù)據(jù)技能都會落在其中的一個象限中。由此,這種技能所代表的含義也就不同。
Bob針對商業(yè)管理者、研究者、開發(fā)人員和創(chuàng)新人員4中角色分別創(chuàng)建了DSDM,并主要關(guān)注落在第一象限的技能。
商業(yè)管理者對于商業(yè)管理者而言,第一象限中的技能包括統(tǒng)計學(xué)/統(tǒng)計建模、數(shù)據(jù)挖掘、科學(xué)/科學(xué)方法、大數(shù)據(jù)和分布式數(shù)據(jù)、機器學(xué)習(xí)、貝葉斯統(tǒng)計、優(yōu)化、非結(jié)構(gòu)化數(shù)據(jù)、結(jié)構(gòu)化數(shù)據(jù)以及算法。而沒有任何技能落在第二象限。
開發(fā)人員對于開發(fā)人員,只有系統(tǒng)管理和數(shù)據(jù)挖掘兩種技能落在第一象限。絕大部分技能都落在第四象限。
創(chuàng)新人員對于創(chuàng)新人員,共有數(shù)學(xué)、數(shù)據(jù)挖掘、商業(yè)開發(fā)、概率圖模型和優(yōu)化等五種技能落在第一象限。而絕大部分技能都落在第四象限。
研究者對于研究者,共有算法、大數(shù)據(jù)和分布式數(shù)據(jù)、數(shù)據(jù)管理、產(chǎn)品設(shè)計、機器學(xué)習(xí)和貝葉斯統(tǒng)計等五種技能落在第一象限。而落在第二象限的技能卻很少。
從以上的研究中,Bob得到以下結(jié)論:
除此之外,Bob還提出團隊合作對于項目成功也有著非凡的意義。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導(dǎo)白皮書) 發(fā)布機構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學(xué)方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學(xué)方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07