日前，南京交管部門本周就發(fā)布了“2015年南京交通事故大數(shù)據(jù)分析報告”。讓我們來看看報告中的內(nèi)容。

數(shù)據(jù)分析報告顯示，2015年全年，南京新增機動車駕駛?cè)?6.2萬人，其中男性16.5萬，女性9.7萬。在發(fā)生的全部交通事故中，駕齡1年以下的司機引發(fā)的事故占13.6%，駕齡1至2年的司機占6.5%，駕齡2至3年的司機占的8.6%，駕齡6到10年的司機占5.5%，駕齡11至15年的司機占3.3%。

在此基礎(chǔ)上，數(shù)據(jù)分析師還在報告中做了更多分析：在駕齡3年以下司機引發(fā)的事故中，男司機占87%，女司機占13%。而從2013年至2015年，南京新增司機中男性和女性分別占60%和40%。這就是說，3年以下新手中，四成女司機引發(fā)的交通事故占一成多，而六成男司機引發(fā)的交通事故近九成。所以結(jié)論是，男性新手司機引發(fā)的事故高于女性新手司機。

看到這里，你可能會問，這個“大數(shù)據(jù)”報告僅此而已？這樣的數(shù)據(jù)又說明了什么？制作這樣的報告似乎只需利用簡單的數(shù)據(jù)庫即可。如果數(shù)據(jù)量只有幾萬行，甚至Excel表格都能妥妥搞定。任何學(xué)過Excel制表的新手都能完成這樣的“大數(shù)據(jù)分析”。

那么，數(shù)據(jù)科學(xué)是否真的如此簡單？這種數(shù)據(jù)統(tǒng)計報告是否就等同于大數(shù)據(jù)？很明顯，答案是否定的。

1.大數(shù)據(jù)究竟有多大？

本月，雅虎公布了用戶使用該公司服務(wù)，例如雅虎新聞和雅虎財經(jīng)的大量數(shù)據(jù)。雅虎的計劃是將這些數(shù)據(jù)開放給學(xué)術(shù)界，給大數(shù)據(jù)和機器學(xué)習(xí)研究者提供素材。那么，雅虎提供的“大數(shù)據(jù)原材料”究竟有多大？

準(zhǔn)確數(shù)字是13.5TB。如果使用當(dāng)前常見的1TB移動硬盤去保存，那么這些數(shù)據(jù)需要14塊硬盤才能完全容納。

雅虎表示，這些數(shù)據(jù)來自2015年4個月時間里的2000萬用戶，其中包括用戶使用的設(shè)備類型、閱讀文章的時間、文章主題，以及用戶的位置、年齡和性別。雅虎認為，只有通過對這種規(guī)模量級的數(shù)據(jù)進行研究，才能幫助學(xué)術(shù)界更好地理解普通人的在線閱讀習(xí)慣和偏好。

雅虎此前也曾開放過一些規(guī)模較小的數(shù)據(jù)集，但這些數(shù)據(jù)集的大小也要達到1TB。這遠遠不是電子表格工具，或是傳統(tǒng)數(shù)據(jù)庫有能力處理的。而這才是數(shù)據(jù)分析師真正的用武之地。

2.大數(shù)據(jù)應(yīng)當(dāng)怎么做？

大數(shù)據(jù)的一條基本理論在于，單純的數(shù)據(jù)并不產(chǎn)生價值，只有通過數(shù)據(jù)分析師的計算分析，找出其中趨勢，為未來的決策提供依據(jù)，這樣的大數(shù)據(jù)技術(shù)才是有意義的。

在本周于上海舉行的阿里云棲大會上，阿里云大數(shù)據(jù)事業(yè)部資深總監(jiān)徐常亮指出，大數(shù)據(jù)技術(shù)的重要一部分是數(shù)據(jù)加工工具，這樣的工具需要打通數(shù)據(jù)生產(chǎn)鏈條，包括從數(shù)據(jù)采集到計算引擎，到數(shù)據(jù)加工、數(shù)據(jù)分析，到機器學(xué)習(xí)再到數(shù)據(jù)應(yīng)用，最后形成閉環(huán)又回到數(shù)據(jù)采集。

道路交通狀況分析和預(yù)測就是這種大數(shù)據(jù)技術(shù)實際應(yīng)用的一個簡單案例。在這一分析預(yù)測系統(tǒng)中，輸入的數(shù)據(jù)是每輛汽車的信息，包括當(dāng)前時間、汽車行駛速度，以及天氣狀況等。這樣的數(shù)據(jù)既可以來自交通監(jiān)控設(shè)備，也可以來自未來的互聯(lián)汽車傳感器。在繁忙的城市道路上，這樣的數(shù)據(jù)將是海量的。

數(shù)據(jù)分析師可根據(jù)歷史數(shù)據(jù)，我們可以建模，了解不同季節(jié)、不同時間、不同天氣狀況下汽車行駛速度和交通擁堵狀況。隨后，利用這樣的模型，系統(tǒng)可以對道路上的合理車速做出預(yù)測，判斷是否會出現(xiàn)交通擁堵，并提前預(yù)警，以便及時疏導(dǎo)交通。而更進一步，這樣的信息對于城市未來的交通設(shè)計和規(guī)劃也有著參考意義。

在本周的阿里云棲大會上，中國天氣網(wǎng)宣布了與阿里云的戰(zhàn)略合作，將把氣象大數(shù)據(jù)開放給開發(fā)者。對這些大數(shù)據(jù)的分析處理將給農(nóng)業(yè)（氣象變化對農(nóng)業(yè)生產(chǎn)的影響）、醫(yī)療健康（天氣對人體罹患疾病的影響）和零售（不同天氣狀況下消費者的消費模式）等行業(yè)帶來重要指導(dǎo)。

3.研究大數(shù)據(jù)需要什么樣的技能？

數(shù)據(jù)科學(xué)很明顯是未來科技行業(yè)發(fā)展的一大方向，然而在全球范圍內(nèi)，大數(shù)據(jù)人才的缺口很大。

麥肯錫的一項研究預(yù)計，到2018年，美國在深度數(shù)據(jù)分析領(lǐng)域的人才缺口可能將高達50%至60%。埃森哲的大數(shù)據(jù)戰(zhàn)略調(diào)查則顯示，有90%客戶表示，計劃招聘更多具備數(shù)據(jù)分析技能的員工。然而在1000多家受訪的客戶中，有41%表示，市場上數(shù)據(jù)科學(xué)人才的匱乏造成了限制。

那么，數(shù)據(jù)科學(xué)人才需要具備什么樣的技能？

首先，對數(shù)據(jù)科學(xué)家(數(shù)據(jù)分析師)來說，數(shù)學(xué)是必不可少的知識基礎(chǔ)。統(tǒng)計、概率論、數(shù)學(xué)建模，這些都是數(shù)據(jù)科學(xué)研究的基礎(chǔ)。其次，他們還需要使用計算機語言，例如R或Python去玩轉(zhuǎn)這些數(shù)據(jù)。

只有通過計算機編程，數(shù)學(xué)理論才能被用于實踐，而數(shù)據(jù)集也才能得到適當(dāng)?shù)姆治鎏幚怼Ｗ詈?，?shù)據(jù)科學(xué)家還必須對某些垂直領(lǐng)域，例如交通或氣象，有自己的興趣。對于這些領(lǐng)域的多方面影響因素，他們必須了若指掌。而這也是使用數(shù)學(xué)理論去展開實用型研究的前提。

在此基礎(chǔ)上，許多大數(shù)據(jù)公司還在開發(fā)機器學(xué)習(xí)技術(shù)，利用機器去深挖數(shù)據(jù)的潛力。這就要求數(shù)據(jù)科學(xué)家還要去了解機器學(xué)習(xí)算法，甚至相配套的硬件設(shè)計。

這樣看來，數(shù)據(jù)科學(xué)的研究有著相當(dāng)高的門檻，而理想的數(shù)據(jù)科學(xué)家(數(shù)據(jù)分析師)應(yīng)當(dāng)是了解數(shù)據(jù)、計算機，以及其他某一專業(yè)的復(fù)合型人才。這遠遠不是剛學(xué)會數(shù)據(jù)庫操作的新手所能勝任的工作。

結(jié)論

數(shù)據(jù)統(tǒng)計并不等同于大數(shù)據(jù)。這可能是數(shù)據(jù)科學(xué)發(fā)展的最初形態(tài)，但未來的大數(shù)據(jù)技術(shù)還需要從這些統(tǒng)計數(shù)據(jù)中得出更多具有指導(dǎo)意義的分析結(jié)論。

回到2015年南京交通事故大數(shù)據(jù)分析報告。如果希望這成為真正的大數(shù)據(jù)報告，并帶來參考意義，那么首先可能要做的就是增大數(shù)據(jù)集，采集更多類型的司機和車輛數(shù)據(jù)，并將覆蓋范圍擴大至整個省，甚至全國。

另一方面，數(shù)據(jù)科學(xué)家(數(shù)據(jù)分析師)需要做進一步的數(shù)據(jù)挖掘，將目光瞄準(zhǔn)更多有價值的點。這將給交通出行體系和汽車業(yè)的多個領(lǐng)域帶來幫助：汽車廠商可以基于這些信息開發(fā)安全功能，而道路設(shè)計也可以據(jù)此優(yōu)化以減少事故的發(fā)生。