【實例】數(shù)據(jù)科學(xué)家所需的技能和素質(zhì)

對數(shù)據(jù)科學(xué)家的關(guān)注，源于大家逐步認(rèn)識到，Google、Amazon、Facebook等公司成功的背后，存在著這樣的一批專業(yè)人才。這些互聯(lián)網(wǎng)公司對于大量數(shù)據(jù)不是僅進行存儲而已，而是將其變?yōu)橛袃r值的金礦——例如，搜索結(jié)果、定向廣告、準(zhǔn)確的商品推薦、可能認(rèn)識的好友列表等。

數(shù)據(jù)科學(xué)（datascience）是一個很久之前就存在的詞匯，但數(shù)據(jù)科學(xué)家（datascientist）卻是幾年前突然出現(xiàn)的一個新詞。關(guān)于這個詞的起源說法不一，其中在《數(shù)據(jù)之美》（BeautifulData，TobySegaran、JeffHammerbacher編著，O’Reilly出版1）一書中，對于Facebook的數(shù)據(jù)科學(xué)家，有如下敘述：在Facebook，我們發(fā)現(xiàn)傳統(tǒng)的頭銜如商業(yè)分析師、統(tǒng)計學(xué)家、工程師和研究科學(xué)家都不能確切地定義我們團隊的角色。該角色的工作是變化多樣的：在任意給定的一天，團隊的一個成員可以用Python實現(xiàn)一個多階段的處理管道流、設(shè)計假設(shè)檢驗、用工具R在數(shù)據(jù)樣本上執(zhí)行回歸測試、在Hadoop上為數(shù)據(jù)密集型產(chǎn)品或服務(wù)設(shè)計和實現(xiàn)算法，或者把我們分析的結(jié)果以清晰簡潔的方式展示給企業(yè)的其他成員。為了掌握完成這多方面任務(wù)需要的技術(shù)，我們創(chuàng)造了‘?dāng)?shù)據(jù)科學(xué)家’這種角色?！?/span>

僅僅在幾年前，數(shù)據(jù)科學(xué)家還不是一個正式確定的職業(yè)，然而一眨眼的工夫，這個職業(yè)就已經(jīng)被譽為“今后10年IT行業(yè)最重要的人才”了。

Google首席經(jīng)濟學(xué)家、加州大學(xué)伯克利分校教授哈爾·范里安（HalVarian，1947—）先生，在2008年10月與麥肯錫總監(jiān)JamesManyika先生的對話中，曾經(jīng)講過下面一段話：“我總是說，在未來10年里，最有意思的工作將是統(tǒng)計學(xué)家。人們都認(rèn)為我在開玩笑。但是，過去誰能想到電腦工程師會成為20世紀(jì)90年代最有趣的工作？在未來10年里，獲取數(shù)據(jù)——以便能理解它、處理它、從中提取價值、使其形象化、傳送它——的能力將成為一種極其重要的技能，不僅在專業(yè)層面上是這樣，而且在教育層面（包括對中小學(xué)生、高中生和大學(xué)生的教育）也是如此。由于如今我們已真正擁有實質(zhì)上免費的和無所不在的數(shù)據(jù)，因此，與此互補的稀缺要素是理解這些數(shù)據(jù)并從中提取價值的能力?！?/span>

范里安教授在當(dāng)初的對話中使用的是statisticians（統(tǒng)計學(xué)家）一詞，雖然當(dāng)時他沒有使用數(shù)據(jù)科學(xué)家這個詞，但這里所指的，正是現(xiàn)在我們所討論的數(shù)據(jù)科學(xué)家。

數(shù)據(jù)科學(xué)家所需的技能

數(shù)據(jù)科學(xué)家這一職業(yè)并沒有固定的定義，但大體上指的是這樣的人才：

“所謂數(shù)據(jù)科學(xué)家，是指運用統(tǒng)計分析、機器學(xué)習(xí)、分布式處理等技術(shù)，從大量數(shù)據(jù)中提取出對業(yè)務(wù)有意義的信息，以易懂的形式傳達給決策者，并創(chuàng)造出新的數(shù)據(jù)運用服務(wù)的人才。”

數(shù)據(jù)科學(xué)家所需的技能如下。

（1）計算機科學(xué)

一般來說，數(shù)據(jù)科學(xué)家大多要求具備編程、計算機科學(xué)相關(guān)的專業(yè)背景。簡單來說，就是對處理大數(shù)據(jù)所必需的Hadoop、Mahout等大規(guī)模并行處理技術(shù)與機器學(xué)習(xí)相關(guān)的技能。

（2）數(shù)學(xué)、統(tǒng)計、數(shù)據(jù)挖掘等

除了數(shù)學(xué)、統(tǒng)計方面的素養(yǎng)之外，還需要具備使用SPSS、SAS等主流統(tǒng)計分析軟件的技能。其中，面向統(tǒng)計分析的開源編程語言及其運行環(huán)境R最近備受矚目。R的強項不僅在于其包含了豐富的統(tǒng)計分析庫，而且具備將結(jié)果進行可視化的高品質(zhì)圖表生成功能，并可以通過簡單的命令來運行。此外，它還具備稱為CRAN（TheComprehensiveRArchiveNetwork）的包擴展機制，通過導(dǎo)入擴展包就可以使用標(biāo)準(zhǔn)狀態(tài)下所不支持的函數(shù)和數(shù)據(jù)集。

（3）數(shù)據(jù)可視化（Visualization）

信息的質(zhì)量很大程度上依賴于其表達方式。對數(shù)字羅列所組成的數(shù)據(jù)中所包含的意義進行分析，開發(fā)Web原型，使用外部API將圖表、地圖、Dashboard等其他服務(wù)統(tǒng)一起來，從而使分析結(jié)果可視化，這是對于數(shù)據(jù)科學(xué)家來說十分重要的技能之一。

將數(shù)據(jù)與設(shè)計相結(jié)合，讓晦澀難懂的信息以易懂的形式進行圖形化展現(xiàn)的信息圖（Infographics）最近正受到越來越多的關(guān)注，這也是數(shù)據(jù)可視化的手法之一。

作為參考，下面節(jié)選了Facebook和Twitter的數(shù)據(jù)科學(xué)家招聘啟事。對于現(xiàn)實中的企業(yè)需要怎樣的技能，這則啟事應(yīng)該可以為大家提供一些更實際的體會。

Facebook招聘數(shù)據(jù)科學(xué)家

Facebook計劃為數(shù)據(jù)科學(xué)團隊招聘數(shù)據(jù)科學(xué)家。應(yīng)聘該崗位的人，將擔(dān)任軟件工程師、量化研究員的工作。理想的候選人應(yīng)對在線社交網(wǎng)絡(luò)的研究有濃厚興趣，能夠找出創(chuàng)造最佳產(chǎn)品過程中所遇到的課題，并對解決這些課題擁有熱情。

職務(wù)內(nèi)容

確定重要的產(chǎn)品課題，并與產(chǎn)品工程團隊密切合作尋求解決方案

通過對數(shù)據(jù)運用合適的統(tǒng)計技術(shù)來解決課題

將結(jié)論傳達給產(chǎn)品經(jīng)理和工程師

推進新數(shù)據(jù)的收集以及對現(xiàn)有數(shù)據(jù)源的改良

對產(chǎn)品的實驗結(jié)果進行分析和解讀

找到測量、實驗的最佳實踐方法，傳達給產(chǎn)品工程團隊

必要條件

相關(guān)技術(shù)領(lǐng)域的碩士或博士學(xué)位，或者具備4年以上相關(guān)工作經(jīng)驗

對使用定量手段解決分析性課題擁有豐富的經(jīng)驗

能夠輕松操作和分析來自各方的、復(fù)雜且大量的多維數(shù)據(jù)

對實證性研究以及解決數(shù)據(jù)相關(guān)的難題擁有極大的熱情

能對各種精度級別的結(jié)果采用靈活的分析手段

具備以實際、準(zhǔn)確且可行的方法傳達復(fù)雜定量分析的能力

至少熟練掌握一種腳本語言，如Python、PHP等精通關(guān)系型數(shù)據(jù)庫和SQL

對R、MATLAB、SAS等分析工具具備專業(yè)知識

具備處理大量數(shù)據(jù)集的經(jīng)驗，以及使用MapReduce、Hadoop、Hive等分布式計算工具的經(jīng)驗

Twitter招聘數(shù)據(jù)科學(xué)家（負(fù)責(zé)增加用戶數(shù)量）

關(guān)于業(yè)務(wù)內(nèi)容

Twitter計劃招聘能夠為增加Twitter用戶數(shù)提供信息和方向、具備行動力和高超技能的人才。應(yīng)聘者需要具備統(tǒng)計和建模方面的專業(yè)背景，以及大規(guī)模數(shù)據(jù)集處理方面的豐富經(jīng)驗。

我們期待應(yīng)聘者所具有的判斷力能夠在多個層面上決定Twitter產(chǎn)品群的方向。

職責(zé)

使用Hadoop、Pig編寫MapReduce格式的數(shù)據(jù)分析

能夠針對臨時數(shù)據(jù)挖掘流程和標(biāo)準(zhǔn)數(shù)據(jù)挖掘流程編寫復(fù)雜的SQL查詢

能夠使用SQL、Pig、腳本語言、統(tǒng)計軟件包編寫代碼

以口頭及書面形式對分析結(jié)果進行總結(jié)并做出報告

每天對數(shù)TB規(guī)模、10億條以上事務(wù)級別的大規(guī)模結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)進行處理

必要條件

計算機科學(xué)、數(shù)學(xué)、統(tǒng)計學(xué)的碩士學(xué)位或者同等的經(jīng)驗

2年以上數(shù)據(jù)分析經(jīng)驗

大規(guī)模數(shù)據(jù)集及Hadoop等MapReduce架構(gòu)方面的經(jīng)驗

腳本語言及正則表達式等方面的經(jīng)驗

對離散數(shù)學(xué)、統(tǒng)計、概率方面感興趣

將業(yè)務(wù)需求映射到工程系統(tǒng)方面的經(jīng)驗

數(shù)據(jù)科學(xué)家所需的素質(zhì)

（1）溝通能力

即便從大數(shù)據(jù)中得到了有用的信息，但如果無法將其在業(yè)務(wù)上實現(xiàn)的話，其價值就會大打折扣。為此，面對缺乏數(shù)據(jù)分析知識的業(yè)務(wù)部門員工以及經(jīng)營管理層，將數(shù)據(jù)分析的結(jié)果有效傳達給他們的能力是非常重要的。

（2）創(chuàng)業(yè)精神（entrepreneuership）

以世界上尚不存在的數(shù)據(jù)為中心創(chuàng)造新型服務(wù)的創(chuàng)業(yè)精神，也是數(shù)據(jù)科學(xué)家所必需的一個重要素質(zhì)。Google、Amazon、Facebook等通過數(shù)據(jù)催生出新型服務(wù)的企業(yè)，都是通過對龐大的數(shù)據(jù)到底能創(chuàng)造出怎樣的服務(wù)進行艱苦的探索才獲得成功的。

（3）好奇心

龐大的數(shù)據(jù)背后到底隱藏著什么，要找出答案需要很強的好奇心。除此之外，成功的數(shù)據(jù)科學(xué)家都有一個共同點，即并非局限于藝術(shù)、技術(shù)、醫(yī)療、自然科學(xué)等特定領(lǐng)域，而是對各個領(lǐng)域都擁有旺盛的好奇心。通過對不同領(lǐng)域數(shù)據(jù)的整合和分析，就有可能發(fā)現(xiàn)以前從未發(fā)現(xiàn)過的有價值的觀點。

美國的數(shù)據(jù)科學(xué)家大多擁有豐富的從業(yè)經(jīng)歷，如實驗物理學(xué)家、計算機化學(xué)家、海洋學(xué)家，甚至是神經(jīng)外科醫(yī)生等。也許有人認(rèn)為這是人才流動性高的美國所特有的現(xiàn)象，但其實正如我們在第4章中所介紹的GREE一樣，在日本也出現(xiàn)了一些積極招募不同職業(yè)背景人才的企業(yè)，這樣的局面距離我們已經(jīng)不再遙遠。