如何成為一名優(yōu)質(zhì)的數(shù)據(jù)科學(xué)家

開隨著“數(shù)據(jù)驅(qū)動”的價值越來越明顯，越來越多的企事業(yè)開始組建或擴大數(shù)據(jù)分析隊伍，“數(shù)據(jù)科學(xué)家”這個職位也越來越被大家關(guān)注。

? “數(shù)據(jù)科學(xué)家”是不是“統(tǒng)計師”更性感的版本？

? 起碼得有統(tǒng)計、應(yīng)用數(shù)學(xué)、計算機的背景？

? 干了5年的軟件開發(fā)，寫SQL如反掌觀紋，換行做數(shù)據(jù)科學(xué)家很容易吧？

? 我們市場部也想更加“數(shù)字化”，但不懂編程，應(yīng)該如何起步？

數(shù)據(jù)科學(xué)家的定義

經(jīng)歷了一些不同階段的大數(shù)據(jù)項目之后，我意識到，在“數(shù)據(jù)科學(xué)家”這個角色沒定義好之前，“數(shù)據(jù)化”會遇到很多挑戰(zhàn)。這個角色的定義相當(dāng)模糊，造成很多混淆--很像對“數(shù)字化”本身的混淆。

我翻閱了一下招聘網(wǎng)站上數(shù)據(jù)科學(xué)家的職責(zé)，有的專門通過統(tǒng)計和機器學(xué)習(xí)來建立預(yù)測模型，有的定義則更加寬泛。那么到底“數(shù)據(jù)科學(xué)家”具備什么樣的技能，能做哪些事？很多希望實現(xiàn)“數(shù)據(jù)驅(qū)動”的企業(yè)對數(shù)據(jù)科學(xué)家的期望比較籠統(tǒng)，并且在不斷修正中，這很正常，那么你，怎樣才能更好地為這一職位做好準(zhǔn)備？

網(wǎng)上已經(jīng)有很多種答案，本文并不想提出新的詮釋，而是盡量將最主流的觀點提供給大家，并結(jié)合現(xiàn)有的技術(shù)，為有志于成為數(shù)據(jù)科學(xué)家的朋友，提供建議。

定義一：數(shù)據(jù)科學(xué)家起碼是統(tǒng)計師

“數(shù)據(jù)科學(xué)家是對統(tǒng)計師更性感的稱謂” -Nate Silver

Nate Silver是個著名的統(tǒng)計師，憑借2008年美國總統(tǒng)競選中，成功地預(yù)測了所有50個州里的49個州競選結(jié)果，而一戰(zhàn)成名，并被《時代周刊》評為2009年度最有影響力的100人之一。

他說：“數(shù)據(jù)科學(xué)家是對統(tǒng)計師更性感的稱謂。......，數(shù)據(jù)科學(xué)家（這個稱謂）有點多余，人們不應(yīng)該批評“統(tǒng)計師”這個詞”。

不過，數(shù)據(jù)本身在變化——越來越多，越來越快，種類越來越豐富，統(tǒng)計師們用以前的辦法難以應(yīng)對，所以數(shù)據(jù)科學(xué)家至少是比統(tǒng)計師們更善于編程的那些人。

定義二：數(shù)據(jù)科學(xué)家用編程和統(tǒng)計，將數(shù)據(jù)更有用

隨著數(shù)據(jù)分析和業(yè)務(wù)需求的發(fā)展，以及分工的細化，這個稱謂也在逐漸演化。 比如，Pandora的研究部門負責(zé)人Michael Hochester是這樣定義數(shù)據(jù)工程師的：

“數(shù)據(jù)科學(xué)家是一些能綜合運用編程和統(tǒng)計技術(shù)的人，他們致力于通過各種方式讓將數(shù)據(jù)更發(fā)揮作用。”他認(rèn)為數(shù)據(jù)科學(xué)家分為兩類：

A類： 分析型

主要像統(tǒng)計學(xué)家那樣，進行靜態(tài)的數(shù)據(jù)分析，并能清洗數(shù)據(jù)。他們用不同辦法處理較大的數(shù)據(jù)集，可視化，非常熟悉某個領(lǐng)域，能很好解讀數(shù)據(jù)等等；分析型數(shù)據(jù)科學(xué)家也能通過寫代碼來處理數(shù)據(jù)，但不像工程師那樣專業(yè)。他們更擅長實驗設(shè)計，預(yù)測、建模、統(tǒng)計推斷和其他統(tǒng)計工作。結(jié)論會更直白，而不是像P值和置信區(qū)間那么學(xué)術(shù)化。提煉出簡潔有力的結(jié)論，并傳達給其他人，是數(shù)據(jù)科學(xué)家常常被低估而異常重要的職責(zé)之一。

B類： 搭建型

除了統(tǒng)計知識之外，搭建型數(shù)據(jù)科學(xué)家編程很強，關(guān)注于用在線生產(chǎn)數(shù)據(jù)搭建模型，并和其他系統(tǒng)連接，實現(xiàn)自動更新結(jié)果、或自動和用戶互動，比如推薦系統(tǒng)（產(chǎn)品、你認(rèn)識的人、廣告、電影、查詢結(jié)果等等）。

一個好的分析師具備哪些特點？

我最喜歡這個問題，網(wǎng)上的答案也五花八門。 有推薦一大堆技術(shù)的，有一大堆統(tǒng)計名詞的。 Monica Rogati的答案值得回味：她在《一個好的分析師由哪些條件組成？》里提出四點：

1. 務(wù)實

技術(shù)和模型是否最優(yōu)，遠不如所帶來的影響更重要。 幾個星期的工作，是否能為公司帶來相應(yīng)收益，結(jié)論能帶來多大的改變？ 務(wù)實，意味著在開始之前搞清楚：1）可能的，和最有可能的結(jié)果；2）所需的時間、人力和資源。

花幾個星期研究一個新算法，甚至學(xué)一個新技術(shù)，很能帶來成就感。但對公司來講，是不是真的比一個基于簡單的啟發(fā)法(Heuristics)的結(jié)論有用得多？ 不考慮機會成本，就可能糾結(jié)于一個最多能帶來2%提升的難題，而忽略了能帶來20%提升的課題。

所以，當(dāng)產(chǎn)品經(jīng)理跟你講：“能不能幫忙把xxx產(chǎn)品今年的數(shù)據(jù)幫我匯總一下”，一定要問問用途，比如“為啥需要??？”，“想看哪方面？”，對方也許關(guān)心渠道增長，或者想進行捆綁營銷。不清楚目的，而一頭扎進各種報表，不僅費時費力，而且結(jié)論的針對性和深度有限。

2. 好奇

數(shù)據(jù)分析有點像偵探工作。 重大發(fā)現(xiàn)都是從蛛絲馬跡開始，看似無關(guān)的線索可能有深藏其后的關(guān)聯(lián)。追，可能能獲得重要的洞察，不追……也沒人怪你。線索=數(shù)據(jù)，多種來源、不同規(guī)范程度的數(shù)據(jù)。80%的精力都會耗費在提取、清理和規(guī)范數(shù)據(jù)上，所以，缺乏好奇心，就很難堅持追下去，而最終真相的價值可能超過最新最酷的機器學(xué)習(xí)算法。

3. 技術(shù)和解決問題的能力

技術(shù)、能力和業(yè)務(wù)知識，缺一不可。

技術(shù)意味著對統(tǒng)計、算法和軟件工具的熟悉。 并不非要有統(tǒng)計學(xué)的碩士學(xué)位，但起碼得明白最小二乘法之類的基本統(tǒng)計方法和如何解讀結(jié)果。

能力意味著能解決實際問題，能堅持不懈地用各種技術(shù)進行探索，靈活地編程，使用命令行，對不同數(shù)據(jù)源進行清洗、轉(zhuǎn)換， 應(yīng)用不同的算法和模型。 計算機學(xué)位也不是必須的，實際上很多技術(shù)俠連正式的計算機課程都沒修過。

業(yè)務(wù)知識是指和具體領(lǐng)域、公司或部門相關(guān)的背景知識。比如分析醫(yī)療設(shè)備數(shù)據(jù)時，如果了解哪些耗材配套哪些設(shè)備？ 哪些醫(yī)院科室常做哪些檢測？就可以更明智地使用數(shù)據(jù)。

沒人能對所有這些都熟悉。好在信息時代讓學(xué)習(xí)變得更加簡單。最快的途徑是邊做邊學(xué)，比如自己做些小項目，并跟著有經(jīng)驗的數(shù)據(jù)科學(xué)家學(xué)習(xí)。不同的公司所看重的技術(shù)、工具、業(yè)務(wù)知識也不同。 很多公司非?？粗亟y(tǒng)計學(xué)基礎(chǔ)，比如提供網(wǎng)絡(luò)游戲和社區(qū)的Twitch的數(shù)據(jù)科學(xué)家Brad Schumitsch談到：

“在Twitch, 我們的數(shù)據(jù)科學(xué)團隊由三部分組成：統(tǒng)計、編程和產(chǎn)品知識。 我們從來不招統(tǒng)計學(xué)不強的人。你可以是個很強的程序員，但如果不懂貝葉斯定理， 我只能建議你去我們工程部?！?

所以，不同企業(yè)或不同階段，對技術(shù)、能力和業(yè)務(wù)知識這三方面的側(cè)重不同。 Google的數(shù)據(jù)科學(xué)家可能有博士學(xué)位，對計算機和數(shù)學(xué)很有研究。電商領(lǐng)域的同樣崗位可能對電商非常熟悉，卻不一定經(jīng)過正式的數(shù)學(xué)或計算機培訓(xùn)。

4. 溝通能力

能不能把復(fù)雜的概念闡述得言簡意賅，而不用專業(yè)術(shù)語？ 能不能幾秒鐘之內(nèi)就做一個簡明扼要的圖？ 能不能忍住不把所有前提、場景、局限性都一股腦倒出來，來保證結(jié)論的絕對正確？是不是覺得可視化和簡潔的結(jié)論只是給不懂技術(shù)的人，或者不如你聰明的人看的？

我的大數(shù)據(jù)導(dǎo)師老丁曾是惠普全球運營報表部門的老大，當(dāng)時我負責(zé)此平臺開源后的市場工作。宣傳資料做了兩版之后，老丁扔過來一句話“太技術(shù)”，等到第三版，老丁急了，扔過來一本乳品生產(chǎn)企業(yè)的宣傳冊，說“按這辦”?！叭槠贰眝s“數(shù)據(jù)庫”，我有點懵......老丁是80年代放棄成為第二批計算機學(xué)科院士的機會，毅然投入美帝數(shù)據(jù)庫一線工作幾十年的老IT了，那全局觀，那思路，不可能錯啊。

N個月之后，我明白了。 宣傳也好，數(shù)據(jù)科學(xué)家也好，有一點是相同的：我們的結(jié)論不應(yīng)只追求正確，更重要的是簡潔。讓別人徹底明白，才有可能及時促成行動。

這個過程責(zé)任重大，所涉及到的前提、場景和局限性都很重要，但應(yīng)先等一等，不能一股腦拋給你的聽眾。它們終究會被簡化掉，由數(shù)據(jù)科學(xué)家主動去簡化，不比被以后的人隨意簡化強嗎？

如何成為數(shù)據(jù)科學(xué)家？

數(shù)據(jù)科學(xué)家的收入和職業(yè)前景不錯，那么如何才能找到一份數(shù)據(jù)科學(xué)家的工作？ 另一個相近的版本是，很多企業(yè)建立內(nèi)部數(shù)據(jù)科學(xué)部門的時機也逐漸成熟，如何培養(yǎng)內(nèi)部人員成為數(shù)據(jù)科學(xué)家？

網(wǎng)上能找到不少關(guān)于數(shù)據(jù)科學(xué)家方方面面技能的教程、課程或視頻，包括分析方法、開源工具、編程語言等。如果英文較好，還能從InfoQ、Quora、StackOverflow等獲得不少國外大牛的指點。不過許多攻略都是這樣：1）你需要A、B、C、D這些技能；2）這里是鏈接。Python的鏈接在這，R的鏈接在那，機器學(xué)習(xí)的視頻在最下面，再去安個Hadoop和Spark。 這是最常見的學(xué)習(xí)方式，但很費時費力，效果沒那么好。 很多培訓(xùn)用的是處理過的規(guī)范數(shù)據(jù)，演示效果很好，但現(xiàn)實卻不太一樣。

實際上，大家更認(rèn)可“邊干邊學(xué)”的效果，可是在找到數(shù)據(jù)科學(xué)家的工作之前，怎么才能得到“干”的機會？ Monica Rogati的《How Can I become a data scientist》和Tomi Mester的《How to get your first job in Data Science》都提出了很好的方法。

第一步 四種工具

如果你想從最基礎(chǔ)開始，有四種工具比較常用。這些工具都是免費的，Tomi Mester提供了一個英文的攻略：

Bash和命令行；

Python

SQL

R

有時需要Java

一般來說，不同的公司會選用其中兩到三種。好消息是，一旦學(xué)會一種，學(xué)其他的也很快。 總共花一兩周，選其中兩三種掌握基本使用，就可以進入下一步。

Tomi的攻略需要安裝和連接到云上的虛機。這些服務(wù)國內(nèi)眾多的云服務(wù)商都能提供，可以直接選國內(nèi)的即可。 具體的安裝，如果自己不熟悉，也可以請朋友幫忙，不一定要花太多時間。

第二步 先定個小目標(biāo)，比如動手做幾個小項目

親手做些項目，不僅是最快最有效地的學(xué)習(xí)辦法，而且能讓你的簡歷更引人注目，在面試時加分不少。

選個感興趣的題目

結(jié)合可以找到的數(shù)據(jù)，選選自己感興趣的題目，比如空氣質(zhì)量、氣候變化、民航運輸、旅游、醫(yī)療支出等等。網(wǎng)上有不少數(shù)據(jù)可以免費或者很便宜地下載。除了國內(nèi)數(shù)據(jù)，一些美國網(wǎng)站上也有很多世界范圍的公眾數(shù)據(jù)，比如天氣、各國經(jīng)濟、疾病、自然災(zāi)害等等。 常用的網(wǎng)站有國家統(tǒng)計局（“國家數(shù)據(jù)”）、美國政府公開數(shù)據(jù)Data.gov、Kaggle比賽的數(shù)據(jù)集、世界數(shù)據(jù)圖冊、CEIC、證監(jiān)會、新浪財經(jīng)、AWS公用數(shù)據(jù)集、數(shù)糧、機器學(xué)習(xí)的UCI數(shù)據(jù)集等等。 如果是公司支持的項目，還可以從公司IT部門拿到數(shù)據(jù)。 重要的是，應(yīng)該從容易上手的項目做起，找到數(shù)據(jù)，爭取一周之內(nèi)得出結(jié)果。

發(fā)個微博或微信，看看反映

在動手分析之前，先大概看看數(shù)據(jù)，把你想做的項目和初步印象用一兩句話，在微博和微信上看看大家的反應(yīng)。既要現(xiàn)實一點（能在一個星期內(nèi)做出結(jié)果），又要保持樂觀（相信自己能做出來，能找到些有趣的結(jié)論）。猜想一個可能的結(jié)果，不一定很準(zhǔn)確（甚至可以編編），并邀請大家反饋，比如Monica Rogati曾經(jīng)這么發(fā)微博：

“我用LinkedIn數(shù)據(jù)研究創(chuàng)業(yè)者，發(fā)現(xiàn)他們比想象的老，學(xué)物理的比學(xué)護理或神學(xué)的多。也許是因為風(fēng)投們很難投一個新的宗教吧？”

“我用Jawbone的數(shù)據(jù)研究天氣對運動的影響--紐約人沒有加州人那么容易受天氣變化的影響，你們覺得是因為紐約人更強，還是他們主要在室內(nèi)運動？”

“我結(jié)合BBC的訃告和維基，來看看2016這一年對名人來講，是不是真的很衰?！?

如果你想學(xué)習(xí)某種技術(shù)的話，還可以這么寫，比如：Shelby Sturgis：“我為老師和管理者做了個Web應(yīng)用，通過分析學(xué)校排名、考試分?jǐn)?shù)的變化和不同科目的成績，來幫助他們提高教育質(zhì)量。我用了MySQL、Python、Javascript、Highcharts.js和D3.js,來存儲、分析和展示加州STAR考試數(shù)據(jù)。”

“我用了TensorFlow來自動對黑白照片上色和還原，幫奶奶做了這個拼貼圖--最棒的圣誕！”

想象自己在交流會和面試?yán)锓磸?fù)介紹，刊登在《今日美國》或《華爾街日報》上。你會覺得無聊，難以講清還是覺得自己聰明，并感到自豪？如果答案是否定的，就重新再找，或者回到上一步，直到找到2-3個信服的想法。 問問其他人--這個有意思嗎？ 你愿意面試做這個的人，來做數(shù)據(jù)分析的工作嗎？

除了找數(shù)據(jù)和粗略地了解相關(guān)的技術(shù)和工具，此時你還沒有寫任何代碼，或者做任何具體分析。你可以很方便地多次重復(fù)這個階段，而不要太著急地一頭扎進某些教程或者課程，花幾個月時間毫無所獲。

開始干

分析數(shù)據(jù)。清洗。繪制圖表。重復(fù)?？纯疵總€字段常見的前十個值。研究一下異常值。看看分布情況。如果數(shù)據(jù)不是很零散，可以把類似的值分組。分析相關(guān)度，處理缺失的數(shù)據(jù)。嘗試不同的聚類和分類算法。調(diào)試。找找為什么有的效果好，有的不好？ 如果數(shù)據(jù)多的話，搭建AWS Data Pipeline。對非結(jié)構(gòu)化數(shù)據(jù)嘗試用不同的NLP庫?？赡軙玫絊park，numpy, panda, nltk, 矩陣分解和TensorFlow。這些技術(shù)不是為了學(xué)而學(xué)，而是因為解決問題必須用到。

找個懂統(tǒng)計學(xué)、軟件工具或業(yè)務(wù)分析的朋友，會有很大幫助。每周花一個小時或每兩周聚一次，都會很快幫你理順?biāo)悸?，或者解決實際問題。

做個偵探，提出新的問題和新的方向。數(shù)據(jù)的收集方式是否合理？ 引入另外的數(shù)據(jù)集會怎么樣？這應(yīng)該是個有趣的過程，偶爾遇到障礙時，可以向網(wǎng)上、論壇、老師或做相同工作的朋友求助。 如果感覺不好玩，就重新找個題目。如果感覺很差，就重新思考要不要當(dāng)數(shù)據(jù)科學(xué)家。如果這部分不能讓你充滿干勁，你很難堅持和干好真實數(shù)據(jù)工作中占80%的乏味的苦活。

表達

用簡單的語言和干凈、說服力強的圖表來一目了然地表達。 學(xué)會用可視化工具非常重要。 如果你建了個原型，可以做一個簡潔、有趣的演示或視頻。把技術(shù)細節(jié)和代碼放在鏈接里。發(fā)出去，并收集反饋。公開展示能讓你提高標(biāo)準(zhǔn)，得到高質(zhì)量的代碼、表達和圖形結(jié)果。重復(fù)這一過程，逐漸就能形成自己的項目集，給招聘人員看，直到加入夢寐以求的團隊。

有沒有捷徑？

很多朋友從事市場、財務(wù)等工作，不具備統(tǒng)計學(xué)背景，更沒有編程經(jīng)驗，如何轉(zhuǎn)向數(shù)據(jù)科學(xué)？

2016年底，一個朋友帶給我一個很典型的場景：她在一家醫(yī)療儀器公司，負責(zé)市場工作，積累了不少的數(shù)據(jù)，包括客戶、銷售、產(chǎn)品等方面，分別來自于CRM、財務(wù)和產(chǎn)品管理系統(tǒng)。最大的表100多G，維度也比較全面。公司希望能培養(yǎng)自己的數(shù)據(jù)科學(xué)家，她也很感興趣，問題是，如何開始？

一般來說，如果對Excel的統(tǒng)計函數(shù)（如sum, sumif, count,時間轉(zhuǎn)換等），vlookup和數(shù)據(jù)透視表比較熟悉，可以從可視化工具入手。如果公司有預(yù)算，可以考慮Tableau，Power BI等；也可以選用國內(nèi)帆軟、魔鏡等。 Tableau的教學(xué)視頻比較系統(tǒng)，很容易從0基礎(chǔ)開始。

同時可以快速翻閱幾本經(jīng)典書，包括《深入淺出數(shù)據(jù)分析》、《統(tǒng)計學(xué)》、《R語言實戰(zhàn)》、《深入淺出Python》等。對數(shù)據(jù)分析本身的使命、基本概念、常見方法等獲得總體了解，能讓你更快地找到自己的目標(biāo)，為自己的項目整理思路。

同樣重要的，要以自己的項目為主線，限定期限，避免為技術(shù)細節(jié)，扎到浩瀚的資料里。遇到問題再去Quora、知乎、Stackoverlow、微信群和相關(guān)工具的論壇問問題，項目進展會快得多，有時候幾分鐘就會有人給你答案。 做完第一個項目之后，再逐漸用更復(fù)雜的指標(biāo)、算法或工具，再用一兩周時間做出下一個項目，以此類推。

即使完全沒基礎(chǔ)，也不用擔(dān)心?；c時間看看上面提到的書或可視化工具的教學(xué)視頻，大概了解數(shù)據(jù)分析的基本概念和方法，你就可以開始選自己的題目，開始探索數(shù)據(jù)科學(xué)家的星辰大海，迎接嶄新的未來。