攻克大數(shù)據(jù)：數(shù)據(jù)科學(xué)家的八種技能

隨著大數(shù)據(jù)滲透進(jìn)各行各業(yè)，負(fù)責(zé)淘洗數(shù)據(jù)、從中精煉價(jià)值的數(shù)據(jù)科學(xué)家無疑是這幾年最炙手可熱的職位，《哈佛商業(yè)評論》將之譽(yù)為21 世紀(jì)最性感工作。

1，因?yàn)閮?yōu)異的數(shù)據(jù)科學(xué)家就像獨(dú)角獸一樣珍貴難尋，而且可不是只有科技公司在搶人，傳統(tǒng)金融界、零售商、廣告、教育，幾乎所有產(chǎn)業(yè)都需要數(shù)據(jù)科學(xué)家從大量數(shù)據(jù)中萃取精華。根據(jù)去年七月 Indeed.com 的調(diào)查，美國數(shù)據(jù)科學(xué)家每年均薪 12.3 萬美金。

2，比起整體均薪多出 113%——當(dāng)然，還是比每年平均可以領(lǐng) 74 萬美金的 CEO 還少，但也夠讓 99.99% 的上班族望塵莫及。

能領(lǐng)這么驚人的薪資，數(shù)據(jù)科學(xué)家的本領(lǐng)真的不是三言兩語就能講完。但是到底什么是數(shù)據(jù)科學(xué)家?
頂尖的數(shù)據(jù)科學(xué)家最好統(tǒng)計(jì)、數(shù)學(xué)、程式能力最好都要掌握，而且要能從中洞察意義，并且擁有非凡的直覺，用數(shù)據(jù)數(shù)據(jù)發(fā)聲，幫助公司制定重大決策。但是，其實(shí)就算同樣都是尋找「數(shù)據(jù)科學(xué)家」，Google 跟沃爾瑪超市要的人才，可能非常不一樣。別因你好像缺了哪個專長而打退堂鼓，如果仔細(xì)閱讀每家公司張貼的職缺敘述，你會發(fā)現(xiàn)說不定現(xiàn)有的技能就能進(jìn)入數(shù)據(jù)科學(xué)的殿堂。Airbnb 數(shù)據(jù)科學(xué)家 Dave Holtz 把市場上所需的數(shù)據(jù)科學(xué)家概括成以下四類：

四種數(shù)據(jù)科學(xué)家

菜鳥數(shù)據(jù)科學(xué)家說穿了就是數(shù)據(jù)分析師

有些公司需要的數(shù)據(jù)科學(xué)家，說白話就是數(shù)據(jù)分析師(data analyst)，而數(shù)據(jù)分析師就是菜鳥數(shù)據(jù)科學(xué)家。你的工作包括從 MySQL 萃取數(shù)據(jù)或是一名 Excel 專家，也許要能繪制基礎(chǔ)的數(shù)據(jù)視覺圖表、分析 A/B 測試的結(jié)果或者管理公司的 Google Analytics 帳號。這種公司對抱負(fù)遠(yuǎn)大的數(shù)據(jù)科學(xué)家來說，是很不錯的練功場所，當(dāng)你變成老手了，也能開始嘗試新事物，擴(kuò)充技能組合。

來清理我們亂糟糟的數(shù)據(jù)!

公司發(fā)展到了一定規(guī)模之後，累積一堆尚未理清的數(shù)據(jù)，而且持續(xù)大幅增加，因此他們會需要一個能夠建立數(shù)據(jù)基本設(shè)施(data infrastrucure)的人，以讓他們在這個基礎(chǔ)上繼續(xù)成長。由於你是第一個或第一批獲聘的數(shù)據(jù)相關(guān)人員，工作通常不會太難，不求統(tǒng)計(jì)學(xué)家或機(jī)器學(xué)習(xí)專家才能勝任。在這種公司里面，帶有軟體工程背景的數(shù)據(jù)科學(xué)家就很吃香了，重點(diǎn)任務(wù)是提供數(shù)據(jù)到 production code，關(guān)於數(shù)據(jù)的洞見與分析倒是其次。就像前面說的，你是這家公司的第一個數(shù)據(jù)探勘者，通常你不會獲得太多上層的支援，雖然反而更有機(jī)會大放異彩，不過因?yàn)楸容^缺乏真正的挑戰(zhàn)，也有可能面臨停滯不前的窘境。

我們就是數(shù)據(jù)，數(shù)據(jù)就是我們

也有很多公司，主要的產(chǎn)品就是數(shù)據(jù)(或數(shù)據(jù)分析平臺)。如果你想進(jìn)入這種公司，那你勢必要具備很高深的數(shù)據(jù)分析或機(jī)器學(xué)習(xí)功力。完美的人選應(yīng)該是有正規(guī)的數(shù)學(xué)、統(tǒng)計(jì)、物理背景，而且有意繼續(xù)朝學(xué)術(shù)面鉆研。這些數(shù)據(jù)科學(xué)家的主要職責(zé)在於研發(fā)出色的數(shù)據(jù)產(chǎn)品，而非解答公司的營運(yùn)問題。擁有大量消費(fèi)者數(shù)據(jù)也以此作為主要營利來源的公司、或者提供基於數(shù)據(jù)的服務(wù)的公司，都?xì)w屬此類。

產(chǎn)品并非數(shù)據(jù)、卻以數(shù)據(jù)驅(qū)動產(chǎn)品的公司

很多公司都屬這種類型。你可能會加入一組已經(jīng)建立的數(shù)據(jù)科學(xué)家團(tuán)隊(duì)，這家公司很重視數(shù)據(jù)，但稱不上一家數(shù)據(jù)公司。你既要能夠進(jìn)行數(shù)據(jù)分析、接觸 production code、也能將數(shù)據(jù)視覺化。一般來說，這種公司要的人才要不是通才，就是他們團(tuán)隊(duì)缺乏的某種特殊專才，比如數(shù)據(jù)視覺化或機(jī)器學(xué)習(xí)。想要通過這類公司的考驗(yàn)，端看你對「大數(shù)據(jù)(比如 Hive 或 Pig)」工具的熟稔程度，以及過往處理雜亂無章數(shù)據(jù)的經(jīng)驗(yàn)。

現(xiàn)在，你了解“數(shù)據(jù)科學(xué)家”的定義很浮動，即使公司開缺都以數(shù)據(jù)科學(xué)家為名，但是他們要找的人其實(shí)不太一樣，不一樣的技能組合、不一樣專長、不一樣的經(jīng)驗(yàn)層級，卻都能夠稱之數(shù)據(jù)科學(xué)家，因此找工作時(shí)，務(wù)必詳讀職位描述，搞清楚你會進(jìn)入什么樣的團(tuán)隊(duì)、發(fā)展什么樣的技能。

基本工具

無論哪一類公司，統(tǒng)計(jì)程式語言如 R 或 Python，以及數(shù)據(jù)庫查詢工具像 SQL 大概都是數(shù)據(jù)科學(xué)家必備的常識。

基礎(chǔ)統(tǒng)計(jì)學(xué)

對統(tǒng)計(jì)起碼要有基本認(rèn)識，才稱得上及格的數(shù)據(jù)科學(xué)家，一名擁有許多面試經(jīng)驗(yàn)的人資說，很多他曾面試的人連 p-value 的定義都講得不清不楚。你應(yīng)該熟悉統(tǒng)計(jì)測試、分布、最大似然法則(maximum likelihood estimators)等等。機(jī)器學(xué)習(xí)也很重要，但更關(guān)鍵的能力，是你能否判斷不同狀況該用什么不同的技術(shù)。統(tǒng)計(jì)學(xué)適用於所有類型的公司，但對那些主要產(chǎn)品并非數(shù)據(jù)、卻大幅依賴數(shù)據(jù)的公司來說尤為必備能力，老板需要的是你能不能利用數(shù)據(jù)幫助他們進(jìn)行決策，以及設(shè)計(jì)、評估實(shí)驗(yàn)與結(jié)果。

機(jī)器學(xué)習(xí)

假如你是在握有大量數(shù)據(jù)的大型企業(yè)，或是產(chǎn)品本身就是以數(shù)據(jù)為賣點(diǎn)的公司工作，機(jī)器學(xué)習(xí)就是你用來吃飯的家伙。雖然 KNN 演算法(k-nearest neighbors)、隨機(jī)森林(random forest)、集成學(xué)習(xí)(ensemble methods)這類機(jī)器學(xué)習(xí)的流行術(shù)語好像不懂不行，不過因?yàn)槭聦?shí)上很多技術(shù)都可以用 R、Python 程式庫解決，所以即使你不是演算法的世界頂尖專家，并不代表就毫無希望。比較重要的是，能夠縱觀全局，每種狀況出現(xiàn)都能找出最契合的技術(shù)。

多變量微積分、線性代數(shù)

就算你即將面試的公司并未要求機(jī)器學(xué)習(xí)或統(tǒng)計(jì)學(xué)知識，基礎(chǔ)多變量微積分與線性代數(shù)問題十之八九都是逃避不了的必考題，因?yàn)閿?shù)據(jù)科學(xué)就是由這些技術(shù)型塑而成。盡管很多事情可以交給 sklearn 或 R 自動執(zhí)行，但是未來如果公司想要建立自有的方案，這些基本知識就變得很重要了。如果你置身於「數(shù)據(jù)就是產(chǎn)品」，或者預(yù)測績效僅因小小進(jìn)步或演算法優(yōu)化就能帶來驚人效益的公司里面，微積分、線性代數(shù)等數(shù)學(xué)概念都需了解通透。

清理數(shù)據(jù)

Data Munging 是最容易令人不耐的過程，你面對的是亂七八糟的數(shù)據(jù)。這些數(shù)據(jù)包含消失的數(shù)值、不一致的字串格式(比如「New York」與「new york」與「ny」)、數(shù)據(jù)格式(「2015-03-26」、「03/26/2015」，「unix time」、「timestamps」等等)，必須勞心費(fèi)神梳理這些龐雜的數(shù)據(jù)。雖然這工作吃力不討好，但只要是數(shù)據(jù)科學(xué)家，大概都避免不了，而如果你是某家小公司的先遣數(shù)據(jù)科學(xué)家，或是在一家產(chǎn)品非與數(shù)據(jù)相關(guān)，但是數(shù)據(jù)卻扮演重要角色的公司里工作，清理數(shù)據(jù)的任務(wù)格外重要。

數(shù)據(jù)視覺化與溝通

把枯燥繁瑣的數(shù)據(jù)轉(zhuǎn)成圖像，以及向外界溝通的技能愈來愈重要，尤其是在年輕的公司制定由數(shù)據(jù)驅(qū)動的決策，或者協(xié)助其他組織進(jìn)行數(shù)據(jù)決策的公司?！笢贤ā苟值恼嬷B在於，面對技術(shù)人或一般人，你都能準(zhǔn)確的傳達(dá)研究發(fā)現(xiàn)，并能讓他們輕易理解。至於視覺化，如果可以熟悉 ggplot、d3.js 等軟體的運(yùn)用，會有很大的助益，當(dāng)然工具只是表象，能否參透數(shù)據(jù)視覺化的原則，才是最需費(fèi)心的地方。

軟件工程

如果你是公司數(shù)據(jù)科學(xué)團(tuán)隊(duì)的草創(chuàng)元老，擁有強(qiáng)悍的軟體工程背景十分重要，你會負(fù)責(zé)處理很多數(shù)據(jù)登錄(data logging)，也有可能需要參與開發(fā)以數(shù)據(jù)為本的產(chǎn)品。

像個數(shù)據(jù)科學(xué)家般思考

所謂數(shù)據(jù)科學(xué)家，就是你解決問題的方法奠基於數(shù)據(jù)數(shù)據(jù)。在面試過程中，主考官可能會出一些比較艱澀的問題，比如公司想要執(zhí)行的某個測試，或者計(jì)劃開發(fā)的數(shù)據(jù)產(chǎn)品。判斷事情的輕重緩急、作為數(shù)據(jù)科學(xué)家如何與工程師和產(chǎn)品經(jīng)理互動、知道該用什么方式解決問題，都是你該培養(yǎng)的能力。