我們無須更多的數(shù)據(jù)科學(xué)家 只須降低大數(shù)據(jù)使用門檻

這個國家急缺數(shù)據(jù)科學(xué)家”，目前幾乎所有關(guān)于大數(shù)據(jù)的文章都提出了這么一種觀點(diǎn)。廣受熱議的McKinsey公司2011年度調(diào)查指出許多機(jī)構(gòu)即缺少對大數(shù)據(jù)有深刻洞見和理解的人，也沒有運(yùn)用大數(shù)據(jù)來做出明智決斷并執(zhí)行的動力。

然而在這些討論中有些東西似乎被忽視了，那就是如何打破瓶頸進(jìn)而使得大數(shù)據(jù)能夠直接為企業(yè)家們所用。我們曾經(jīng)在軟件工業(yè)中做到過這一點(diǎn)，我們能夠再次做到。

為了達(dá)成這個目標(biāo)，透徹理解數(shù)據(jù)科學(xué)家在大數(shù)據(jù)中所扮演的角色是很重要的。目前，大數(shù)據(jù)是一個熔爐，分發(fā)著數(shù)據(jù)結(jié)構(gòu)以及類似Hadoop、NoSQL、Hive以及R這樣的工具。在這個技術(shù)含量非常高的環(huán)境中，數(shù)據(jù)科學(xué)家的工作就像是系統(tǒng)與那些來自不同領(lǐng)域?qū)＜抑g的門衛(wèi)與調(diào)解人。

雖然有點(diǎn)難以概括，但基本上數(shù)據(jù)科學(xué)家發(fā)揮著三種作用：數(shù)據(jù)架構(gòu)、機(jī)器學(xué)習(xí)以及數(shù)據(jù)分析。雖然這些職責(zé)很重要，但事實(shí)上不是每個公司都需要一個像Google或者Facebook有的那種高度專業(yè)的數(shù)據(jù)團(tuán)隊(duì)。關(guān)于創(chuàng)造符合目標(biāo)產(chǎn)品以及剔除技術(shù)復(fù)雜性的解決方案可以使大數(shù)據(jù)為商家所用。

隨便舉個例子，想想發(fā)生在世紀(jì)之交的網(wǎng)絡(luò)內(nèi)容管理革命吧。網(wǎng)站成了一時的時尚，但是各領(lǐng)域?qū)＜覀儏s遭遇了源源不斷的麻煩，因此我們有了一個瓶頸。所有網(wǎng)站上新的內(nèi)容都需要IT編輯去編排內(nèi)容甚至硬編碼。那最后又是怎么解決的呢？我們把網(wǎng)絡(luò)內(nèi)容管理系統(tǒng)中所需要的核心內(nèi)容概括并提取出來，然后把它們做成不懂技術(shù)的人也會用的模式。

讓我們以電子商務(wù)為背景，稍微深挖掘一下現(xiàn)今的數(shù)據(jù)科學(xué)家所扮演的角色吧。

用數(shù)據(jù)架構(gòu)降低復(fù)雜性

縮小范圍是降低復(fù)雜性的關(guān)鍵。幾乎所有的電子商務(wù)業(yè)務(wù)都對獲取用戶行為感興趣——預(yù)約、購買、線下交易以及社交數(shù)據(jù)，幾乎以上每一項(xiàng)都有目錄及客戶檔案。

對這些基本功能限制范圍可以使我們創(chuàng)建標(biāo)準(zhǔn)數(shù)據(jù)錄入的模板，使得數(shù)據(jù)獲取及連通更為簡單。我們也需要找到打包不同數(shù)據(jù)結(jié)構(gòu)與工具（現(xiàn)今包括Hadoop、Hbase、Hive、Pig、Cassandra and Mahout）的有意義的方法。這些數(shù)據(jù)包必須要符合目標(biāo)要求，歸結(jié)起來就是80/20法則：80%的大數(shù)據(jù)使用方法（所有電商業(yè)務(wù)需要的全部），可以用20%的努力和技術(shù)實(shí)現(xiàn)。

巧用機(jī)器學(xué)習(xí)

在機(jī)器學(xué)習(xí)上我們當(dāng)然需要數(shù)據(jù)科學(xué)家，對嗎？好吧，如果你有非常個性化的需求的話，或許對吧。但大部分需要用到大數(shù)據(jù)的標(biāo)準(zhǔn)需求，比如推薦引擎及個性化系統(tǒng)，都可以被提取出來。舉例來說，數(shù)據(jù)科學(xué)家工作的一大塊內(nèi)容是制作“特征”，這是在數(shù)據(jù)錄入里面使得機(jī)器學(xué)習(xí)更有效率的一種東西。我們想一下，所有的數(shù)據(jù)科學(xué)家都要把數(shù)據(jù)塞進(jìn)機(jī)器并啟動它們，那事實(shí)就是機(jī)器需要人們幫它們指出正確看待世界的方式。

然而，在每一個領(lǐng)域基礎(chǔ)上的特征創(chuàng)建都是可以被模板化的。例如每個商務(wù)網(wǎng)站都有購買流以及用戶分割這些概念。如果各領(lǐng)域?qū)＜覀兛梢灾苯影阉麄冊诟髯灶I(lǐng)域的想法和理念直接編碼到系統(tǒng)里呢，是不是就可以避開作為中間人及翻譯的科學(xué)家們了呢？

借用數(shù)據(jù)分析工具

從數(shù)據(jù)中自動提取那些最有價值的信息從來都是不容易的。然而，有一些獲取特定領(lǐng)域觀點(diǎn)的辦法可以使商家們更像一個數(shù)據(jù)科學(xué)家去行動。這似乎是最容易解決的一個問題，因?yàn)槭忻嫔弦呀?jīng)有了各種領(lǐng)域的分析產(chǎn)品。

但這些產(chǎn)品目前對各領(lǐng)域?qū)＜覀儊碚f還是限制太多門檻太高。絕對還需要一個更加友好的界面。我們也需要將機(jī)器如何通過分析結(jié)果學(xué)習(xí)放入考慮的范疇。這是非常關(guān)鍵的一個反饋系統(tǒng)，商家們希望把修正放進(jìn)這個系統(tǒng)中。這也是另一個可能提供模板化界面的地方。

就像我們在內(nèi)容管理系統(tǒng)中學(xué)到的那樣，這些方法不能夠在任何時間解決任何問題。但將這些技術(shù)型解決方案運(yùn)用在一系列更廣泛的數(shù)據(jù)問題上將會減輕數(shù)據(jù)科學(xué)家們遭遇的瓶頸。當(dāng)各行業(yè)專家能直接用機(jī)器學(xué)習(xí)系統(tǒng)工作時，我們可能就進(jìn)入了一個能夠相互學(xué)習(xí)的嶄新的大數(shù)據(jù)時代?；蛟S到那時候大數(shù)據(jù)能解決的問題才會多于它所引起的問題。