大數(shù)據(jù)時代 尋找數(shù)據(jù)科學(xué)家

數(shù)據(jù)科學(xué)家已供不應(yīng)求，這已經(jīng)不是什么秘密了。數(shù)據(jù)爆炸以及相應(yīng)的防爆工具，還有摩爾定律和梅特卡夫定律，他們的連鎖影響導(dǎo)致與以往相比有更多的數(shù)據(jù)、鏈接、以及技術(shù)需要處理。在去年的Hadoop世界中，掀起了一股培養(yǎng)數(shù)據(jù)科學(xué)家的狂潮，他們只能勉強滿足相形見絀以技術(shù)為導(dǎo)向的數(shù)據(jù)結(jié)構(gòu)師的需求。這意味著：

    1.潛在的MacArthur Grant受助人，他需要對數(shù)據(jù)、數(shù)學(xué)和統(tǒng)計學(xué)技能的有熱情和洞察力，它能夠明白運算法則，了解繪畫圖片的藝術(shù)性，并且明白所有數(shù)據(jù)的導(dǎo)向性。這就是數(shù)據(jù)科學(xué)家的意思。
    2.這些人可以了解大數(shù)據(jù)平臺的側(cè)面，也就是數(shù)據(jù)結(jié)構(gòu)師或者數(shù)據(jù)工程師。
    數(shù)據(jù)結(jié)構(gòu)師將會是更加直面困難的一方。了解大型的數(shù)據(jù)平臺（Hadoop, MongoDB, Riak）和新興的高級SQL產(chǎn)品（Exadata, Netezza, Greenplum, Vertica, 以及最近崛起的一項技術(shù)，比如說Calpont），這是一項技術(shù)技能，可以通過明確的課程來進行教授。供給和需求的法則將會解決這一問題——就像早在1999年泡沫創(chuàng)造了對Java程序員的需求一樣。
    在所有需要Hadoop程序員的呼聲背后，還有一個類似的，但是非常安靜的，人們爭先恐后的急于招聘數(shù)據(jù)科學(xué)家的趨勢。就像一些數(shù)據(jù)科學(xué)家稱數(shù)據(jù)科學(xué)家是一個流行語一樣，這種需求是真實存在的。[page]    然而，數(shù)據(jù)科學(xué)將會有很多的困難需要克服。這所有的一切都是與連接點相關(guān)的，并不像聽起來那么容易。大數(shù)據(jù)的V——容量，品種，速度和價值——都需要某些人根據(jù)對數(shù)據(jù)的洞察力而有所發(fā)現(xiàn)；傳統(tǒng)上，該角色是由數(shù)據(jù)開發(fā)人員來完成的。但數(shù)據(jù)開發(fā)人員只能處理好有限的問題，以及有界（已知）的數(shù)據(jù)集，這使問題更加二維化。
    各種各樣的大數(shù)據(jù)——在形式和來源上引進了一種未知的元素。大數(shù)據(jù)的解讀需要進行精明的調(diào)查、溝通技巧、創(chuàng)意/藝術(shù)，并且還要有對數(shù)字非常直覺的思考能力。并且不要忘記這一切都要建立在堅實的統(tǒng)計和機器學(xué)習(xí)背景，加上對工具和貿(mào)易編程語言的技術(shù)知識的基礎(chǔ)之上。
    有時好像我們正在尋找愛因斯坦或某些智者。
    自然界討厭真空
    正像自然界討厭真空一樣，現(xiàn)在人們不但急于定義什么樣的人是數(shù)據(jù)科學(xué)家，而且也都在考慮開發(fā)出一些程序，通過這些程序來進行教學(xué)，通過軟件包在某些程度上將這些信息包含在里面，否則就將它們?nèi)拥狡渌牡胤?。EMC和其他廠商正在加緊開發(fā)板塊來提供培訓(xùn)，不僅僅是在平臺上，還要針對數(shù)據(jù)科學(xué)。kaggle提供一種創(chuàng)新性的基于云的，眾包方式的數(shù)據(jù)科學(xué)，提供了預(yù)測性的建模平臺，然后再分段發(fā)起24小時的比賽，用于潛在培養(yǎng)數(shù)據(jù)科學(xué)家制定針對特殊問題的最佳的解決方案（這使人聯(lián)想到Netflix的100萬美元的獎金制度，設(shè)計出一個更聰明的算法來預(yù)測觀眾的口味）。
    隨著數(shù)據(jù)科學(xué)的人才奇缺，我們期望顧問公司購買更多的人才，然后可以“租”給多個客戶端。除了少數(shù)的國外公司之外，很少有系統(tǒng)集成商（SI）已經(jīng)加緊推出板塊，正式推出大數(shù)據(jù)實踐（邏輯數(shù)據(jù)科學(xué)家將駐留的地方），但我們期望這種情況會很快改變。[page]    Opera的解決方案，自2004年以來，它已經(jīng)參與到了預(yù)測性分析咨詢的比賽中來，這一方案下一步采用的是下行的包裝路線。去年在系列A中增加了8400萬美元的資金，該公司已配備了近200個數(shù)據(jù)科學(xué)家，在谷歌的這一邊成為了最大的天才組合之一。Opera的預(yù)測分析解決方案是專為各種不同的平臺設(shè)計的，SQL和Hadoop，今天他們加入了SAP Sapphire的宣布潮流中，同時發(fā)布了他們對HANA內(nèi)存數(shù)據(jù)庫的報價。安德魯？布魯斯特對本公告的細節(jié)進行了很好的深入分析。
    從SAP的角度來看，Opera的預(yù)測分析解決方案在邏輯上是合適HANA的，因為它們涉及到各種復(fù)雜問題（例如，一個計算觸發(fā)其他計算），其新的內(nèi)存中的數(shù)據(jù)庫平臺是專門為其設(shè)計的。
    期望Opera繼續(xù)保持作為唯一的大型聚集數(shù)據(jù)科學(xué)家的公司，這些科學(xué)家可供其他的公司租用，這種期望對于Opera公司來說，具有非常大的價值。但具有諷刺意味的是，市場進入壁壘將會使競爭的空間一直非常狹窄并且高度集中。當然，隨著市場需求的增加，將不可避免地出現(xiàn)對數(shù)據(jù)科學(xué)家定義的下行態(tài)勢，這樣越來越多的公司就可以聲稱他們已經(jīng)得到了一個或許多的數(shù)據(jù)科學(xué)家。
    供給和需求的法則將在數(shù)據(jù)科學(xué)家方面出現(xiàn)偏差，但供給的上升速度不會像更加注重平臺的數(shù)據(jù)建筑師或工程師一樣迅速。不可避免的，數(shù)據(jù)科學(xué)家的供應(yīng)將會受到軟件的加強，軟件可以自動的解釋機器學(xué)習(xí)的內(nèi)容，但是軟件的功能只能僅止于此，你可以在機器上編制具有創(chuàng)造力和反直覺洞察力的程序。