大數(shù)據(jù)時(shí)代 尋找數(shù)據(jù)科學(xué)家

數(shù)據(jù)科學(xué)家已供不應(yīng)求，這已經(jīng)不是什么秘密了。數(shù)據(jù)爆炸以及相應(yīng)的防爆工具，還有摩爾定律和梅特卡夫定律，他們的連鎖影響導(dǎo)致與以往相比有更多的數(shù)據(jù)、鏈接、以及技術(shù)需要處理。在去年的Hadoop世界中，掀起了一股培養(yǎng)數(shù)據(jù)科學(xué)家的狂潮，他們只能勉強(qiáng)滿足相形見絀以技術(shù)為導(dǎo)向的數(shù)據(jù)結(jié)構(gòu)師的需求。這意味著：

    1.潛在的MacArthur Grant受助人，他需要對(duì)數(shù)據(jù)、數(shù)學(xué)和統(tǒng)計(jì)學(xué)技能的有熱情和洞察力，它能夠明白運(yùn)算法則，了解繪畫圖片的藝術(shù)性，并且明白所有數(shù)據(jù)的導(dǎo)向性。這就是數(shù)據(jù)科學(xué)家的意思。
    2.這些人可以了解大數(shù)據(jù)平臺(tái)的側(cè)面，也就是數(shù)據(jù)結(jié)構(gòu)師或者數(shù)據(jù)工程師。
    數(shù)據(jù)結(jié)構(gòu)師將會(huì)是更加直面困難的一方。了解大型的數(shù)據(jù)平臺(tái)（Hadoop, MongoDB, Riak）和新興的高級(jí)SQL產(chǎn)品（Exadata, Netezza, Greenplum, Vertica, 以及最近崛起的一項(xiàng)技術(shù)，比如說Calpont），這是一項(xiàng)技術(shù)技能，可以通過明確的課程來進(jìn)行教授。供給和需求的法則將會(huì)解決這一問題——就像早在1999年泡沫創(chuàng)造了對(duì)Java程序員的需求一樣。
    在所有需要Hadoop程序員的呼聲背后，還有一個(gè)類似的，但是非常安靜的，人們爭(zhēng)先恐后的急于招聘數(shù)據(jù)科學(xué)家的趨勢(shì)。就像一些數(shù)據(jù)科學(xué)家稱數(shù)據(jù)科學(xué)家是一個(gè)流行語一樣，這種需求是真實(shí)存在的。[page]    然而，數(shù)據(jù)科學(xué)將會(huì)有很多的困難需要克服。這所有的一切都是與連接點(diǎn)相關(guān)的，并不像聽起來那么容易。大數(shù)據(jù)的V——容量，品種，速度和價(jià)值——都需要某些人根據(jù)對(duì)數(shù)據(jù)的洞察力而有所發(fā)現(xiàn)；傳統(tǒng)上，該角色是由數(shù)據(jù)開發(fā)人員來完成的。但數(shù)據(jù)開發(fā)人員只能處理好有限的問題，以及有界（已知）的數(shù)據(jù)集，這使問題更加二維化。
    各種各樣的大數(shù)據(jù)——在形式和來源上引進(jìn)了一種未知的元素。大數(shù)據(jù)的解讀需要進(jìn)行精明的調(diào)查、溝通技巧、創(chuàng)意/藝術(shù)，并且還要有對(duì)數(shù)字非常直覺的思考能力。并且不要忘記這一切都要建立在堅(jiān)實(shí)的統(tǒng)計(jì)和機(jī)器學(xué)習(xí)背景，加上對(duì)工具和貿(mào)易編程語言的技術(shù)知識(shí)的基礎(chǔ)之上。
    有時(shí)好像我們正在尋找愛因斯坦或某些智者。
    自然界討厭真空
    正像自然界討厭真空一樣，現(xiàn)在人們不但急于定義什么樣的人是數(shù)據(jù)科學(xué)家，而且也都在考慮開發(fā)出一些程序，通過這些程序來進(jìn)行教學(xué)，通過軟件包在某些程度上將這些信息包含在里面，否則就將它們?nèi)拥狡渌牡胤?。EMC和其他廠商正在加緊開發(fā)板塊來提供培訓(xùn)，不僅僅是在平臺(tái)上，還要針對(duì)數(shù)據(jù)科學(xué)。kaggle提供一種創(chuàng)新性的基于云的，眾包方式的數(shù)據(jù)科學(xué)，提供了預(yù)測(cè)性的建模平臺(tái)，然后再分段發(fā)起24小時(shí)的比賽，用于潛在培養(yǎng)數(shù)據(jù)科學(xué)家制定針對(duì)特殊問題的最佳的解決方案（這使人聯(lián)想到Netflix的100萬美元的獎(jiǎng)金制度，設(shè)計(jì)出一個(gè)更聰明的算法來預(yù)測(cè)觀眾的口味）。
    隨著數(shù)據(jù)科學(xué)的人才奇缺，我們期望顧問公司購買更多的人才，然后可以“租”給多個(gè)客戶端。除了少數(shù)的國外公司之外，很少有系統(tǒng)集成商（SI）已經(jīng)加緊推出板塊，正式推出大數(shù)據(jù)實(shí)踐（邏輯數(shù)據(jù)科學(xué)家將駐留的地方），但我們期望這種情況會(huì)很快改變。[page]    Opera的解決方案，自2004年以來，它已經(jīng)參與到了預(yù)測(cè)性分析咨詢的比賽中來，這一方案下一步采用的是下行的包裝路線。去年在系列A中增加了8400萬美元的資金，該公司已配備了近200個(gè)數(shù)據(jù)科學(xué)家，在谷歌的這一邊成為了最大的天才組合之一。Opera的預(yù)測(cè)分析解決方案是專為各種不同的平臺(tái)設(shè)計(jì)的，SQL和Hadoop，今天他們加入了SAP Sapphire的宣布潮流中，同時(shí)發(fā)布了他們對(duì)HANA內(nèi)存數(shù)據(jù)庫的報(bào)價(jià)。安德魯？布魯斯特對(duì)本公告的細(xì)節(jié)進(jìn)行了很好的深入分析。
    從SAP的角度來看，Opera的預(yù)測(cè)分析解決方案在邏輯上是合適HANA的，因?yàn)樗鼈兩婕暗礁鞣N復(fù)雜問題（例如，一個(gè)計(jì)算觸發(fā)其他計(jì)算），其新的內(nèi)存中的數(shù)據(jù)庫平臺(tái)是專門為其設(shè)計(jì)的。
    期望Opera繼續(xù)保持作為唯一的大型聚集數(shù)據(jù)科學(xué)家的公司，這些科學(xué)家可供其他的公司租用，這種期望對(duì)于Opera公司來說，具有非常大的價(jià)值。但具有諷刺意味的是，市場(chǎng)進(jìn)入壁壘將會(huì)使競(jìng)爭(zhēng)的空間一直非常狹窄并且高度集中。當(dāng)然，隨著市場(chǎng)需求的增加，將不可避免地出現(xiàn)對(duì)數(shù)據(jù)科學(xué)家定義的下行態(tài)勢(shì)，這樣越來越多的公司就可以聲稱他們已經(jīng)得到了一個(gè)或許多的數(shù)據(jù)科學(xué)家。
    供給和需求的法則將在數(shù)據(jù)科學(xué)家方面出現(xiàn)偏差，但供給的上升速度不會(huì)像更加注重平臺(tái)的數(shù)據(jù)建筑師或工程師一樣迅速。不可避免的，數(shù)據(jù)科學(xué)家的供應(yīng)將會(huì)受到軟件的加強(qiáng)，軟件可以自動(dòng)的解釋機(jī)器學(xué)習(xí)的內(nèi)容，但是軟件的功能只能僅止于此，你可以在機(jī)器上編制具有創(chuàng)造力和反直覺洞察力的程序。