大數(shù)據(jù)在美國 已完成從灰姑娘到公主的蛻變

大數(shù)據(jù)的老家在哪里？如果從血脈淵源來看，應(yīng)該在美國。麥肯錫的報(bào)告、自然雜志的?？?，以及Gartner、IBM專家的演說都證明了這一點(diǎn)。今天我們就來聊一聊她和她的家鄉(xiāng)。

    起初，她只是一位灰姑娘

    要想富先修路，美國從上世紀(jì)50年代開始修路，建起了全美的高速公路網(wǎng)。修路不是一件簡單的事情，要人要錢要技術(shù)，不過這也正好解決了就業(yè)、刺激了經(jīng)濟(jì)。路修好了又拉近了距離，人活了，貨活了，錢更活了，想去哪里去哪里。

    上世紀(jì)90年代，風(fēng)流倜儻的克林頓總統(tǒng)提出要將路修到互聯(lián)網(wǎng)去，隨后全美信息高速公路聲勢浩蕩地開建了。

    20年后，這條路修好了，路上承載了更多信息，文字、圖片、影音… 類型越來越多，數(shù)量也越來越大，不僅如此，以前一年產(chǎn)生的量，如今一個(gè)月就生成了。不知不覺中，有人開始頭疼如何處理他們，有人開始關(guān)注如何挖掘他們，于是，大數(shù)據(jù)這位灰姑娘進(jìn)入了人們的視野。

聯(lián)邦政府看上她

    這位灰姑娘的出現(xiàn)，引得越來越多人關(guān)注，終于有一天聯(lián)邦政府看上了她。2012年，奧巴馬政府正在籌劃修建另一條路，這條路隱于無形，聯(lián)系著萬事萬物，像神經(jīng)一樣重要卻不可見。那么這次修路的工具和材料哪里來呢，“眾里尋他千百度，驀然回首，那人卻在燈火欄珊處”，他們的這次相遇注定將被載入史冊。

    2012年3月，白宮發(fā)布了「大數(shù)據(jù)研究和發(fā)展倡議」（「Big Data Research and Development Initiative」），家里六個(gè)兄弟紛紛斥巨資同她合作，聽說加起來超過了2億美元。科學(xué)基金（NSF）、衛(wèi)生研究院（NIH）、能源部（DOE）、國防部（DOD）、國防部高級(jí)研究計(jì)劃局（DARPA）、地質(zhì)勘探局（USGS）這六個(gè)兄弟稟賦異常，與大數(shù)據(jù)聯(lián)合起來，簡直就是傳說中的葫蘆七兄妹。

    他們的項(xiàng)目列表涵蓋了科研教學(xué)、環(huán)境保護(hù)、工程技術(shù)、國土安全、生物醫(yī)藥好多領(lǐng)域，半年后，美國再次公布了一批研究項(xiàng)目。至此，美國大數(shù)據(jù)戰(zhàn)略2.0版閃亮登場。

    天使與惡魔只在一念間

    水能載舟亦能覆舟，如何面對(duì)大數(shù)據(jù)的超能力，聯(lián)邦政府開始糾結(jié)了。2014年5月，白宮發(fā)布了白皮書「大數(shù)據(jù)：抓住機(jī)遇，保存價(jià)值」（「Big data：seizing opportunities, preserving values」）

    “抓住機(jī)遇，保存價(jià)值”—原以為是保存大數(shù)據(jù)妹妹的價(jià)值，通篇讀完才知道這是美國人的思維，他們關(guān)注的是大數(shù)據(jù)的超能力對(duì)美國價(jià)值觀的沖擊。

    這一切源于奧巴馬對(duì)情報(bào)問題的關(guān)注。顧問團(tuán)隊(duì)90天后提交了兩份報(bào)告，一份是白皮書，另一份是「從技術(shù)角度看待大數(shù)據(jù)與隱私保護(hù)」。（「Big Data and Privacy: A Technological Perspective」）。這讓我想到此前去上海電力調(diào)研的收獲，上海電力信息部門統(tǒng)管科技項(xiàng)目和信息化項(xiàng)目，他們第一年通過科技項(xiàng)目做可行性研究，條件具備的話第二年再上信息化項(xiàng)目。這種臺(tái)面上一杯水臺(tái)下一桶水的做法還是靠譜的

    整份報(bào)告很糾結(jié)，也很讓人欣慰。

    也許我們沒有想過大數(shù)據(jù)可能帶來不平等—連鎖超市通過數(shù)據(jù)分析選擇在不同區(qū)域差異定價(jià)造成價(jià)格歧視，不使用智能手機(jī)人群在打車軟件面世后更難打車。

    也許我們沒有想過大數(shù)據(jù)可能帶來傷害–基因預(yù)測模型一旦出錯(cuò)則會(huì)誤傷一片。

    也許我們同樣沒有想過大數(shù)據(jù)可能對(duì)社會(huì)造成潛移默化的負(fù)面影響—過濾器泡泡正在孜孜不倦的構(gòu)筑意識(shí)形態(tài)和文化的隔離，使每個(gè)人都沉浸在自己感興趣的信息當(dāng)中，減少?zèng)_突體驗(yàn)。時(shí)間長了，人們對(duì)熟悉領(lǐng)域的愿望和期待增強(qiáng)了，卻慢慢忘記了那潛伏在暗夜的，未知爪牙。

    糾結(jié)完，接下來開始大干一場吧。

    兄妹同心 其利斷金

    大數(shù)據(jù)給美國政府裝上了動(dòng)力外骨骼。以紐約為例，那里設(shè)立了市長數(shù)據(jù)分析辦公室（MODA），通過數(shù)據(jù)分析來提升政府日常運(yùn)作水平、預(yù)防和處置緊急事件，MODA還和新企業(yè)加速服務(wù)團(tuán)隊(duì)（NBAT）合作，利用量化分析手段評(píng)估政府決策。市政府出臺(tái)一個(gè)政策，他們就數(shù)據(jù)分析這個(gè)政策效果如何，好的話就推廣不好的話就砍掉。

    大數(shù)據(jù)在美國的公共事業(yè)領(lǐng)域也大顯身手。美國教育和醫(yī)療的信息化一直都走在全球前列，有了大數(shù)據(jù)，他們可以更進(jìn)一步了。學(xué)校關(guān)注如何通過數(shù)據(jù)分析，來調(diào)整教學(xué)方法。衛(wèi)生研究院（NIH）、食品和藥物管理局（FDA）這些機(jī)構(gòu)一方面力推生物醫(yī)學(xué)數(shù)據(jù)共享重用，另一方面著手研發(fā)大數(shù)據(jù)醫(yī)療神器，包括流行病預(yù)測的、重大疾病早期診斷的，還有像大白這樣實(shí)時(shí)個(gè)性化服務(wù)的。能源部（DOE）資助建設(shè)大數(shù)據(jù)平臺(tái)，鼓勵(lì)公眾高效利用能源。波士頓市和麻省理工學(xué)院合作利用大數(shù)據(jù)提供城市交通解決方案。

    聯(lián)邦政府與大數(shù)據(jù)的這一次合作背后還有很多神秘人物默默支持，他們一方面通過特許協(xié)議、年度協(xié)議與政府保持聯(lián)系，另一方面以大咖身份投資最領(lǐng)先的大數(shù)據(jù)技術(shù)，In-Q-Tel（IQT）就是其中的一員，IQT投資了很多數(shù)據(jù)分析和數(shù)據(jù)管理的公司，而且主要進(jìn)行早期投資，盡管投資總額小于紅杉、英特爾等大佬，但是參與的大數(shù)據(jù)領(lǐng)域早期投資數(shù)量位居全美第三。

    腹有詩書氣質(zhì)華

    大數(shù)據(jù)在美國不是花瓶，她不僅天生麗質(zhì)，而且勤奮努力，技術(shù)功底是相當(dāng)?shù)脑鷮?shí)。

    美國是流行大數(shù)據(jù)計(jì)算框架的發(fā)源地。從Google說起，到Hadoop、Spark、Storm，這些框架都來自這里?；钴S的開源社區(qū)還匯集了全球大數(shù)據(jù)人才的頭腦。

    美國還有一批像51區(qū)那樣神秘的研究機(jī)構(gòu)，硅圖（SGI）是其中之一，誰也說不好這家公司目前正在發(fā)展怎樣的尖端超級(jí)計(jì)算能力。這些日常生活中鮮有接觸的重型裝備，在制造業(yè)、媒體、生命科學(xué)和地球科學(xué)這些數(shù)據(jù)密集型行業(yè)可是大有用處。

    美國高校也正孕育著一群科學(xué)小狂人兒。伊利諾伊大學(xué)在Grainger基金會(huì)的資助下正在發(fā)展一門大數(shù)據(jù)的工程學(xué)科，并且把它當(dāng)做其他跨學(xué)科創(chuàng)新活動(dòng)的秘密武器。紐約大學(xué)、伯克利和華盛頓大學(xué)在摩爾和斯隆基金會(huì)支持下也在小黃人兒的幫助下開展秘密研究活動(dòng)。

    阿凡達(dá)中的靈魂樹

    大數(shù)據(jù)已經(jīng)滲透到美國生產(chǎn)生活的方方面面。這一次的工業(yè)對(duì)決中，德國工業(yè)4.0企圖從工業(yè)滲透到互聯(lián)網(wǎng)，美國則要從互聯(lián)網(wǎng)滲透到工業(yè)。美國建設(shè)國家制造業(yè)創(chuàng)新網(wǎng)絡(luò)（NNMI），其背后的殺手锏想必就是大數(shù)據(jù)了。

    在零售領(lǐng)域，看看啤酒尿片經(jīng)典案例誕生地沃爾瑪?shù)氖召徝麊尉鸵呀?jīng)讓人驚嘆不已，Kosmix、SetDirection、OneRiot一大批數(shù)據(jù)分析和營銷應(yīng)用的初創(chuàng)企業(yè)都赫然出現(xiàn)在名單上。農(nóng)業(yè)方面，孟山都這類大型企業(yè)不用說了，就連家庭農(nóng)場主也都將大數(shù)據(jù)運(yùn)用得游刃有余，關(guān)鍵是還得到了豐厚的回報(bào)。

    IBM、Oracle那一幫大佬自然不會(huì)落后。IBM將大數(shù)據(jù)列為企業(yè)戰(zhàn)略目標(biāo)，將軟件、硬件、咨詢服務(wù)、研發(fā)各個(gè)領(lǐng)域的資源都整合起來，正在積蓄著發(fā)一個(gè)大招。甲骨文也強(qiáng)調(diào)垂直整合，早在2011年就推出了集成硬件、存儲(chǔ)和軟件的大數(shù)據(jù)機(jī)。微軟也推出了一體機(jī)和大數(shù)據(jù)產(chǎn)品，明確了普及計(jì)算和環(huán)境智能的發(fā)展戰(zhàn)略。英特爾推出Hadoop商業(yè)發(fā)行版，入股了很多公司。EMC也不斷加大并購和研發(fā)的投入。

    美國最大的亮點(diǎn)的應(yīng)該還是谷里風(fēng)起云涌的初創(chuàng)企業(yè)，像Cloudera、Hortonworks、MapR這些公司在Hadoop上深耕，Splunk把實(shí)時(shí)數(shù)據(jù)分析系統(tǒng)做得越來越強(qiáng)大，Databricks又稱為給力Spark，Pivotal提供了企業(yè)級(jí)大數(shù)據(jù)基礎(chǔ)平臺(tái)，Tableau的可視化萌萌噠，F(xiàn)latiron Health試圖利用大數(shù)據(jù)來治愈癌癥，人工智能公司Vicarious正在復(fù)制人類大腦皮層，還有像Palantir這種帥呆又神秘的大數(shù)據(jù)分析公司。

    我們對(duì)她的了解還是太少

    上面看起來熱鬧非凡的場景，放到20年后來看或許只是發(fā)動(dòng)汽車的揚(yáng)塵。她太神秘、太美麗、太強(qiáng)大，或許以相來求她是錯(cuò)的，或許她終究是無處不在的。