2005 年 6 月至 2007 年 12 月海洋表面洋流示意圖。數(shù)據(jù)源：海面高度數(shù)據(jù)來(lái)自美國(guó)航空航天局

　　(NASA)的 Topex/Poseidon 衛(wèi)星、Jason-1 衛(wèi)星，以及海形圖任務(wù)/Jason-2 衛(wèi)星測(cè)高儀;重力數(shù)據(jù)來(lái)自 NASA/德國(guó)航空航天中心的重力恢復(fù)及氣候?qū)嶒?yàn)任務(wù);表面風(fēng)壓數(shù)據(jù)來(lái)自 NASA 的 QuikScat 任務(wù);海平面溫度數(shù)據(jù)來(lái)自 NASA/日本宇宙航空研究開(kāi)發(fā)機(jī)構(gòu)的先進(jìn)微波掃描輻射計(jì)——地球觀測(cè)系統(tǒng);海冰濃度和速度數(shù)據(jù)來(lái)自被動(dòng)微波輻射計(jì);溫度和咸度分布來(lái)自船載、系泊式測(cè)量?jī)x器，以及國(guó)際 Argo 海洋觀測(cè)系統(tǒng)。

　　這幅 2005 年 6 月至 2007 年 12 月海洋表面洋流的示意圖集成了帶有數(shù)值模型的衛(wèi)星數(shù)據(jù)。漩渦和窄洋流在海洋中傳送熱量和碳。海洋環(huán)流和氣候評(píng)估項(xiàng)目提供了所有深度的洋流，但這里僅僅使用了表層洋流。這些示意圖用來(lái)測(cè)量海洋在全球碳循環(huán)中的作用，并監(jiān)測(cè)地球系統(tǒng)的不同部分內(nèi)部及之間的熱量、水和化學(xué)交換。

　　在醫(yī)學(xué)領(lǐng)域，2003 年算是大數(shù)據(jù)涌現(xiàn)過(guò)程中的一個(gè)里程碑。那一年第一例人類基因組完成了測(cè)序。那次突破性的進(jìn)展之后，數(shù)以千計(jì)人類、靈長(zhǎng)類、老鼠和細(xì)菌的基因組擴(kuò)充著人們所掌握的數(shù)據(jù)。每個(gè)基因組上有幾十億個(gè)“字母”，計(jì)算時(shí)出現(xiàn)紕漏的危險(xiǎn)，催生了生物信息學(xué)。這一學(xué)科借助軟件、硬件以及復(fù)雜算法之力，支撐著新的科學(xué)類型。

　　精神障礙通常是具體病例具體分析，但是一項(xiàng)對(duì) 150 萬(wàn)名病人病例的研究表明，相當(dāng)多的病人患有超過(guò)同一種疾病。芝加哥大學(xué)的西爾維奧·康特中心利用數(shù)據(jù)挖掘理解神經(jīng)精神障礙的成因以及之間的關(guān)系?！昂脦讉€(gè)(研究)團(tuán)隊(duì)都在致力于這個(gè)問(wèn)題的解決?！敝行闹魅伟驳铝摇げ袼够?Andrey Rzhetsky)說(shuō)，“我們正試圖把它們?nèi)考{入模型，統(tǒng)一分析那些數(shù)據(jù)類型……尋找可能的環(huán)境因素?！?/span>

　　另一例生物信息學(xué)的應(yīng)用來(lái)自美國(guó)國(guó)家癌癥研究所。該所的蘇珊·霍爾貝克(Susan Holbeck)在 60 種細(xì)胞系上測(cè)試了 5000 對(duì)美國(guó)食品和藥品管理局批準(zhǔn)的抗癌藥品。經(jīng)過(guò) 30 萬(wàn)次試驗(yàn)之后，霍爾貝克說(shuō)：“我們知道每種細(xì)胞系里面每一條基因的 RNA 表達(dá)水平。我們掌握了序列數(shù)據(jù)、蛋白質(zhì)數(shù)據(jù)，以及微觀 RNA 表達(dá)的數(shù)據(jù)。我們可以取用所有這些數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，看一看為什么一種細(xì)胞系對(duì)混合藥劑有良好的反應(yīng)，而另一種沒(méi)有。我們可以抽取一對(duì)觀察結(jié)果，開(kāi)發(fā)出合適的靶向藥品，并在臨床測(cè)試?！?/span>

互聯(lián)網(wǎng)上的火眼金睛

　　當(dāng)醫(yī)學(xué)家忙于應(yīng)對(duì)癌癥、細(xì)菌和病毒之時(shí)，互聯(lián)網(wǎng)上的政治言論已呈燎原之勢(shì)。整個(gè)推特圈上每天要出現(xiàn)超過(guò)5億條推文，其政治影響力與日俱增，使廉潔政府團(tuán)體面臨著數(shù)據(jù)挖掘技術(shù)帶來(lái)的巨大挑戰(zhàn)。

　　印第安納大學(xué) Truthy（意：可信）項(xiàng)目的目標(biāo)是從這種每日的信息泛濫中發(fā)掘出深層意義，博士后研究員埃米利奧·費(fèi)拉拉（Emilio Ferrara）說(shuō)?！癟ruthy 是一種能讓研究者研究推特上信息擴(kuò)散的工具。通過(guò)識(shí)別關(guān)鍵詞以及追蹤在線用戶的活動(dòng)，我們研究正在進(jìn)行的討論?！?/span>

　　Truthy 是由印第安納研究者菲爾·孟澤（Fil Menczer）和亞力桑德羅·弗拉米尼（Alessandro Flammini）開(kāi)發(fā)的。每一天，該項(xiàng)目的計(jì)算機(jī)過(guò)濾多達(dá) 5 千萬(wàn)條推文，試圖找出其中蘊(yùn)含的模式。


　　大數(shù)據(jù)盯著“#bigdata”（意為大數(shù)據(jù)）。這些是在推特上發(fā)布過(guò)“bigdata”的用戶之間的連接，用戶圖標(biāo)的尺寸代表了其粉絲數(shù)多寡。藍(lán)線表示一次回復(fù)或者提及，綠線表示一個(gè)用戶是另一個(gè)的粉絲。

　　一個(gè)主要的興趣點(diǎn)是“水軍”，費(fèi)拉拉說(shuō)：協(xié)調(diào)一致的造勢(shì)運(yùn)動(dòng)本應(yīng)來(lái)自草根階層，但實(shí)際上是由“熱衷傳播虛假信息的個(gè)人和組織”發(fā)起的。

　　2012年美國(guó)大選期間，一系列推文聲稱共和黨總統(tǒng)候選人米特·羅姆尼（Mitt Romney）在臉譜網(wǎng)上獲得了可疑的大批粉絲。“調(diào)查者發(fā)現(xiàn)共和黨人和民主黨人皆與此事無(wú)關(guān)?！辟M(fèi)拉拉說(shuō)，“幕后另有主使。這是一次旨在令人們相信羅姆尼在買粉從而抹黑他的造勢(shì)運(yùn)動(dòng)?！?/span>

　　水軍的造勢(shì)運(yùn)動(dòng)通常很有特點(diǎn)，費(fèi)拉拉說(shuō)。“要想發(fā)起一場(chǎng)大規(guī)模的抹黑運(yùn)動(dòng)，你需要很多推特賬號(hào)，”包括由程序自動(dòng)運(yùn)行、反復(fù)發(fā)布選定信息的假賬號(hào)?！拔覀兺ㄟ^(guò)分析推文的特征，能夠辨別出這種自動(dòng)行為?！?/span>

　　推文的數(shù)量年復(fù)一年地倍增，有什么能夠保證線上政治的透明呢？“我們這個(gè)項(xiàng)目的目的是讓技術(shù)掌握一點(diǎn)這樣的信息?！辟M(fèi)拉拉說(shuō)，“找到一切是不可能的，但哪怕我們能夠發(fā)現(xiàn)一點(diǎn)，也比沒(méi)有強(qiáng)?！?/span>

頭腦里的大數(shù)據(jù)

　　人腦是終極的計(jì)算機(jī)器，也是終極的大數(shù)據(jù)困境，因?yàn)樵讵?dú)立的神經(jīng)元之間有無(wú)數(shù)可能的連接。人類連接組項(xiàng)目是一項(xiàng)雄心勃勃地試圖繪制出不同腦區(qū)之間相互作用的計(jì)劃。

　　除了連接組，還有很多充滿數(shù)據(jù)的“組”：

    基因組：由 DNA 編碼的，或者由 RNA 編碼的（比如病毒）——全部基因信息
    轉(zhuǎn)錄組：由一個(gè)有機(jī)體的 DNA 產(chǎn)生的全套 RNA“讀數(shù)”
    蛋白質(zhì)組：所有可以用基因表達(dá)的蛋白質(zhì)
    代謝組：一個(gè)有機(jī)體新陳代謝過(guò)程中的所有小分子，包括中間產(chǎn)物和最終產(chǎn)物

　　連接組項(xiàng)目的目標(biāo)是“從1,200 位神經(jīng)健康的人身上收集先進(jìn)的神經(jīng)影像數(shù)據(jù)，以及認(rèn)知、行為和人口數(shù)據(jù)”，圣路易斯市華盛頓大學(xué)的連接組項(xiàng)目辦事處的信息學(xué)主任丹尼爾·馬庫(kù)斯（Daniel Marcus）說(shuō)。

　　項(xiàng)目使用三種磁共振造影觀察腦的結(jié)構(gòu)、功能和連接。根據(jù)馬庫(kù)斯的預(yù)期，兩年之后數(shù)據(jù)收集工作完成之時(shí)，連接組研究人員將埋首于大約 100 萬(wàn)G數(shù)據(jù)。

　　20名健康人類受試者處于休息狀態(tài)下接受核磁共振掃描，得到的大腦皮層不同區(qū)域間新陳代謝活動(dòng)的關(guān)聯(lián)關(guān)系，并用不同的顏色表現(xiàn)出來(lái)。黃色和紅色區(qū)域在功能上與右半腦頂葉中的“種子”位置（右上角黃斑）相關(guān)。綠色和藍(lán)色區(qū)域則與之關(guān)聯(lián)較弱或者根本沒(méi)有關(guān)聯(lián)。

　　繪制腦區(qū)分布圖的“分區(qū)”是一項(xiàng)關(guān)鍵的任務(wù)，這些腦區(qū)最早于兩到三世紀(jì)之前通過(guò)對(duì)少量大腦染色被識(shí)別出來(lái)?！拔覀儗碛?,200 個(gè)人的數(shù)據(jù)，”馬庫(kù)斯說(shuō)，“因此我們可以觀察個(gè)人之間腦區(qū)分布的差別，以及腦區(qū)之間是如何關(guān)聯(lián)的?！?/span>

　　為了識(shí)別腦區(qū)之間的連接，馬庫(kù)斯說(shuō)，“我們?cè)谑茉囌咝菹r(shí)獲取的掃描圖中，觀察腦中的自發(fā)活動(dòng)在不同區(qū)域之間有何關(guān)聯(lián)。”比如，如果區(qū)域A和區(qū)域B自發(fā)地以每秒 18 個(gè)周期的頻率產(chǎn)生腦波，“這就說(shuō)明它們處于同一網(wǎng)絡(luò)中。”馬庫(kù)斯說(shuō)。“我們將利用整個(gè)大腦中的這些關(guān)聯(lián)數(shù)據(jù)創(chuàng)建一個(gè)表現(xiàn)出腦中的每一個(gè)點(diǎn)如何與其他每一個(gè)點(diǎn)關(guān)聯(lián)的矩陣。”（這些點(diǎn)將比磁共振成像無(wú)法“看到”的細(xì)胞大得多。）

星系動(dòng)物園：把天空轉(zhuǎn)包給大眾

　　星系動(dòng)物園項(xiàng)目打破了大數(shù)據(jù)的規(guī)矩：它沒(méi)有對(duì)數(shù)據(jù)進(jìn)行大規(guī)模的計(jì)算機(jī)數(shù)據(jù)挖掘，而是把圖像交給活躍的志愿者，由他們對(duì)星系做基礎(chǔ)性的分類。該項(xiàng)目 2007 年啟動(dòng)于英國(guó)牛津，當(dāng)時(shí)天文學(xué)家凱文·沙文斯基（Kevin Schawinski）剛剛蹬著眼睛瞧完了斯隆數(shù)字巡天計(jì)劃拍攝的 5 萬(wàn)張圖片。

　　阿拉巴馬大學(xué)天文學(xué)教授、星系動(dòng)物園科學(xué)團(tuán)隊(duì)成員威廉·基爾（William Keel）說(shuō)，沙文斯基的導(dǎo)師建議他完成 95 萬(wàn)張圖像?！八难劬鄣每煲舫鲅鄹C了，便去了一家酒館。他在那里遇到了克里斯·林托特（Chris Lintott）。兩人以經(jīng)典的方式，在一張餐巾的背面畫(huà)出了星系動(dòng)物園的網(wǎng)絡(luò)結(jié)構(gòu)。”

　　星系是一個(gè)經(jīng)典的大數(shù)據(jù)問(wèn)題：一臺(tái)最先進(jìn)的望遠(yuǎn)鏡掃描整個(gè)天空，可能會(huì)看到 2000 億個(gè)這樣的恒星世界。然而，“一系列與宇宙學(xué)和星系統(tǒng)計(jì)學(xué)相關(guān)的問(wèn)題可以通過(guò)讓許多人做相當(dāng)簡(jiǎn)單的分類工作得以解決?！被鶢栒f(shuō)，“五分鐘的輔導(dǎo)過(guò)后，分類便是一項(xiàng)瑣碎的工作，直到今日也并不適合以算法實(shí)現(xiàn)?！?/span>

　　星系動(dòng)物園的啟動(dòng)相當(dāng)成功，用戶流量讓一臺(tái)服務(wù)器癱瘓了，基爾說(shuō)。

　　斯隆巡天的全部 95 萬(wàn)張圖片平均每張被看過(guò) 60 次之后，動(dòng)物園的管理者們轉(zhuǎn)向了更大規(guī)模的巡天數(shù)據(jù)。科學(xué)受益匪淺，基爾說(shuō)?！拔业暮芏嘀匾晒紒?lái)自人們發(fā)現(xiàn)的奇怪物體，”包括背光星系。

　　這是星系動(dòng)物園志愿者們發(fā)現(xiàn)的差不多 2000 個(gè)背光星系之一。它被其后方的另一個(gè)星系照亮。來(lái)自背后的光令前景星系中的塵埃清晰可辨。星際塵埃在恒星的形成中扮演了關(guān)鍵的角色，但它本身也是由恒星制造的，因此檢測(cè)其數(shù)量和位置對(duì)于了解星系的歷史至關(guān)重要。

　　星系動(dòng)物園依賴統(tǒng)計(jì)學(xué)、眾多觀察者以及處理、檢查數(shù)據(jù)的邏輯。假如觀察某個(gè)特定星系的人增加時(shí)，而認(rèn)為它是橢圓星系的人數(shù)比例保持不變，這個(gè)星系就不必再被觀察了。

　　然而，對(duì)一些稀有的物體，基爾說(shuō)，“你可能需要 40 至 50 名觀察者?！?/span>

　　大眾科學(xué)正在發(fā)展自己的法則，基爾補(bǔ)充道。志愿者們的工作“已經(jīng)對(duì)一個(gè)真實(shí)存在的重大問(wèn)題做出了貢獻(xiàn)，是現(xiàn)存的任何軟件都無(wú)法實(shí)現(xiàn)的。鼠標(biāo)的點(diǎn)擊不該被浪費(fèi)?！?/span>

　　這種動(dòng)物園方法在 zooniverse.org 網(wǎng)站上得到了復(fù)制和優(yōu)化。這是一個(gè)運(yùn)行著大約 20 項(xiàng)目的機(jī)構(gòu)，這些項(xiàng)目的處理對(duì)象包括熱帶氣旋、火星表面和船只航行日志上的氣象數(shù)據(jù)。

　　最終，軟件可能會(huì)取代志愿者，基爾說(shuō)。但是計(jì)算機(jī)和人類之間的界線是可互換的。比如說(shuō)超新星動(dòng)物園項(xiàng)目在軟件學(xué)會(huì)了任務(wù)之后就關(guān)閉了。

　　我們驚訝地得知志愿者們積累的龐大數(shù)據(jù)是計(jì)算機(jī)學(xué)習(xí)分類的理想材料。“一些星系動(dòng)物園用戶真的很反感這一點(diǎn)。”基爾說(shuō)，“他們對(duì)于自己的點(diǎn)擊被用來(lái)訓(xùn)練軟件表達(dá)出明顯的怨恨。但是我們說(shuō)，不要浪費(fèi)點(diǎn)擊。如果某人帶來(lái)了同樣有效的新算法，人們就不必做那些事情了。”

學(xué)習(xí)的渴望

　　人們長(zhǎng)久以來(lái)改進(jìn)對(duì)圖像和語(yǔ)音的模式識(shí)別的努力已經(jīng)受益于更多的訓(xùn)練，威斯康星大學(xué)麥迪遜分校的克拉考爾說(shuō)?！八粌H僅是有所改善，更是有了實(shí)際的效果。5 到 10 年之前，iPhone 上的 Siri 是個(gè)想都不敢想的點(diǎn)子，語(yǔ)音識(shí)別一塌糊涂?，F(xiàn)在我們擁有了這樣一批龐大的數(shù)據(jù)來(lái)訓(xùn)練算法，忽然之間它們就管用了?！?/span>

　　隨著數(shù)據(jù)及通訊價(jià)格持續(xù)下跌，新的思路和方法應(yīng)運(yùn)而生。如果你想了解你家中每一件設(shè)備消耗了多少水和能量，麥克阿瑟獎(jiǎng)獲得者西瓦塔克·帕特爾 （Shwetak Patel）有個(gè)解決方案：用無(wú)線傳感器識(shí)別每一臺(tái)設(shè)備的唯一數(shù)字簽名。帕特爾的智能算法配合外掛傳感器，以低廉的成本找到耗電多的電器。位于加利福尼亞州海沃德市的這個(gè)家庭驚訝地得知，錄像機(jī)消耗了他們家 11% 的電力。等到處理能力一次相對(duì)較小的改變令結(jié)果出現(xiàn)突破性的進(jìn)展，克拉考爾補(bǔ)充道，大數(shù)據(jù)的應(yīng)用可能會(huì)經(jīng)歷一次“相變”。

　　“大數(shù)據(jù)”是一個(gè)相對(duì)的說(shuō)法，不是絕對(duì)的，克拉考爾指出?！按髷?shù)據(jù)可以被視作一種比率——我們能計(jì)算的數(shù)據(jù)比上我們必須計(jì)算的數(shù)據(jù)。大數(shù)據(jù)一直存在。如果你想一下收集行星位置數(shù)據(jù)的丹麥天文學(xué)家第谷布拉赫（Tycho Brahe，1546-1601），當(dāng)時(shí)還沒(méi)有解釋行星運(yùn)動(dòng)的開(kāi)普勒理論，因此這個(gè)比率是歪曲的。這是那個(gè)年代的大數(shù)據(jù)?！?/span>

　　大數(shù)據(jù)成為問(wèn)題“是在技術(shù)允許我們收集和存儲(chǔ)的數(shù)據(jù)超過(guò)了我們對(duì)系統(tǒng)精推細(xì)研的能力之后?！笨死紶栒f(shuō)。

　　我們好奇，當(dāng)軟件繼續(xù)在大到無(wú)法想象的數(shù)據(jù)庫(kù)上執(zhí)行復(fù)雜計(jì)算，以此為基礎(chǔ)在科學(xué)、商業(yè)和安全領(lǐng)域制定決策，我們是不是把過(guò)多的權(quán)力交給了機(jī)器。在我們無(wú)法覷探之處，決策在沒(méi)人理解輸入與輸出、數(shù)據(jù)與決策之間的關(guān)系的情況下被自動(dòng)做出?！斑@正是我所從事的領(lǐng)域，”克拉考爾回應(yīng)道，“我的研究對(duì)象是宇宙中的智能演化，從大爆炸到大腦。我毫不懷疑你說(shuō)的?！? 

                                                                                                                                   數(shù)據(jù)分析師