重視大數(shù)據(jù)，但不能拋棄“小數(shù)據(jù)”

當(dāng)前，全國各地都在建設(shè)大數(shù)據(jù)中心，有些偏僻的山區(qū)都建立了容量達(dá)2PB(拍字節(jié))以上的數(shù)據(jù)處理中心，許多城市公安部門要求存儲(chǔ)3個(gè)月以上的高清監(jiān)控錄像。其背后的問題是，這些系統(tǒng)的成本都非常高。

數(shù)據(jù)挖掘的價(jià)值是用成本換來的，不能不計(jì)成本、盲目建設(shè)大數(shù)據(jù)系統(tǒng)。什么數(shù)據(jù)需要保存、要保存多長時(shí)間，應(yīng)當(dāng)根據(jù)可能的價(jià)值和所需的成本來決定。大數(shù)據(jù)系統(tǒng)技術(shù)還在研究之中，美國的E級超級計(jì)算機(jī)系統(tǒng)要求能耗降低到原來的千分之一，計(jì)劃到2024年才能研制出來。因此，用現(xiàn)在的技術(shù)構(gòu)建的巨型系統(tǒng)，能耗極高。

一味追求數(shù)據(jù)規(guī)模不僅會(huì)造成浪費(fèi)，而且效果未必很好。多個(gè)來源“小數(shù)據(jù)”的集成融合可能挖掘出單一來源大數(shù)據(jù)得不到的“大價(jià)值”。因此，應(yīng)在數(shù)據(jù)的融合技術(shù)上多下功夫，重視數(shù)據(jù)的開放與共享。所謂數(shù)據(jù)規(guī)模大與應(yīng)用領(lǐng)域有密切關(guān)系，有些領(lǐng)域幾個(gè)PB的數(shù)據(jù)未必算大，有些領(lǐng)域可能幾十TB(太字節(jié))已經(jīng)是很大的規(guī)模。

此外，大數(shù)據(jù)主要難點(diǎn)不是數(shù)據(jù)量大，而是數(shù)據(jù)類型多樣、要求及時(shí)回應(yīng)和原始數(shù)據(jù)真假難辨。現(xiàn)有數(shù)據(jù)庫軟件無力應(yīng)對非結(jié)構(gòu)化數(shù)據(jù)，所以要重視數(shù)據(jù)融合、數(shù)據(jù)格式的標(biāo)準(zhǔn)化和數(shù)據(jù)的互操作。數(shù)據(jù)質(zhì)量不高是大數(shù)據(jù)的特點(diǎn)之一，但盡可能提高原始數(shù)據(jù)的質(zhì)量仍然值得重視。比如，腦科學(xué)研究的最大問題就是采集的數(shù)據(jù)可信度差，基于可信度很差的數(shù)據(jù)難以分析出有價(jià)值的結(jié)果。

可見，發(fā)展大數(shù)據(jù)不能無止境地追求“更大、更多、更快”，要走低成本、低能耗、惠及大眾、公正法治的良性發(fā)展道路，要像現(xiàn)在治理環(huán)境污染一樣，及早關(guān)注大數(shù)據(jù)可能帶來的“污染”和侵犯隱私等各種弊端。

實(shí)際上，發(fā)展信息技術(shù)的目的是為人服務(wù)，檢驗(yàn)技術(shù)的唯一標(biāo)準(zhǔn)是應(yīng)用。我國發(fā)展大數(shù)據(jù)產(chǎn)業(yè)一定要堅(jiān)持“應(yīng)用為先”的發(fā)展戰(zhàn)略，堅(jiān)持應(yīng)用牽引的技術(shù)路線。所謂技術(shù)有限、應(yīng)用無限，各地發(fā)展云計(jì)算和大數(shù)據(jù)，一定要通過政策和各種措施調(diào)動(dòng)應(yīng)用部門和創(chuàng)新企業(yè)的積極性，通過跨界的組合創(chuàng)新開拓新的應(yīng)用，從應(yīng)用中找出路。

目前流行的大數(shù)據(jù)定義是“當(dāng)前技術(shù)無法處理的數(shù)據(jù)集合”，這種針對未知技術(shù)的定義強(qiáng)調(diào)大數(shù)據(jù)不同于數(shù)據(jù)庫等傳統(tǒng)技術(shù)能對付的小數(shù)據(jù)，有利于推動(dòng)基礎(chǔ)研究、激勵(lì)探索新技術(shù)，但可能引導(dǎo)大家只重視目前解決不了的問題，如同走路的人想踩著自己身前的影子。其實(shí)，目前各行各業(yè)碰到的數(shù)據(jù)處理多數(shù)還是“小數(shù)據(jù)”問題。我們應(yīng)重視實(shí)際碰到的問題，不管是大數(shù)據(jù)還是小數(shù)據(jù)。

統(tǒng)計(jì)學(xué)家們花了200多年，總結(jié)出認(rèn)知數(shù)據(jù)過程中的種種陷阱，這些陷阱不會(huì)隨著數(shù)據(jù)量的增大而自動(dòng)填平。大數(shù)據(jù)中有大量的小數(shù)據(jù)問題，大數(shù)據(jù)采集同樣會(huì)犯小數(shù)據(jù)采集一樣的統(tǒng)計(jì)偏差。Google公司的流感預(yù)測這兩年失靈，就是由于搜索推薦等人為的干預(yù)造成統(tǒng)計(jì)誤差。

因此，我們不要攀比大數(shù)據(jù)系統(tǒng)的規(guī)模，而是要比實(shí)際應(yīng)用效果，比完成同樣的事消耗更少的資源和能量。先抓老百姓最需要的大數(shù)據(jù)應(yīng)用，因地制宜發(fā)展大數(shù)據(jù)。發(fā)展大數(shù)據(jù)與實(shí)現(xiàn)信息化的策略一樣：目標(biāo)要遠(yuǎn)大、起步要精準(zhǔn)、發(fā)展要快速。