大數(shù)據(jù)的真正價(jià)值你知道多少(2)

3、正確認(rèn)識(shí)大數(shù)據(jù)的價(jià)值和效益

3.1大數(shù)據(jù)的價(jià)值主要體現(xiàn)為它的驅(qū)動(dòng)效應(yīng)

人們總是期望從大數(shù)據(jù)中挖掘出意想不到的“大價(jià)值”。實(shí)際上大數(shù)據(jù)的價(jià)值主要體現(xiàn)在它的驅(qū)動(dòng)效應(yīng)，即帶動(dòng)有關(guān)的科研和產(chǎn)業(yè)發(fā)展，提高各行各業(yè)通過(guò)數(shù)據(jù)分析解決困難問(wèn)題和增值的能力。大數(shù)據(jù)對(duì)經(jīng)濟(jì)的貢獻(xiàn)并不完全反映在大數(shù)據(jù)公司的直接收入上，應(yīng)考慮對(duì)其他行業(yè)效率和質(zhì)量提高的貢獻(xiàn)。大數(shù)據(jù)是典型的通用技術(shù)，理解通用技術(shù)要采用“蜜蜂模型”：蜜蜂的效益主要不是自己釀的蜂蜜，而是蜜蜂傳粉對(duì)農(nóng)業(yè)的貢獻(xiàn)。

電子計(jì)算機(jī)的創(chuàng)始人之一馮·諾依曼曾指出：“在每一門(mén)科學(xué)中，當(dāng)通過(guò)研究那些與終極目標(biāo)相比頗為樸實(shí)的問(wèn)題，發(fā)展出一些可以不斷加以推廣的方法時(shí)，這門(mén)學(xué)科就得到了巨大的進(jìn)展?！蔽覀儾槐靥焯炱谂纹孥E出現(xiàn)，多做一些“頗為樸實(shí)”的事情，實(shí)際的進(jìn)步就在扎扎實(shí)實(shí)的努力之中。媒體喜歡宣傳一些令人驚奇的大數(shù)據(jù)成功案例，對(duì)這些案例我們應(yīng)保持清醒的頭腦。據(jù)Intel中國(guó)研究院首席工程師吳甘沙在一次報(bào)告中透露，所謂“啤酒加尿布”的數(shù)據(jù)挖掘經(jīng)典案例，其實(shí)是Teradata公司一位經(jīng)理編出來(lái)的“故事”，歷史上并沒(méi)有發(fā)生過(guò)[4]。即使有這個(gè)案例，也不說(shuō)明大數(shù)據(jù)分析本身有什么神奇，大數(shù)據(jù)中看起來(lái)毫不相關(guān)的兩件事同時(shí)或相繼出現(xiàn)的現(xiàn)象比比皆是，關(guān)鍵是人的分析推理找出為什么兩件事物同時(shí)或相繼出現(xiàn)，找對(duì)了理由才是新知識(shí)或新發(fā)現(xiàn)的規(guī)律，相關(guān)性本身并沒(méi)有多大價(jià)值。

有一個(gè)家喻戶曉的寓言可以從一個(gè)角度說(shuō)明大數(shù)據(jù)的價(jià)值：一位老農(nóng)民臨終前告訴他的3個(gè)兒子，他在他家的地中埋藏了一罐金子，但沒(méi)有講埋在哪里。

    他的兒子們把他家所有的地都深挖了一遍，沒(méi)有挖到金子，但由于深挖了土地，從此莊稼收成特別好。數(shù)據(jù)收集、分析的能力提高了，即使沒(méi)有發(fā)現(xiàn)什么普適的規(guī)律或令人完全想不到的新知識(shí)，大數(shù)據(jù)的價(jià)值也已逐步體現(xiàn)。

    3.2大數(shù)據(jù)的力量來(lái)自“大成智慧”

    每一種數(shù)據(jù)來(lái)源都有一定的局限性和片面性，只有融合、集成各方面的原始數(shù)據(jù)，才能反映事物的全貌。事物的本質(zhì)和規(guī)律隱藏在各種原始數(shù)據(jù)的相互關(guān)聯(lián)之中。不同的數(shù)據(jù)可能描述同一實(shí)體，但角度不同。對(duì)同一個(gè)問(wèn)題，不同的數(shù)據(jù)能提供互補(bǔ)信息，可對(duì)問(wèn)題有更深入的理解。因此在大數(shù)據(jù)分析中，匯集盡量多種來(lái)源的數(shù)據(jù)是關(guān)鍵。

    數(shù)據(jù)科學(xué)是數(shù)學(xué)（統(tǒng)計(jì)、代數(shù)、拓?fù)涞龋?、?jì)算機(jī)科學(xué)、基礎(chǔ)科學(xué)和各種應(yīng)用科學(xué)融合的科學(xué)，類似錢(qián)學(xué)森先生提出的“大成智慧學(xué)”[5]。錢(qián)老指出：“必集大成，才能得智慧”。大數(shù)據(jù)能不能出智慧，關(guān)鍵在于對(duì)多種數(shù)據(jù)源的集成和融合。IEEE計(jì)算機(jī)學(xué)會(huì)最近發(fā)布了2014年的計(jì)算機(jī)技術(shù)發(fā)展趨勢(shì)預(yù)測(cè)報(bào)告，重點(diǎn)強(qiáng)調(diào)“無(wú)縫智慧（SeamlessIntelligence）”。發(fā)展大數(shù)據(jù)的目標(biāo)就是要獲得協(xié)同融合的“無(wú)縫智慧”。單靠一種數(shù)據(jù)源，即使數(shù)據(jù)規(guī)模很大，也可能出現(xiàn)“瞎子摸象”一樣的片面性。數(shù)據(jù)的開(kāi)放共享不是錦上添花的工作，而是決定大數(shù)據(jù)成敗的必要前提。

    大數(shù)據(jù)研究和應(yīng)用要改變過(guò)去各部門(mén)和各學(xué)科相互分割、獨(dú)立發(fā)展的傳統(tǒng)思路，重點(diǎn)不是支持單項(xiàng)技術(shù)和單個(gè)方法的發(fā)展，而是強(qiáng)調(diào)不同部門(mén)、不同學(xué)科的協(xié)作。數(shù)據(jù)科學(xué)不是垂直的“煙囪”，而是像環(huán)境、能源科學(xué)一樣的橫向集成科學(xué)。

    3.3大數(shù)據(jù)遠(yuǎn)景燦爛，但近期不能期望太高

    交流電問(wèn)世時(shí)主要用作照明，根本想象不到今天無(wú)處不在的應(yīng)用。大數(shù)據(jù)技術(shù)也一樣，將來(lái)一定會(huì)產(chǎn)生許多現(xiàn)在想不到的應(yīng)用。我們不必?fù)?dān)心大數(shù)據(jù)的未來(lái)，但近期要非常務(wù)實(shí)地工作。人們往往對(duì)近期的發(fā)展估計(jì)過(guò)高，而對(duì)長(zhǎng)期的發(fā)展估計(jì)不足。Gartner公司預(yù)測(cè)，大數(shù)據(jù)技術(shù)要在5~10年后才會(huì)成為較普遍采用的主流技術(shù)，對(duì)發(fā)展大數(shù)據(jù)技術(shù)要有足夠的耐心。

    大數(shù)據(jù)與其他信息技術(shù)一樣，在一段時(shí)間內(nèi)遵循指數(shù)發(fā)展規(guī)律。指數(shù)發(fā)展的特點(diǎn)是，從一段歷史時(shí)期衡量（至少30年），前期發(fā)展比較慢，經(jīng)過(guò)相當(dāng)長(zhǎng)時(shí)間（可能需要20年以上）的積累，會(huì)出現(xiàn)一個(gè)拐點(diǎn)，過(guò)了拐點(diǎn)以后，就會(huì)出現(xiàn)爆炸式的增長(zhǎng)。但任何技術(shù)都不會(huì)永遠(yuǎn)保持“指數(shù)性”增長(zhǎng)，一般而言，高技術(shù)發(fā)展遵循Gartner公司描述的技術(shù)成熟度曲線（hypecycle），最后可能進(jìn)入良性發(fā)展的穩(wěn)定狀態(tài)或者走向消亡。

    需要采用大數(shù)據(jù)技術(shù)來(lái)解決的問(wèn)題往往都是十分復(fù)雜的問(wèn)題，比如社會(huì)計(jì)算、生命科學(xué)、腦科學(xué)等，這些問(wèn)題絕不是幾代人的努力就可以解決的。宇宙經(jīng)過(guò)百億年的演化，才出現(xiàn)生物和人類，其復(fù)雜和巧妙堪稱絕倫，不要指望在我們這一代人手中就能徹底揭開(kāi)其奧妙。展望數(shù)百萬(wàn)年甚至更長(zhǎng)遠(yuǎn)的未來(lái)，大數(shù)據(jù)技術(shù)只是科學(xué)技術(shù)發(fā)展長(zhǎng)河中的一朵浪花，對(duì)10~20年大數(shù)據(jù)研究可能取得的科學(xué)成就不能抱有不切實(shí)際的幻想。

    4、從復(fù)雜性的角度看大數(shù)據(jù)研究和應(yīng)用面臨的挑戰(zhàn)

    大數(shù)據(jù)技術(shù)和人類探索復(fù)雜性的努力有密切關(guān)系。20世紀(jì)70年代，新三論（耗散結(jié)構(gòu)論、協(xié)同論、突變論）的興起對(duì)幾百年來(lái)貫穿科學(xué)技術(shù)研究的還原論發(fā)起了挑戰(zhàn)。1984年蓋爾曼等3位諾貝爾獎(jiǎng)得主成立以研究復(fù)雜性為主的圣菲研究所，提出超越還原論的口號(hào)，在科技界掀起了一場(chǎng)復(fù)雜性科學(xué)運(yùn)動(dòng)。雖然雷聲很大，但30年來(lái)并未取得預(yù)期的效果，其原因之一可能是當(dāng)時(shí)還沒(méi)有出現(xiàn)解決復(fù)雜性的技術(shù)。

    集成電路、計(jì)算機(jī)與通信技術(shù)的發(fā)展大大增強(qiáng)了人類研究和處理復(fù)雜問(wèn)題的能力。大數(shù)據(jù)技術(shù)將復(fù)雜性科學(xué)的新思想發(fā)揚(yáng)光大，可能使復(fù)雜性科學(xué)得以落地。復(fù)雜性科學(xué)是大數(shù)據(jù)技術(shù)的科學(xué)基礎(chǔ)，大數(shù)據(jù)方法可以看作復(fù)雜性科學(xué)的技術(shù)實(shí)現(xiàn)。大數(shù)據(jù)方法為還原論與整體論的辯證統(tǒng)一提供了技術(shù)實(shí)現(xiàn)途徑。大數(shù)據(jù)研究要從復(fù)雜性研究中吸取營(yíng)養(yǎng)，從事數(shù)據(jù)科學(xué)研究的學(xué)者不但要了解20世紀(jì)的“新三論”，可能還要學(xué)習(xí)與超循環(huán)、混沌、分形和元胞自動(dòng)機(jī)等理論有關(guān)的知識(shí)，擴(kuò)大自己的視野，加深對(duì)大數(shù)據(jù)機(jī)理的理解。

    大數(shù)據(jù)技術(shù)還不成熟，面對(duì)海量、異構(gòu)、動(dòng)態(tài)變化的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理和分析技術(shù)難以應(yīng)對(duì)，現(xiàn)有的數(shù)據(jù)處理系統(tǒng)實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的效率較低，成本和能耗較大，而且難以擴(kuò)展。這些挑戰(zhàn)大多來(lái)自數(shù)據(jù)本身的復(fù)雜性、計(jì)算的復(fù)雜性和信息系統(tǒng)的復(fù)雜性。

    4.1數(shù)據(jù)復(fù)雜性引起的挑戰(zhàn)

    圖文檢索、主題發(fā)現(xiàn)、語(yǔ)義分析、情感分析等數(shù)據(jù)分析工作十分困難，其原因是大數(shù)據(jù)涉及復(fù)雜的類型、復(fù)雜的結(jié)構(gòu)和復(fù)雜的模式，數(shù)據(jù)本身具有很高的復(fù)雜性。目前，人們對(duì)大數(shù)據(jù)背后的物理意義缺乏理解，對(duì)數(shù)據(jù)之間的關(guān)聯(lián)規(guī)律認(rèn)識(shí)不足，對(duì)大數(shù)據(jù)的復(fù)雜性和計(jì)算復(fù)雜性的內(nèi)在聯(lián)系也缺乏深刻理解，領(lǐng)域知識(shí)的缺乏制約了人們對(duì)大數(shù)據(jù)模型的發(fā)現(xiàn)和高效計(jì)算方法的設(shè)計(jì)。形式化或定量化地描述大數(shù)據(jù)復(fù)雜性的本質(zhì)特征及度量指標(biāo)，需要深入研究數(shù)據(jù)復(fù)雜性的內(nèi)在機(jī)理。人腦的復(fù)雜性主要體現(xiàn)在千萬(wàn)億級(jí)的樹(shù)突和軸突的鏈接，大數(shù)據(jù)的復(fù)雜性主要也體現(xiàn)在數(shù)據(jù)之間的相互關(guān)聯(lián)。理解數(shù)據(jù)之間關(guān)聯(lián)的奧秘可能是揭示微觀到宏觀“涌現(xiàn)”規(guī)律的突破口。大數(shù)據(jù)復(fù)雜性規(guī)律的研究有助于理解大數(shù)據(jù)復(fù)雜模式的本質(zhì)特征和生成機(jī)理，從而簡(jiǎn)化大數(shù)據(jù)的表征，獲取更好的知識(shí)抽象。為此，需要建立多模態(tài)關(guān)聯(lián)關(guān)系下的數(shù)據(jù)分布理論和模型，理清數(shù)據(jù)復(fù)雜度和計(jì)算復(fù)雜度之間的內(nèi)在聯(lián)系，奠定大數(shù)據(jù)計(jì)算的理論基礎(chǔ)。

    4.2計(jì)算復(fù)雜性引起的挑戰(zhàn)

    大數(shù)據(jù)計(jì)算不能像處理小樣本數(shù)據(jù)集那樣做全局?jǐn)?shù)據(jù)的統(tǒng)計(jì)分析和迭代計(jì)算，在分析大數(shù)據(jù)時(shí)，需要重新審視和研究它的可計(jì)算性、計(jì)算復(fù)雜性和求解算法。大數(shù)據(jù)樣本量巨大，內(nèi)在關(guān)聯(lián)密切而復(fù)雜，價(jià)值密度分布極不均衡，這些特征對(duì)建立大數(shù)據(jù)計(jì)算范式提出了挑戰(zhàn)。對(duì)于PB級(jí)的數(shù)據(jù)，即使只有線性復(fù)雜性的計(jì)算也難以實(shí)現(xiàn)，而且，由于數(shù)據(jù)分布的稀疏性，可能做了許多無(wú)效計(jì)算。

    傳統(tǒng)的計(jì)算復(fù)雜度是指某個(gè)問(wèn)題求解時(shí)需要的時(shí)間空間與問(wèn)題規(guī)模的函數(shù)關(guān)系，所謂具有多項(xiàng)式復(fù)雜性的算法是指當(dāng)問(wèn)題的規(guī)模增大時(shí)，計(jì)算時(shí)間和空間的增長(zhǎng)速度在可容忍的范圍內(nèi)。傳統(tǒng)科學(xué)計(jì)算關(guān)注的重點(diǎn)是，針對(duì)給定規(guī)模的問(wèn)題，如何“算得快”。而在大數(shù)據(jù)應(yīng)用中，尤其是流式計(jì)算中，往往對(duì)數(shù)據(jù)處理和分析的時(shí)間、空間有明確限制，比如網(wǎng)絡(luò)服務(wù)如果回應(yīng)時(shí)間超過(guò)幾秒甚至幾毫秒，就會(huì)丟失許多用戶。大數(shù)據(jù)應(yīng)用本質(zhì)上是在給定的時(shí)間、空間限制下，如何“算得多”。從“算得快”到“算得多”，考慮計(jì)算復(fù)雜性的思維邏輯有很大的轉(zhuǎn)變。所謂“算得多”并不是計(jì)算的數(shù)據(jù)量越大越好，需要探索從足夠多的數(shù)據(jù)，到剛剛好的數(shù)據(jù)，再到有價(jià)值的數(shù)據(jù)的按需約簡(jiǎn)方法。

    基于大數(shù)據(jù)求解困難問(wèn)題的一條思路是放棄通用解，針對(duì)特殊的限制條件求具體問(wèn)題的解。人類的認(rèn)知問(wèn)題一般都是NP難問(wèn)題，但只要數(shù)據(jù)充分多，在限制條件下可以找到十分滿意的解，近幾年自動(dòng)駕駛汽車(chē)取得重大進(jìn)展就是很好的案例。為了降低計(jì)算量，需要研究基于自舉和采樣的局部計(jì)算和近似方法，提出不依賴于全量數(shù)據(jù)的新型算法理論，研究適應(yīng)大數(shù)據(jù)的非確定性算法等理論。