大數(shù)據(jù)需要理性認(rèn)知

認(rèn)清大數(shù)據(jù)
    “當(dāng)前對(duì)于大數(shù)據(jù)最明顯的認(rèn)識(shí)誤區(qū)是把大數(shù)據(jù)和Hadoop MapReduce劃等號(hào)，和互聯(lián)網(wǎng)UGC（用戶生成內(nèi)容）畫(huà)等號(hào)?！?

    《計(jì)算機(jī)世界》：“大數(shù)據(jù)”是當(dāng)前最流行的概念，應(yīng)該怎樣理解這個(gè)概念？
    潘越：大數(shù)據(jù)原來(lái)只是技術(shù)領(lǐng)域里的概念，后來(lái)逐漸發(fā)展到與產(chǎn)業(yè)和商業(yè)緊密相關(guān)，這導(dǎo)致圍繞著大數(shù)據(jù)的很多觀念和做法都發(fā)生了轉(zhuǎn)變。過(guò)去人們更強(qiáng)調(diào)數(shù)據(jù)本身的價(jià)值，只保存“有用的”數(shù)據(jù)，然后對(duì)此做出分析就可以了。但是隨著數(shù)據(jù)管理和數(shù)據(jù)分析技術(shù)的進(jìn)步，現(xiàn)在已經(jīng)可以處理更大規(guī)模的數(shù)據(jù)，所以此時(shí)就需要考慮數(shù)據(jù)分析服務(wù)的個(gè)性化問(wèn)題，人們對(duì)于數(shù)據(jù)應(yīng)用的理念也開(kāi)始發(fā)生轉(zhuǎn)變。現(xiàn)在的大數(shù)據(jù)服務(wù)商可以先把各種各樣的數(shù)據(jù)保存下來(lái)，包括那些原來(lái)被認(rèn)為是“沒(méi)有用”的數(shù)據(jù)，然后進(jìn)行有針對(duì)性的分析和實(shí)現(xiàn)按需交付，從而給客戶帶來(lái)快捷和更細(xì)化的服務(wù)，推動(dòng)商業(yè)的進(jìn)步。
    《計(jì)算機(jī)世界》：大數(shù)據(jù)應(yīng)用就是保存所有的數(shù)據(jù)、分析所有的數(shù)據(jù)？
    潘越：把數(shù)據(jù)盡可能地保存并不是說(shuō)把數(shù)據(jù)像堆雜物一樣地儲(chǔ)存，而是需要對(duì)數(shù)據(jù)進(jìn)行組織和管理，IBM稱之為數(shù)據(jù)治理，意思就是把數(shù)據(jù)當(dāng)做資產(chǎn)來(lái)看待。資產(chǎn)肯定包括不同的類(lèi)型，數(shù)據(jù)也一樣。
    對(duì)一個(gè)企業(yè)來(lái)說(shuō)，它的主數(shù)據(jù)就是核心資產(chǎn)，其中可能包括客戶信息、產(chǎn)品信息、供應(yīng)商信息等。核心資產(chǎn)非常重要，也經(jīng)常要被使用，所以必須保證其在安全和高效的環(huán)境下得到利用和保護(hù)；還有一類(lèi)數(shù)據(jù)關(guān)系到企業(yè)的業(yè)績(jī)水平，它將決定企業(yè)的運(yùn)營(yíng)做得好還是不好，體現(xiàn)出的是績(jī)效管理的結(jié)果，這部分?jǐn)?shù)據(jù)由數(shù)據(jù)倉(cāng)庫(kù)支持；第三類(lèi)則是關(guān)系到企業(yè)未來(lái)的數(shù)據(jù)，它們的價(jià)值在于“潛力”，比如原始單據(jù)就是這類(lèi)數(shù)據(jù)，企業(yè)有可能從中挖掘出新價(jià)值，讓自己的業(yè)務(wù)做得更好、更有前景，它們是“內(nèi)容管理”的對(duì)象；此外還有一類(lèi)“很快的數(shù)據(jù)”，它們是需要迅速得出處理結(jié)果的數(shù)據(jù)。比如一個(gè)客戶來(lái)了，企業(yè)馬上就要分析出該客戶的興趣點(diǎn)是什么、與其他客戶有何關(guān)聯(lián)關(guān)系等，以便及時(shí)做出最有效的應(yīng)對(duì)。這種數(shù)據(jù)的形態(tài)與前幾種都不同，它們需要以流數(shù)據(jù)的方式進(jìn)行處理。
    需要指出的是，每一類(lèi)數(shù)據(jù)都有一個(gè)生命周期，都有一個(gè)從獲取、管理、應(yīng)用，到用于決策支持的過(guò)程。
    《計(jì)算機(jī)世界》：大數(shù)據(jù)應(yīng)用發(fā)展到理想狀態(tài)，企業(yè)就可以精準(zhǔn)預(yù)測(cè)客戶需求，提前解決供應(yīng)問(wèn)題嗎？人們對(duì)大數(shù)據(jù)的認(rèn)識(shí)是否有誤區(qū)？
    潘越：1974年的諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)得主哈耶克，他發(fā)表的獲獎(jiǎng)演說(shuō)題為《知識(shí)的偽裝》，其中說(shuō)到：“隨著科學(xué)知識(shí)的增加，我們高估了自己理解構(gòu)成世界的微妙變化能力，也高估了我們對(duì)每個(gè)變化的重要性做出判斷的能力?！彼裕瑹o(wú)所不知只是人的錯(cuò)覺(jué)?，F(xiàn)在很多研究者制作出一些精確的數(shù)學(xué)模型，認(rèn)為這就是因果模型，但其實(shí)它們是關(guān)聯(lián)模型。同樣，大數(shù)據(jù)本身也不能幫你得出因果關(guān)系，而只能顯現(xiàn)關(guān)聯(lián)關(guān)系。
    當(dāng)前對(duì)于大數(shù)據(jù)最明顯的認(rèn)識(shí)誤區(qū)是把大數(shù)據(jù)和Hadoop MapReduce畫(huà)等號(hào)，和互聯(lián)網(wǎng)UGC畫(huà)等號(hào)。其實(shí)MapReduce只對(duì)處理大數(shù)據(jù)中的一類(lèi)數(shù)據(jù)有效，而且只是一種處理方法?；ヂ?lián)網(wǎng)UGC也只是大數(shù)據(jù)分類(lèi)中的一部分，許多行業(yè)都有待挖掘的大數(shù)據(jù)資源，包括傳統(tǒng)零售行業(yè)、醫(yī)療行業(yè)、政府信息等。
   數(shù)據(jù)就是資產(chǎn)
    “各行各業(yè)都有大規(guī)模的數(shù)據(jù)資源，只不過(guò)因?yàn)榉N種原因，很多沒(méi)有開(kāi)放，只要有合理的機(jī)制解決開(kāi)放問(wèn)題，讓數(shù)據(jù)能在被充分保護(hù)的基礎(chǔ)上加以利用，就能發(fā)掘出很多大數(shù)據(jù)的應(yīng)用機(jī)會(huì)。”
    《計(jì)算機(jī)世界》：大數(shù)據(jù)時(shí)代，IBM追尋怎樣的目標(biāo)？
    潘越：IBM總的原則就是：為客戶創(chuàng)造價(jià)值。在大數(shù)據(jù)方面，IBM所做的是幫助客戶確認(rèn)數(shù)據(jù)資產(chǎn)，對(duì)數(shù)據(jù)資產(chǎn)進(jìn)行有效管理和有效利用，讓數(shù)據(jù)資源長(zhǎng)久為客戶服務(wù)，這是我們的基本原則。短時(shí)期內(nèi)，IBM的目標(biāo)是通過(guò)自己的技術(shù)、產(chǎn)品和服務(wù)，幫助客戶管好、用好數(shù)據(jù)資源。而在將來(lái)，IBM一方面希望更深層次地利用現(xiàn)有或者可能產(chǎn)生的數(shù)據(jù)，進(jìn)一步挖掘數(shù)據(jù)的價(jià)值；另一方面，IBM認(rèn)為數(shù)據(jù)既然是資產(chǎn)，就可以進(jìn)行交易，未來(lái)是否可以把數(shù)據(jù)資產(chǎn)定價(jià)，像別的資產(chǎn)一樣自由交易，又該怎樣進(jìn)行交易，這個(gè)問(wèn)題IBM正在研究。
    《計(jì)算機(jī)世界》：當(dāng)前在行業(yè)應(yīng)用方面，IBM的大數(shù)據(jù)能力體現(xiàn)在哪里？
    潘越：目前零售行業(yè)是大數(shù)據(jù)應(yīng)用非?；钴S的領(lǐng)域，在中國(guó)，IBM跟王府井百貨和蘇寧都有合作，用大數(shù)據(jù)技術(shù)和服務(wù)幫助這些傳統(tǒng)零售商在向電商形態(tài)轉(zhuǎn)變。事實(shí)上，傳統(tǒng)的零售商也有自己的優(yōu)勢(shì)，比如它的物流系統(tǒng)要比第三方更穩(wěn)定可靠，所以在電商領(lǐng)域他們有自己的后發(fā)優(yōu)勢(shì)，當(dāng)這種優(yōu)勢(shì)與大數(shù)據(jù)技術(shù)得到良好結(jié)合，他們的電商之路一定會(huì)順暢很多。另外，醫(yī)療行業(yè)也是大數(shù)據(jù)應(yīng)用的重要行業(yè)，超級(jí)電腦Watson就在朝這個(gè)方向努力。
    Watson是一個(gè)問(wèn)答系統(tǒng)，可以根據(jù)病人的病歷、分析文獻(xiàn)和其他醫(yī)生的意見(jiàn)，給出一個(gè)診斷決策。目前Watson在醫(yī)療領(lǐng)域已經(jīng)有應(yīng)用案例，比如IBM和美國(guó)最大的保險(xiǎn)公司W(wǎng)ellPoint就在進(jìn)行相關(guān)合作。更重要的是，IBM將Watson與大數(shù)據(jù)結(jié)合在一起，還在于探索解決非結(jié)構(gòu)化數(shù)據(jù)的處理問(wèn)題，尤其是多媒體數(shù)據(jù)，包括圖像、視頻等等。比如醫(yī)學(xué)影像通常需要專(zhuān)業(yè)的醫(yī)生去解讀，而IBM現(xiàn)在試圖讓W(xué)atson也去完成這類(lèi)解讀，這是一個(gè)很大的挑戰(zhàn)，但是如果能夠探索出解決辦法，無(wú)疑將對(duì)醫(yī)療行業(yè)的發(fā)展帶來(lái)巨大推動(dòng)力。
    《計(jì)算機(jī)世界》：用戶生成內(nèi)容是大數(shù)據(jù)的重要來(lái)源，這是否意味著互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)時(shí)代的話語(yǔ)權(quán)最大？
    潘越：短期來(lái)講互聯(lián)網(wǎng)企業(yè)很有優(yōu)勢(shì)，因?yàn)樗麄兗仁菙?shù)據(jù)的生產(chǎn)者，也是數(shù)據(jù)的利用者，他們可以很方便地把數(shù)據(jù)用于改善用戶體驗(yàn)，由此便獲得了先天的話語(yǔ)權(quán)。但從長(zhǎng)遠(yuǎn)來(lái)看，大數(shù)據(jù)的應(yīng)用遠(yuǎn)遠(yuǎn)不限于互聯(lián)網(wǎng)，就好像采礦，最初都會(huì)挖一些容易探到的礦產(chǎn)，生產(chǎn)出來(lái)的產(chǎn)品也都比較初級(jí)，然而當(dāng)行業(yè)發(fā)展成熟，下游產(chǎn)品越來(lái)越豐富，后續(xù)的探索會(huì)更加有價(jià)值。比如石油資源可以支持化工行業(yè)，化工業(yè)的價(jià)值要比初級(jí)的煉油高得多。所以，數(shù)據(jù)的后續(xù)深挖能力，也將決定大數(shù)據(jù)領(lǐng)域企業(yè)的份量。另外，當(dāng)把淺層的礦產(chǎn)挖完后，就需要具備更強(qiáng)的探礦能力，把用戶生成數(shù)據(jù)理順以后，對(duì)于其他類(lèi)型的數(shù)據(jù)是否具備處理能力會(huì)顯得更加重要。其實(shí)，各行各業(yè)都有大規(guī)模的數(shù)據(jù)資源，只不過(guò)因?yàn)榉N種原因，很多沒(méi)有開(kāi)放，只要有合理的機(jī)制解決開(kāi)放問(wèn)題，讓數(shù)據(jù)能在被充分保護(hù)的基礎(chǔ)上加以利用，就能發(fā)掘出很多大數(shù)據(jù)的應(yīng)用機(jī)會(huì)。所以在將來(lái)，一定不是非互聯(lián)網(wǎng)企業(yè)就沒(méi)有掌控大數(shù)據(jù)產(chǎn)業(yè)話語(yǔ)權(quán)的機(jī)會(huì)。
    《計(jì)算機(jī)世界》：IBM認(rèn)為大數(shù)據(jù)和目前正在不斷推進(jìn)的認(rèn)知計(jì)算的交匯點(diǎn)在哪里？認(rèn)知計(jì)算將會(huì)是最理想的大數(shù)據(jù)計(jì)算方式嗎？
    潘越：認(rèn)知計(jì)算，從狹義來(lái)講，是計(jì)算機(jī)和心理學(xué)以及神經(jīng)生物學(xué)交叉的研究領(lǐng)域?，F(xiàn)在相關(guān)概念被擴(kuò)大化了，能跟人有自然接口的、可以學(xué)習(xí)的系統(tǒng)，都被稱為認(rèn)知計(jì)算。最近認(rèn)知計(jì)算領(lǐng)域進(jìn)展比較快，有兩個(gè)原因：一是因?yàn)橛布夹g(shù)的進(jìn)步，現(xiàn)在已經(jīng)能夠更大規(guī)模地建立神經(jīng)網(wǎng)絡(luò)，IBM有一個(gè)項(xiàng)目就是在研究利用立體的集成電路去搭建一個(gè)高密度的神經(jīng)網(wǎng)絡(luò)，現(xiàn)在能做到類(lèi)貓腦的程度，最終的目標(biāo)是構(gòu)建一個(gè)達(dá)到人腦級(jí)別的神經(jīng)網(wǎng)絡(luò)；第二，當(dāng)前計(jì)算領(lǐng)域，算法方面有很大的提高。在認(rèn)知計(jì)算領(lǐng)域，越是基本的概念機(jī)器越難學(xué)會(huì)表達(dá)，以前這是計(jì)算方面的難點(diǎn)，而現(xiàn)在這一塊有了突破。
    不過(guò)目前，認(rèn)知計(jì)算和大數(shù)據(jù)還是各做各的，沒(méi)有完全融合，未來(lái)如果兩者能很好地結(jié)合，將帶來(lái)無(wú)限可能。事實(shí)上，認(rèn)知計(jì)算屬于人工智能范疇，而人工智能一直是IBM特別關(guān)注的領(lǐng)域，因此把認(rèn)知計(jì)算和大數(shù)據(jù)應(yīng)用的能力協(xié)調(diào)發(fā)揮，也是IBM的努力方向。