破解大數(shù)據(jù)價(jià)值難題

盡管大數(shù)據(jù)并不是忽悠，但并不是說(shuō)只要開(kāi)放了數(shù)據(jù)就可以輕易地發(fā)現(xiàn)“金礦”.鄧侃博士表示，開(kāi)放數(shù)據(jù)之后，會(huì)產(chǎn)生大量的有益的中間結(jié)果，而這促成了最后的成功。
    鄧侃強(qiáng)調(diào)，大數(shù)據(jù)是不是忽悠關(guān)鍵一條是能不能發(fā)現(xiàn)價(jià)值，如果在數(shù)據(jù)中發(fā)現(xiàn)不了價(jià)值，那就是忽悠；發(fā)現(xiàn)了價(jià)值，那就是創(chuàng)造了一個(gè)巨大的利潤(rùn)點(diǎn)。對(duì)于中國(guó)移動(dòng)來(lái)說(shuō)，開(kāi)放了所有的網(wǎng)絡(luò)日志，集思廣益，可以讓大家讓全世界的神人們來(lái)幫你發(fā)現(xiàn)有價(jià)值的信息。
    發(fā)現(xiàn)其中的價(jià)值靠什么東西呢？鄧博士指出，是靠中間的地方，算法，數(shù)據(jù)挖掘的算法。他認(rèn)為，中間這個(gè)地方，要有數(shù)據(jù)挖掘的算法加上云計(jì)算的并行計(jì)算。分布式的云存儲(chǔ)平臺(tái)則提供更加廉潔的成本，可以存儲(chǔ)中國(guó)移動(dòng)、中國(guó)聯(lián)通等等的大數(shù)據(jù)。為什么要用并行計(jì)算？因?yàn)榇髷?shù)據(jù)的量太大了，你簡(jiǎn)單算的話，幾個(gè)月也算不下來(lái)，時(shí)間就是價(jià)值的一部分，所以你要用并行計(jì)算加速數(shù)據(jù)的處理。
    鄧侃博士特別說(shuō)明了APP Stroe的意義。他說(shuō)，那些開(kāi)放以后來(lái)自外界的專(zhuān)家提供的不一定是最后的答案，但是他們完全可以提供很多很有價(jià)值的中間工具，中間的工具串聯(lián)在一起，就極有可能促成發(fā)現(xiàn)最后的價(jià)值信息。所以，在我們就特別強(qiáng)調(diào)這個(gè)中間的工具，這就是我們APP Stroe的意義所在。
    此外，鄧侃還提到，你開(kāi)放的同時(shí)，很多的機(jī)密數(shù)據(jù)也出去了，怎么解決這個(gè)機(jī)密和你開(kāi)放中間的矛盾？這是一個(gè)很大的挑戰(zhàn)。
    由中國(guó)移動(dòng)主辦的“第六屆移動(dòng)互聯(lián)網(wǎng)國(guó)際研討會(huì)”,聚焦于云、管、端、“臺(tái)”,更廣泛、更深入地探索構(gòu)建合作共贏的產(chǎn)業(yè)新生態(tài)，打造移動(dòng)互聯(lián)新生活。大數(shù)據(jù)、云計(jì)算和移動(dòng)互聯(lián)網(wǎng)都是當(dāng)前IT發(fā)展的熱門(mén)趨勢(shì)，因此與會(huì)者也就這些新技術(shù)與移動(dòng)生活緊密結(jié)合進(jìn)行討論。
    以下為現(xiàn)場(chǎng)演講速記：
    鄧侃：剛才張所長(zhǎng)對(duì)我很多贊美之詞，我不好意思，因?yàn)閹讉€(gè)小時(shí)前剛剛遭受過(guò)打擊，就在我來(lái)會(huì)場(chǎng)的路上碰到一個(gè)熟人，他問(wèn)你去干嗎？我說(shuō)我去中國(guó)移動(dòng)的大會(huì)，他說(shuō)什么題目？我說(shuō)無(wú)線城市與大數(shù)據(jù)，他說(shuō)你又去忽悠？我說(shuō)這個(gè)又字怎么說(shuō)？他說(shuō)你以前講云計(jì)算是一個(gè)忽悠，后來(lái)又講互聯(lián)網(wǎng)，云里霧里都是忽悠，那東西還沒(méi)忽悠完，你又開(kāi)始講大數(shù)據(jù)，會(huì)不會(huì)再是一個(gè)忽悠？我說(shuō)你的問(wèn)題問(wèn)得非常好，我做兩個(gè)保證，第一個(gè)保證就是我今天的演講保證都是干貨，第二絕對(duì)是講實(shí)話，爆大料。
    首先回答一個(gè)問(wèn)題，大數(shù)據(jù)是不是忽悠？所謂忽悠講簡(jiǎn)單一點(diǎn)，直白一點(diǎn)，就是能不能掙到錢(qián)？如果能掙到錢(qián)就不是忽悠，如果大家忙了一通白忙就是忽悠。所以我這邊舉一個(gè)典型的大數(shù)據(jù)的場(chǎng)景，看一看大數(shù)據(jù)能不能掙到錢(qián)。這個(gè)例子是一個(gè)加拿大公司的例子，發(fā)生在1999年，這個(gè)公司叫做GoldCorp,是一個(gè)礦產(chǎn)公司，一直到99年的時(shí)候，整個(gè)公司的財(cái)政情況急劇惡化，大家覺(jué)得不行了，要最后一搏。這個(gè)時(shí)候，他們換了一個(gè)新的CEO,這個(gè)CEO比較年輕，思想比較激進(jìn)，剛從MIT上課回來(lái)，這個(gè)人不是搞計(jì)算機(jī)的，但是聽(tīng)說(shuō)了開(kāi)元系統(tǒng)這么一個(gè)新鮮的玩意，他覺(jué)得既然我們的工程師在地下面挖不出金子，我有沒(méi)有可能把所有的地質(zhì)數(shù)據(jù)放到網(wǎng)上公開(kāi)一下，或許有哪些神人能發(fā)現(xiàn)呢？這就是吸取了開(kāi)元的經(jīng)驗(yàn)。后來(lái)他真做了，他把他們公司對(duì)于這個(gè)地區(qū)從1948年開(kāi)始的所有地質(zhì)數(shù)據(jù)全部放到網(wǎng)上公開(kāi)了，自然好事就來(lái)了，很快收到了各種各樣的回饋，公司給他們制定了110個(gè)勘探點(diǎn)，超過(guò)了80個(gè)地點(diǎn)找到了金子，于是股價(jià)又回來(lái)了。所以很多記者來(lái)采訪他的經(jīng)驗(yàn)得失。
    但是你去瀏覽一下這樣的著名案例的分析和反饋，大家似乎很間咱，說(shuō)你開(kāi)源了，開(kāi)放數(shù)據(jù)了，情況就發(fā)生了。實(shí)際是不是這樣呢？仔細(xì)對(duì)一下對(duì)他們CEO的采訪，你會(huì)發(fā)現(xiàn)第一件事情，是不是我開(kāi)放了數(shù)據(jù)在全世界的人就發(fā)現(xiàn)了110個(gè)礦點(diǎn)呢？仔細(xì)看看CEO的采訪錄，不是的。實(shí)際上有很多中間環(huán)節(jié)，這個(gè)CEO講了一件事，是說(shuō)當(dāng)時(shí)的數(shù)據(jù)展開(kāi)之后，這個(gè)是日本三菱還是哪個(gè)公司駐在麻省的研究院，那幫人是研究CT信號(hào)之后，又從CT信號(hào)產(chǎn)生人體器官的3D圖的，是醫(yī)療成像方面的研究，和地質(zhì)沒(méi)有關(guān)系。但是正好其中有一個(gè)研究員聽(tīng)說(shuō)有一個(gè)地質(zhì)數(shù)據(jù)，于是就拿醫(yī)療方面的成像數(shù)據(jù)拿到地質(zhì)方面做了修改，結(jié)果大獲成功。這個(gè) CEO是這么描述的，他說(shuō)當(dāng)這個(gè)研究院的人到他們公司來(lái)用醫(yī)療3D技術(shù)展示地質(zhì)層面構(gòu)造的時(shí)候，所有在場(chǎng)的高管幾乎跳起來(lái)了。但是記住一個(gè)問(wèn)題，這個(gè)不是最后的礦點(diǎn)，但是因?yàn)槟阌辛诉@么一個(gè)3D的地質(zhì)模型之后，大家很容易發(fā)現(xiàn)這個(gè)礦難的走向，于是對(duì)他后面找到110個(gè)礦點(diǎn)創(chuàng)造了非常好的條件。所以，這是第一個(gè)方面，開(kāi)放數(shù)據(jù)之后，會(huì)產(chǎn)生大量的有益的中間結(jié)果，而這促成了最后的成功。
    第二條說(shuō)開(kāi)放數(shù)據(jù)，尤其對(duì)于這種礦業(yè)公司，非常傳統(tǒng)的公司來(lái)講，開(kāi)放這種公司數(shù)據(jù)是不可思議的事情。很多人認(rèn)為這是公司吃飯的老本，就像可口可樂(lè)配方一樣，是不是這樣呢？很多采訪人都說(shuō)，其實(shí)沒(méi)關(guān)系，你開(kāi)放也可以，所謂的那些公司機(jī)密可能只是公司內(nèi)部的工程師不愿意讓自己丟丑的借口。實(shí)際情況是不是這樣呢？不是的，因?yàn)樵谶@之后，他們成功了，當(dāng)時(shí)很多聲音就說(shuō)你把所有的礦產(chǎn)地質(zhì)結(jié)構(gòu)數(shù)據(jù)開(kāi)放，也許可以發(fā)現(xiàn)更多的金子，但是他們沒(méi)有這么干，他是在絕望的情況下開(kāi)放的。所以，這個(gè)地方就有一個(gè)很大的矛盾，如果你開(kāi)放了數(shù)據(jù)，集思廣益，你能夠創(chuàng)造價(jià)值。但是，你開(kāi)放的同時(shí)，很多的機(jī)密數(shù)據(jù)也出去了，怎么解決這個(gè)機(jī)密和你開(kāi)放中間的矛盾？這是一個(gè)很大的挑戰(zhàn)。
    說(shuō)了這個(gè)故事想說(shuō)什么呢？大數(shù)據(jù)是不是忽悠關(guān)鍵一條是能不能發(fā)現(xiàn)價(jià)值，如果在數(shù)據(jù)中發(fā)現(xiàn)不了價(jià)值，那就是忽悠；發(fā)現(xiàn)了價(jià)值，那就是創(chuàng)造了一個(gè)巨大的利潤(rùn)點(diǎn)。這個(gè)事情和我們無(wú)線城市、和我們中國(guó)移動(dòng)有沒(méi)有關(guān)系呢？我想是有的，這一張圖實(shí)際上是我們3G一般的架構(gòu)圖，3G中間經(jīng)過(guò)了很多的網(wǎng)絡(luò)環(huán)節(jié)，每一個(gè)環(huán)節(jié)會(huì)產(chǎn)生大量的數(shù)據(jù)，我們這些數(shù)據(jù)都記錄在哪里呢？日志里面、數(shù)據(jù)庫(kù)里面等等，這些信息有沒(méi)有用呢？有人說(shuō)有，有人說(shuō)沒(méi)有，比如有人跟我講，到這個(gè)數(shù)據(jù)之后，你可以看到任何一個(gè)地方可以看到城市什么地方是人比較多的地方，什么地方是人比較少的地方。假設(shè)你知道A和B關(guān)系很密切，你想干什么呢？他們可以告你侵犯隱私，所以這些大數(shù)據(jù)，尤其是網(wǎng)絡(luò)運(yùn)營(yíng)商積淀下來(lái)的在數(shù)據(jù)中間，什么樣的東西是有價(jià)值的，如何發(fā)現(xiàn)這些信息，實(shí)際上是一個(gè)藝術(shù)，是個(gè)經(jīng)驗(yàn)，而不僅僅是個(gè)技術(shù)問(wèn)題。所以，我剛才說(shuō)了，我說(shuō)我絕不忽悠、絕不騙人，其中有一條是我堅(jiān)決說(shuō)老實(shí)話。
    回到剛才的問(wèn)題，如果中國(guó)移動(dòng)開(kāi)放了所有的網(wǎng)絡(luò)日志，這些大數(shù)據(jù)中什么樣的信息是有價(jià)值的？我的回答是不知道，但是也許你可以開(kāi)放這些數(shù)據(jù)，集思廣益，讓大家讓全世界的神人們來(lái)幫你發(fā)現(xiàn)這些信息。接下去的問(wèn)題是說(shuō)你要開(kāi)放一個(gè)數(shù)據(jù)，你要做一個(gè)平臺(tái)，請(qǐng)問(wèn)你的平臺(tái)是怎么做的？這個(gè)我知道。這個(gè)是我們的一個(gè)假想圖，但是不要以為我是紙上談兵，我先賣(mài)一個(gè)關(guān)子。這個(gè)圖最右邊很簡(jiǎn)單，是一些分布式的云存儲(chǔ)，說(shuō)我們用一大堆便宜的服務(wù)器把中國(guó)移動(dòng)、中國(guó)聯(lián)通等等的大數(shù)據(jù)往里面一存，光有存儲(chǔ)是不是夠呢？是不夠的，因?yàn)槲覀儎偛耪f(shuō)了，大數(shù)據(jù)是不是忽悠？關(guān)鍵問(wèn)題在于你能不能發(fā)現(xiàn)其中的價(jià)值，發(fā)現(xiàn)其中的價(jià)值靠什么東西呢？靠中間的地方，算法，數(shù)據(jù)挖掘的算法，所以，你中間這個(gè)地方，你要有數(shù)據(jù)挖掘的算法加上云計(jì)算的并行計(jì)算。為什么要用并行計(jì)算？因?yàn)榇髷?shù)據(jù)的量太大了，你簡(jiǎn)單算的話，幾個(gè)月也算不下來(lái)，時(shí)間就是價(jià)值的一部分，所以你要用并行計(jì)算加速數(shù)據(jù)的處理。最前面是什么？它是一個(gè)APP Stroe.那些開(kāi)放以后來(lái)自外界的專(zhuān)家提供的不一定是最后的答案，但是他們完全可以提供很多很有價(jià)值的中間工具，中間的工具串聯(lián)在一起，就極有可能促成發(fā)現(xiàn)最后的價(jià)值信息。所以，在我們中間就特別強(qiáng)調(diào)這個(gè)中間的工具，這就是我們APP Stroe的意義所在。云計(jì)算的平臺(tái)第一是你的存儲(chǔ)要便宜，你買(mǎi)一大堆垃圾的服務(wù)器，串在一起有一個(gè)非常漂亮的名稱(chēng)就叫云存儲(chǔ)。
    剛才我說(shuō)的是技術(shù)架構(gòu)，在這個(gè)技術(shù)架構(gòu)里面，實(shí)際上牽扯到很多很多的人和物。首先，左邊是說(shuō)我們有很多數(shù)據(jù)來(lái)源。剛才我們舉例說(shuō)中國(guó)移動(dòng)有網(wǎng)絡(luò)日志，我們還有輿情分析等等，我們稱(chēng)之為數(shù)據(jù)來(lái)源。數(shù)據(jù)來(lái)源放進(jìn)去之后，你要發(fā)現(xiàn)不了價(jià)值那就是垃圾，怎么才能發(fā)現(xiàn)呢？我剛才講了，那是藝術(shù)、那是經(jīng)驗(yàn)，靠很多人，其中最主要的一種人是教授、學(xué)者。那些人一天到晚看著文案想主意，然后他發(fā)現(xiàn)一種新的算法，應(yīng)用開(kāi)發(fā)商來(lái)應(yīng)用，開(kāi)發(fā)出一個(gè)很簡(jiǎn)單好用的應(yīng)用，這個(gè)應(yīng)用就是說(shuō)我有一個(gè)功能性的東西，怎么才能讓用戶(hù)喜歡呢？我們需要一個(gè)產(chǎn)品設(shè)計(jì)師，你有了產(chǎn)品了，也能夠推到市場(chǎng)，但是需要錢(qián)，誰(shuí)來(lái)幫你做這個(gè)事呢？投資商進(jìn)來(lái)，然后你有了產(chǎn)品為誰(shuí)服務(wù)？三種人，最終消費(fèi)者、企業(yè)、政府。所以，你要想促成這個(gè)大數(shù)據(jù)產(chǎn)業(yè)的繁榮，實(shí)際上就要團(tuán)結(jié)很多人形成一個(gè)生態(tài)系統(tǒng)共同繁榮，其中最最主要的實(shí)際上是兩條。第一個(gè)是擴(kuò)大數(shù)據(jù)的來(lái)源，第二個(gè)是盡可能發(fā)現(xiàn)大數(shù)據(jù)中間的價(jià)值，抓住這兩條，大數(shù)據(jù)產(chǎn)業(yè)就能繁榮。
    這個(gè)實(shí)際上是說(shuō)一個(gè)產(chǎn)業(yè)一個(gè)學(xué)界上的開(kāi)放平臺(tái)，叫KDD,這是洛杉磯分校搞的一個(gè)，在所有的數(shù)據(jù)應(yīng)用中間，這個(gè)地方是被引用最高的。大數(shù)據(jù)樣本很多人在捐，已經(jīng)聯(lián)系到中國(guó)移動(dòng)、中國(guó)聯(lián)通以及好幾家銀行，還有中國(guó)海關(guān)、中國(guó)政府部門(mén)，他們會(huì)提供一些數(shù)據(jù)的樣本，什么叫樣本呢？樣本是說(shuō)一個(gè)部分的區(qū)域，不是全國(guó)的，而且是經(jīng)過(guò)處理的，把一些真實(shí)的信息去掉，保護(hù)隱私。所以，數(shù)據(jù)有了，接下去，我們剛才說(shuō)這個(gè)數(shù)據(jù)平臺(tái)，那是要錢(qián)的，現(xiàn)在錢(qián)也有了。這張照片是我周五剛剛拍的，在西二旗中關(guān)村軟件園，右邊旗桿這個(gè)地方的樓是北京市政府指定給云基地的，在云基地里面搞一個(gè)什么東西呢？叫集客共和國(guó)，GeekCafe,首先它是一個(gè)咖啡店，在里面干嗎？交流思想，思想是碰撞出來(lái)的。第二個(gè)叫GeekShow,實(shí)際上是一個(gè)展廳，大家做出來(lái)產(chǎn)品模型可以去販賣(mài)。第三個(gè)是GeekLab,大家可以坐下來(lái)在一起工作。我們搞這個(gè)東西干什么呢？我們實(shí)際上是想做一個(gè)實(shí)驗(yàn)，這個(gè)實(shí)驗(yàn)首先是發(fā)現(xiàn)了大數(shù)據(jù)有什么價(jià)值；第二個(gè)是團(tuán)結(jié)這幫集客，這幫很牛的工程師，這幫人代表了能力；第三是一個(gè)不成熟的產(chǎn)品的原型。有了這三樣之后，我們就可以把需求、研究、投資、產(chǎn)品、市場(chǎng)幾樣要素串聯(lián)起來(lái)。所以，參與這個(gè)集客共和國(guó)的這些人，有學(xué)者、工程師、媒體、投資人，你開(kāi)發(fā)一個(gè)東西，我們賣(mài)給大公司，由他開(kāi)發(fā)產(chǎn)品，我們抽個(gè) 10%,15%GeekLab就可以養(yǎng)活了。