大數(shù)據(jù)如何讓你1秒鐘看懂100萬份Excel

馬克思·韋伯有一個(gè)著名論斷，大致是：所謂資本主義，就是用計(jì)算的方式?jīng)Q定所有市場行為。看看我們周遭的世界：如今每天誕生的數(shù)據(jù)量相當(dāng)于人類從公元元年至大約一千年產(chǎn)生數(shù)據(jù)的總和；Twitter每小時(shí)誕生的數(shù)據(jù)量遠(yuǎn)超17世紀(jì)一個(gè)英國人窮盡一生接收到的信息量；2018年全球大數(shù)據(jù)方面的開支將達(dá)到令人咋舌的1140億美元……馬克思·韋伯忘了教導(dǎo)世人，在這個(gè)變量日趨混亂的時(shí)代，若想用計(jì)算的方式?jīng)Q定市場行為，該如何分辨出隨數(shù)據(jù)洪流裹挾而至的福音與噪音?！拔磥頂?shù)據(jù)將會(huì)像石油一樣成為根本性資源”，但別忘了，倘若這個(gè)世界沒有汽車和飛機(jī)，那么石油的歸宿或許仍然是印第安人涂在身上的顏料和騙子手中的“萬能藥膏”。

嗯，現(xiàn)在對(duì)任何機(jī)構(gòu)而言，大數(shù)據(jù)都催生出了更加多元的業(yè)務(wù)邏輯，但與石油一樣，大數(shù)據(jù)是手段而非目的，如何讓數(shù)據(jù)落地，真正降低決策成本，才是那些希望置身數(shù)據(jù)浪潮之巔的CIO/CTO們?cè)撍伎嫉暮诵膯栴}。

大體而言，大數(shù)據(jù)的整個(gè)產(chǎn)業(yè)鏈環(huán)節(jié)包括采集—處理—分析—可視化。在我看來，盡管身為視覺動(dòng)物，但不少人都極易低估最后一環(huán)——大數(shù)據(jù)可視化的作用。所謂大數(shù)據(jù)可視化，即是通過分析工具，把繁雜多維的數(shù)據(jù)用藝術(shù)化的視覺語言表達(dá)出來，發(fā)掘隱匿在數(shù)據(jù)之中的潛在價(jià)值，用海云數(shù)據(jù)創(chuàng)始人馮一村的話說，就是“讓人一秒鐘之內(nèi)看懂100萬份Excel的數(shù)據(jù)信息?！?1月3日，這家曾被比爾蓋茨造訪，行事卻頗為低調(diào)的數(shù)據(jù)運(yùn)營商，發(fā)布了最新產(chǎn)品圖易4.0，一款自助完成數(shù)據(jù)可視化的在線工具，公開資料顯示，世界500強(qiáng)中已有76家購買過這家數(shù)據(jù)公司產(chǎn)品和服務(wù)。

嗯，大數(shù)據(jù)可視化更像一種新的媒介，將比特洪流以一種界面友好的藝術(shù)形式翻譯成可信賴的決策工具。當(dāng)然，毫無疑問，所謂藝術(shù)性終究要?dú)w于用戶體驗(yàn)的范疇，大數(shù)據(jù)可視化的唯一目的其實(shí)頗為直白：有用。

畢竟在互聯(lián)網(wǎng)時(shí)代，我們已經(jīng)聽過太多沒用的概念。

數(shù)據(jù)在流動(dòng)，只是你看不見

凱文·凱利先生曾說過：“數(shù)據(jù)并非用來收藏和存儲(chǔ)，它們需要的是流動(dòng)，與其他數(shù)據(jù)相連接，數(shù)據(jù)處于流動(dòng)狀態(tài)，才能發(fā)揮出更為強(qiáng)大的作用?！倍S著數(shù)據(jù)指數(shù)級(jí)的擴(kuò)張，數(shù)據(jù)的自身形態(tài)似乎也在向更易“流動(dòng)”的方向悄然進(jìn)化：資料顯示，在現(xiàn)存數(shù)據(jù)中有75%是“非結(jié)構(gòu)化數(shù)據(jù)”，并不是之前占據(jù)主流的“結(jié)構(gòu)性數(shù)據(jù)”。

所謂結(jié)構(gòu)性數(shù)據(jù)，一個(gè)不錯(cuò)的例子就是各單位人力部門的Excel表格：每位員工的姓名，年齡，籍貫，職位，政治面貌，畢業(yè)院?！瓧l條框框，清清楚楚，就像電子科技大學(xué)教授周濤所言：“處理這類數(shù)據(jù)，用一些簡單的機(jī)器學(xué)習(xí)辦法，如決策樹、神經(jīng)網(wǎng)絡(luò)等就能得到各個(gè)變量間的關(guān)聯(lián)，并做一些簡單預(yù)測。比如在某個(gè)職崗上到底是男性、還是女性，來自于什么地區(qū)，畢業(yè)于什么學(xué)校，可能他的績效更好?！?/span>

而非結(jié)構(gòu)化數(shù)據(jù)則藏匿于比特世界的各個(gè)角落，各種文字，語音，圖像，視頻，社交關(guān)系，空間軌跡……他們基本異構(gòu)且分別獨(dú)立，如同一座座信息孤島，人類自身不可能以類似“上帝視角”察覺各數(shù)據(jù)之間的相關(guān)性，也就難以協(xié)同工作，發(fā)揮這些數(shù)據(jù)本應(yīng)擁有的價(jià)值。

事實(shí)上，海量數(shù)據(jù)的孤島狀也是不少機(jī)構(gòu)駕馭數(shù)據(jù)的最大瓶頸。譬如，海云數(shù)據(jù)曾服務(wù)于某國內(nèi)最大的航空公司之一，其共有3600余套系統(tǒng)，數(shù)據(jù)龐大，但這些系統(tǒng)來自于不同的系統(tǒng)供應(yīng)商，異構(gòu)數(shù)據(jù)無法實(shí)現(xiàn)有助于商業(yè)決策的關(guān)聯(lián)分析。

非常遺憾的是，目前國內(nèi)企業(yè)在進(jìn)行大數(shù)據(jù)分析時(shí)，似乎仍以結(jié)構(gòu)化數(shù)據(jù)為主，部分原因當(dāng)然是市場上缺少真正有效且相對(duì)簡單的應(yīng)用工具。這也是我認(rèn)為圖易4.0的機(jī)會(huì)所在。

Palantir：數(shù)據(jù)宛如水晶球

非常值得關(guān)注的是，在海云數(shù)據(jù)的客戶名單里，不少都是像總理辦公室、地方公安局和交管局等政府職能部門，而談及特殊機(jī)構(gòu)與大數(shù)據(jù)運(yùn)營商的合作關(guān)系，若你對(duì)硅谷創(chuàng)業(yè)公司——尤其是創(chuàng)業(yè)公司的估值稍有了解，無疑會(huì)想起一個(gè)“大神”級(jí)的名字：Palantir。隨著最新一輪1.05億美金的融資，這家神秘的數(shù)據(jù)公司的估值達(dá)到了202億美金，是繼Uber，小米，Airbnb之后全球估值第四高的創(chuàng)業(yè)公司。

那么它究竟是干嘛的？這家由彼得·蒂爾擔(dān)任聯(lián)合創(chuàng)始人，2004年就已成立的公司因從事高度機(jī)密的數(shù)據(jù)分析工作而為人側(cè)目。據(jù)媒體報(bào)道，在它的客戶眼中，Palantir恰如《指環(huán)王》中白衣巫師薩魯曼用的水晶球一般，可看透那些暗藏于表象之外的真相?？纯碢alantir的傳奇履歷：它是美國CIA和FBI尋求的合作對(duì)象；它曾在戰(zhàn)亂之中的巴格達(dá)計(jì)算安全駕駛路線；幫銀行追回納斯達(dá)克前主席麥道夫隱藏的數(shù)十億美元巨款；據(jù)說曾幫助奧巴馬政府追捕本·拉登行動(dòng)；跟蹤沙門氏菌的爆發(fā)路徑；幫助摩根大通內(nèi)部定位網(wǎng)絡(luò)欺詐，當(dāng)然，它也可以幫助好時(shí)公司提升巧克力的銷售利潤。

那么Palantir是怎么做到的？簡單地講，就是通過復(fù)雜的算法和模型，讓機(jī)器擁有“上帝視角”，人類只需為它輸入各個(gè)維度的海量數(shù)據(jù)，再等它輸出我們迫切希望得知的結(jié)果即可，比如：到底哪里最有可能發(fā)生犯罪？嗯，想起《少數(shù)派報(bào)告》了么？

某種程度上，海云數(shù)據(jù)的產(chǎn)品甚至發(fā)展路徑都與Palantir極為相近。彼得·蒂爾曾坦言，一開始與CIA、FBI等機(jī)構(gòu)合作，流程要漫長許多，但換來的卻是最為有力的背書，這會(huì)增進(jìn)“普通”客戶對(duì)Palantir的信任感。所以，“中國的Palantir”？也許這才是海云數(shù)據(jù)最大的野心。

事實(shí)上，從上世紀(jì)50年代計(jì)算機(jī)圖形學(xué)的誕生，數(shù)據(jù)可視化已有幾十年的歷史。而若將視野拉至人類與數(shù)據(jù)的關(guān)系，從古埃及時(shí)代開始，人類就懂得用數(shù)據(jù)記錄日常。某種意義上，判別現(xiàn)代社會(huì)的一大標(biāo)準(zhǔn)，即是各個(gè)領(lǐng)域決策層——尤其執(zhí)政部門對(duì)于數(shù)字的駕馭程度，人類社會(huì)現(xiàn)代化進(jìn)程無時(shí)不在伴隨數(shù)據(jù)量的激增，因?yàn)閿?shù)字是陌生人在現(xiàn)代社會(huì)進(jìn)行精細(xì)化協(xié)作最為客觀的中介。更近一步講，似乎到了一個(gè)臨界點(diǎn)之后，數(shù)據(jù)被悄然賦予了世界主體的地位，成為一個(gè)獨(dú)立的世界。甚至在不少學(xué)者看來，比特才是這個(gè)宇宙運(yùn)行的基本粒子，它們存在于一個(gè)個(gè)“是”或“否”的判斷里，不可再分。倘若整個(gè)宇宙就是一臺(tái)處理數(shù)據(jù)的巨型計(jì)算機(jī)，那所謂“大數(shù)據(jù)可視化”也就是一個(gè)處于襁褓之中，還在不斷演變的概念了。

當(dāng)然了，至少在現(xiàn)階段，如巫師手中的“水晶球”那般，“讓人1秒鐘之內(nèi)看懂100萬份Excel數(shù)據(jù)信息”才是人們最為關(guān)心的，也是對(duì)大數(shù)據(jù)可視化的最佳定義。