大數(shù)據(jù)真如你所想嗎

應(yīng)該如何理解大數(shù)據(jù)

　　最初接觸大數(shù)據(jù)這個概念是在2013年，當(dāng)時市面上正在熱銷一個外國人寫的《大數(shù)據(jù)時代》，我還同時參加了這本書的主題分享。關(guān)于大數(shù)據(jù)這一概念并沒有一個確切的具體指向。它被用來描述大量貌似并不相關(guān)的不同類型數(shù)據(jù)的集合。大數(shù)據(jù)的功能之一是用來進行輔助決策。以前因為成本與技術(shù)的原因分析師獲得的總是很小的樣本，樣本數(shù)量的大小和隨機性，非常關(guān)鍵。數(shù)據(jù)的選擇不能摻雜任何人為的因素，這些人為的因素通常會使結(jié)果變得很主觀，同時也就失去了意義。這就意味著模型需要建得非常好，否則最終的結(jié)果就沒有價值，甚至適得其反。

　　大數(shù)據(jù)同時還可以解釋為那些大小已經(jīng)超出了傳統(tǒng)意義上的尺度，一般的軟件工具難以捕捉、存儲、管理和分析的數(shù)據(jù)。但是對于“大”的尺度確沒有確切的定義，早在1980年代，美國就有人提出了“大數(shù)據(jù)”的概念。30多年來，各個領(lǐng)域的數(shù)據(jù)量都在迅猛增長，美國的企業(yè)界、學(xué)術(shù)界也不斷地對這個現(xiàn)象及其意義進行探討，“大數(shù)據(jù)”這個名詞變得越來越流行、越來越重要，最后成為了國家和政府層面的發(fā)展戰(zhàn)略。

　　在今年5月26日2015貴陽國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上國務(wù)院總理李克強指出：“中國正在研究制定’互聯(lián)網(wǎng)＋’行動計劃，推動各行各業(yè)依托大數(shù)據(jù)創(chuàng)新商業(yè)模式，實現(xiàn)融合發(fā)展，推動提升政府科學(xué)決策和管理水平，用新的思路和工具解決交通、醫(yī)療、教育等公共問題……”由此大數(shù)據(jù)在我國也被上升到了國家層面。舉兩個在交通、醫(yī)療方面的例子：

　　在巴西，航空流量在過去的10年中增長迅速，預(yù)計每年的旅客數(shù)量到2030年將增長一倍還多，達到3.1億人次。可以預(yù)見到的天空中的擁堵問題日漸受到關(guān)注。為應(yīng)對這一問題，巴西開始導(dǎo)入GPS數(shù)據(jù)系統(tǒng)優(yōu)化可供使用的航線，減少長短途航線間的沖突。以前的做法是飛機排成一列等待降落，使用新系統(tǒng)后，每架飛機首先注冊自己的航道。每架飛機的位置，速度，和載荷能力，需要在最短的航道內(nèi)進行及時精確的處理。這樣飛機就可以沿著“曲線”更加靠近機場。在巴西利亞機場首次使用這套系統(tǒng)后，每架著陸的飛機平均節(jié)省了7分半鐘和77加侖的燃油，同時平均少飛了22海里。巴西計劃在全國的10家最繁忙的機場部署這套系統(tǒng)。據(jù)初步估計這套系統(tǒng)可以使機場的運力提升16%到59%，根據(jù)機場的實際條件有所不同。

　　醫(yī)療方面，互聯(lián)網(wǎng)巨頭谷歌公司在《自然》雜志上發(fā)表過一篇引人注目的論文，文中介紹了谷歌為什么能夠預(yù)測冬季流感的傳播。谷歌保存了多年來所有的搜索記錄，并且每天都會收到來自全球超過30億條的搜索指令，他們建立了一個關(guān)注特定檢索詞條的頻繁使用與流感在時間和空間上的傳播之間的聯(lián)系。他們的軟件發(fā)現(xiàn)了45條檢索詞條的組合，一旦將它們用于一個數(shù)學(xué)模型，他們的預(yù)測與官方數(shù)據(jù)的相關(guān)性就高達97%。

　　大數(shù)據(jù)的應(yīng)用還存在著一些難解的問題

　　大數(shù)據(jù)雖然看上去很美，但是現(xiàn)實中的進展依舊緩慢。在機場行業(yè)中，人們充滿了對使用大數(shù)據(jù)的熱情，但是現(xiàn)實的阻礙重重一時又找不到理想的解決辦法。

　　首先，缺乏透明度。交通基礎(chǔ)設(shè)施包括了復(fù)雜的網(wǎng)絡(luò)和眾多的參與者。拿機場舉例，不同的航空公司，地面處理公司，和零售商，再加上空管，乘客，和機場自己。每一方都在收集各自的數(shù)據(jù)，并且不愿意拿出來公開，這就有點像搞零售的人不愿意告訴別人倉庫在哪兒。但是如果能夠跟蹤乘客信息，將會給每一個人帶來便利。舉例來說，如果知道了腳步的分布情況，和移動情況，就可以優(yōu)化艙門的位置。這不止可以提高機場的容量，還可以提高機場免稅商品的零售收入。而實現(xiàn)的前提條件，就是所有的數(shù)據(jù)要整合到一起。

　　其次，如何分配利潤并且均攤成本，不同的機構(gòu)分享數(shù)據(jù)的目的總是不同的。航空公司需要的是更快的登機速度——這可以通過縮短登機距離來實現(xiàn)。但是機場商店則希望增加距離來提高機場商品的銷售。機場可能比較傾向于設(shè)施的便利性，但是同時也會要求靈活性，以便有什么突發(fā)事件后能夠快速恢復(fù)原狀。這些合起來想找到一個解決辦法，所有的參與其中的各方都各取所需，并不是一個簡單的任務(wù)。這需要一定程度的密切配合與信任，不容摻假。

　　最后，監(jiān)管限制?；A(chǔ)設(shè)施在某種程度上，是天然的壟斷行業(yè)。政府在其中扮演了無可取代的作用，確保運作的公平與低成本，并且也是唯一有可能收集并使用這些數(shù)據(jù)的，政府代表了公信力。但是這一切的前提是相關(guān)部門必須首先要被說服，接下來還必須說明什么樣的數(shù)據(jù)會被采集，如何使用，并且從這些數(shù)據(jù)的有效使用中最終的好處是什么。

　　谷歌預(yù)測流感的事例同樣存疑，大數(shù)據(jù)概念通常意味著所有數(shù)據(jù)的毫無主觀色彩的一般性。但是，不能摻雜人為因素在實際操作過程中，幾乎是不可能實現(xiàn)的，人在證明某樣?xùn)|西的時候往往帶有一定的目的性，而且完全脫離了人為假設(shè)的試驗本身也是不可想象的，最終面對的只是一堆毫無意義的數(shù)據(jù)垃圾。文章來源：CDA數(shù)據(jù)分析師官網(wǎng)