進(jìn)入大數(shù)據(jù)行業(yè)的公司必須了解這六個(gè)問(wèn)題

之前參加了IC咖啡舉辦的Italk活動(dòng)，聽(tīng)取的有關(guān)大數(shù)據(jù)公司和產(chǎn)業(yè)機(jī)構(gòu)的講座，因此萌生出一個(gè)寫文章的沖動(dòng)，想對(duì)目前大數(shù)據(jù)產(chǎn)業(yè)中的一些錯(cuò)誤現(xiàn)象進(jìn)行討論.

陳宇認(rèn)為大數(shù)據(jù)是哲學(xué)層面上的問(wèn)題，屬于統(tǒng)計(jì)學(xué)范疇，部分揭示了大數(shù)據(jù)產(chǎn)業(yè)的本質(zhì)，但是實(shí)際上大數(shù)據(jù)這個(gè)概念自身就有著不同的詮釋。利用數(shù)據(jù)進(jìn)行軍事分析，產(chǎn)品定位，交通管理，風(fēng)險(xiǎn)管理，精準(zhǔn)營(yíng)銷等等，其實(shí)在幾十年前就有了。最早的保險(xiǎn)產(chǎn)品就是來(lái)源于偶然事件的概率分析，其參考?xì)v史數(shù)據(jù)分析，依據(jù)計(jì)算出的概率來(lái)，來(lái)對(duì)保險(xiǎn)產(chǎn)品進(jìn)行定價(jià)。中國(guó)古代的軍事學(xué)家孫臏在戰(zhàn)爭(zhēng)中，通過(guò)逐步減少行軍灶坑來(lái)迷惑對(duì)手，利用其師弟龐涓對(duì)數(shù)據(jù)信任，制造其帶領(lǐng)軍隊(duì)潰敗的假象，最后在對(duì)方輕敵冒進(jìn)的前提下，突襲了對(duì)手，贏得了戰(zhàn)爭(zhēng)勝利。因此數(shù)據(jù)分析其實(shí)在很久遠(yuǎn)的古代就存在了。為什么過(guò)去的數(shù)據(jù)分析換成了時(shí)髦的名稱大數(shù)據(jù)了呢？

相對(duì)于過(guò)去的數(shù)據(jù)，我們來(lái)討論大數(shù)據(jù)的含義：

１）過(guò)于一些記錄是以模擬形式出現(xiàn)的，或者以數(shù)據(jù)形式出現(xiàn)但是存貯在本地，不是公開(kāi)數(shù)據(jù)資源，沒(méi)有開(kāi)放給互聯(lián)網(wǎng)用戶，例如音樂(lè)、照片、視頻、監(jiān)控錄像等影音資料。現(xiàn)在這些數(shù)據(jù)不但數(shù)據(jù)量巨大，并且放到了互聯(lián)網(wǎng)上，開(kāi)放給整個(gè)互聯(lián)網(wǎng)用戶，其數(shù)量之大是前所未有了。舉個(gè)例子Facebook每天有18億張照片上傳或被傳播，形成了海量的開(kāi)放數(shù)據(jù)。

２）移動(dòng)互聯(lián)網(wǎng)出現(xiàn)后，移動(dòng)設(shè)備的很多傳感器收集了大量的用戶點(diǎn)擊行為數(shù)據(jù),已知iphone有3個(gè)傳感器，三星有6個(gè)傳感器。它們每天產(chǎn)生了大量的點(diǎn)擊數(shù)據(jù)，這些數(shù)據(jù)被某些公司所有擁有，形成用戶大量行為數(shù)據(jù)。

３）移動(dòng)地圖出現(xiàn)后，例如高德、百度、google地圖，其產(chǎn)生了大量的數(shù)據(jù)流數(shù)據(jù)，這些數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)代表一個(gè)屬性或一個(gè)度量值，但是這些地圖產(chǎn)生的流數(shù)據(jù)代表著一種行為、一種習(xí)慣，這些流數(shù)據(jù)經(jīng)頻率分析后會(huì)產(chǎn)生巨大的商業(yè)價(jià)值?；?a href='/map/ditu/' style='color:#000;font-size:inherit;'>地圖產(chǎn)生的數(shù)據(jù)流是一種新型的數(shù)據(jù)類型，在過(guò)去是不存在的。

４）進(jìn)入了社交網(wǎng)絡(luò)的年代后，互聯(lián)網(wǎng)行為主要由用戶參與創(chuàng)造，因此有大量的互聯(lián)網(wǎng)用戶創(chuàng)造出大量的社交行為數(shù)據(jù)。這些數(shù)據(jù)是過(guò)去不曾想像的，是海量的。某些數(shù)據(jù)代表特定人群的特點(diǎn)和個(gè)性。

５）電子商戶崛起帶來(lái)了大量網(wǎng)上交易行為，其產(chǎn)生了大量的交易數(shù)據(jù)，包含支付行為，查詢行為，物流運(yùn)輸、購(gòu)買行為等等，產(chǎn)生了海量的信息流和資金流數(shù)據(jù)。

６）傳統(tǒng)的互聯(lián)網(wǎng)入口轉(zhuǎn)向搜索引擎之后，用戶的搜索行為和提問(wèn)行為產(chǎn)生了海量數(shù)據(jù)。單位存貯價(jià)格的下降也為存儲(chǔ)這些數(shù)據(jù)提供了技術(shù)上的可能。

現(xiàn)在我們所指的大數(shù)據(jù)不同與過(guò)去傳統(tǒng)的數(shù)據(jù)，其產(chǎn)生方式、存儲(chǔ)載體、訪問(wèn)方式、表現(xiàn)形式、來(lái)源特點(diǎn)等都同傳統(tǒng)的數(shù)據(jù)不同。簡(jiǎn)單的講大數(shù)據(jù)范圍更接近于某個(gè)群體行為特點(diǎn)數(shù)據(jù)，全面的數(shù)據(jù)。移動(dòng)互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)創(chuàng)造出來(lái)了大量的行為數(shù)據(jù)。

大數(shù)據(jù)產(chǎn)業(yè)是朝陽(yáng)產(chǎn)業(yè)，任何一個(gè)想進(jìn)入此產(chǎn)業(yè)的公司和個(gè)人向先要思考好以下幾個(gè)問(wèn)題。

1數(shù)據(jù)在哪里？

2哪些是有用的數(shù)據(jù)？

3如何分析這些數(shù)據(jù)？（如何將非結(jié)構(gòu)化數(shù)據(jù)變成結(jié)構(gòu)化數(shù)據(jù)）

4需要用數(shù)據(jù)解決的問(wèn)題是什么？或者是分析后數(shù)據(jù)后提出的觀點(diǎn)是什么？

5如何展現(xiàn)你的數(shù)據(jù)和推理？（圖形、圖表、曲線、分值、評(píng)價(jià)、歸類、等級(jí)、概率、模型等等，大數(shù)據(jù)要么解決目前的問(wèn)題，要么支持你的假設(shè)，要們引導(dǎo)出另一個(gè)未知觀點(diǎn)）

6重新審核數(shù)據(jù)分析的邏輯和數(shù)據(jù)來(lái)源，是否可以展現(xiàn)一份可以經(jīng)過(guò)推敲的數(shù)據(jù)分析報(bào)告？

如果以上的問(wèn)題都可以解決，這時(shí)你可以進(jìn)入正產(chǎn)業(yè)。中國(guó)的大數(shù)據(jù)產(chǎn)業(yè)近幾年來(lái)逐漸升溫，政府有投入了大量的資金。目前正在困擾很多大數(shù)據(jù)公司的問(wèn)題是數(shù)據(jù)在哪里？目前我們了解的大數(shù)據(jù)來(lái)源主要有以下幾個(gè)方面；

1)電信運(yùn)行商（由于其提供互聯(lián)網(wǎng)接入服務(wù)，互聯(lián)網(wǎng)行為記錄數(shù)據(jù)）

2)第三方支付（支付行為產(chǎn)生的資金流和信息流數(shù)據(jù)）

3)電商平臺(tái)（阿里為代表，幾億的淘寶用戶和2萬(wàn)億的網(wǎng)絡(luò)購(gòu)買行為的數(shù)據(jù)）

4)社交平臺(tái)（微信和微博為代表的社區(qū)網(wǎng)絡(luò)產(chǎn)生的互聯(lián)網(wǎng)行為數(shù)據(jù)）

5)電子游戲平臺(tái)（大量用戶產(chǎn)生的數(shù)據(jù)）

6)移動(dòng)入口產(chǎn)生大量數(shù)據(jù)（包含移動(dòng)APP，導(dǎo)航，地圖等）

7)搜索引擎上產(chǎn)生的數(shù)據(jù)

除了這些新興的大數(shù)據(jù)來(lái)源，其實(shí)在傳統(tǒng)行業(yè)，由于很多數(shù)據(jù)是不能公開(kāi)和共享的，還有很多大數(shù)據(jù)來(lái)源沒(méi)有被重點(diǎn)關(guān)注。例如：

1)政府掌握的經(jīng)濟(jì)社會(huì)的統(tǒng)計(jì)數(shù)據(jù)

2)金融行業(yè)內(nèi)部交易和支付數(shù)據(jù)

3)醫(yī)療行業(yè)的病歷數(shù)據(jù)

4)教育行業(yè)的考試數(shù)據(jù)

5)交通運(yùn)輸行業(yè)物流數(shù)據(jù)

6)科學(xué)研究方面大量重復(fù)的論文、專利、科研實(shí)驗(yàn)的數(shù)據(jù)

7)生物工程、農(nóng)林牧漁等方面的數(shù)據(jù)