進(jìn)入大數(shù)據(jù)行業(yè)的公司必須了解這六個問題

之前參加了IC咖啡舉辦的Italk活動，聽取的有關(guān)大數(shù)據(jù)公司和產(chǎn)業(yè)機構(gòu)的講座，因此萌生出一個寫文章的沖動，想對目前大數(shù)據(jù)產(chǎn)業(yè)中的一些錯誤現(xiàn)象進(jìn)行討論.

陳宇認(rèn)為大數(shù)據(jù)是哲學(xué)層面上的問題，屬于統(tǒng)計學(xué)范疇，部分揭示了大數(shù)據(jù)產(chǎn)業(yè)的本質(zhì)，但是實際上大數(shù)據(jù)這個概念自身就有著不同的詮釋。利用數(shù)據(jù)進(jìn)行軍事分析，產(chǎn)品定位，交通管理，風(fēng)險管理，精準(zhǔn)營銷等等，其實在幾十年前就有了。最早的保險產(chǎn)品就是來源于偶然事件的概率分析，其參考?xì)v史數(shù)據(jù)分析，依據(jù)計算出的概率來，來對保險產(chǎn)品進(jìn)行定價。中國古代的軍事學(xué)家孫臏在戰(zhàn)爭中，通過逐步減少行軍灶坑來迷惑對手，利用其師弟龐涓對數(shù)據(jù)信任，制造其帶領(lǐng)軍隊潰敗的假象，最后在對方輕敵冒進(jìn)的前提下，突襲了對手，贏得了戰(zhàn)爭勝利。因此數(shù)據(jù)分析其實在很久遠(yuǎn)的古代就存在了。為什么過去的數(shù)據(jù)分析換成了時髦的名稱大數(shù)據(jù)了呢？

相對于過去的數(shù)據(jù)，我們來討論大數(shù)據(jù)的含義：

１）過于一些記錄是以模擬形式出現(xiàn)的，或者以數(shù)據(jù)形式出現(xiàn)但是存貯在本地，不是公開數(shù)據(jù)資源，沒有開放給互聯(lián)網(wǎng)用戶，例如音樂、照片、視頻、監(jiān)控錄像等影音資料。現(xiàn)在這些數(shù)據(jù)不但數(shù)據(jù)量巨大，并且放到了互聯(lián)網(wǎng)上，開放給整個互聯(lián)網(wǎng)用戶，其數(shù)量之大是前所未有了。舉個例子Facebook每天有18億張照片上傳或被傳播，形成了海量的開放數(shù)據(jù)。

２）移動互聯(lián)網(wǎng)出現(xiàn)后，移動設(shè)備的很多傳感器收集了大量的用戶點擊行為數(shù)據(jù),已知iphone有3個傳感器，三星有6個傳感器。它們每天產(chǎn)生了大量的點擊數(shù)據(jù)，這些數(shù)據(jù)被某些公司所有擁有，形成用戶大量行為數(shù)據(jù)。

３）移動地圖出現(xiàn)后，例如高德、百度、google地圖，其產(chǎn)生了大量的數(shù)據(jù)流數(shù)據(jù)，這些數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)代表一個屬性或一個度量值，但是這些地圖產(chǎn)生的流數(shù)據(jù)代表著一種行為、一種習(xí)慣，這些流數(shù)據(jù)經(jīng)頻率分析后會產(chǎn)生巨大的商業(yè)價值?；?a href='/map/ditu/' style='color:#000;font-size:inherit;'>地圖產(chǎn)生的數(shù)據(jù)流是一種新型的數(shù)據(jù)類型，在過去是不存在的。

４）進(jìn)入了社交網(wǎng)絡(luò)的年代后，互聯(lián)網(wǎng)行為主要由用戶參與創(chuàng)造，因此有大量的互聯(lián)網(wǎng)用戶創(chuàng)造出大量的社交行為數(shù)據(jù)。這些數(shù)據(jù)是過去不曾想像的，是海量的。某些數(shù)據(jù)代表特定人群的特點和個性。

５）電子商戶崛起帶來了大量網(wǎng)上交易行為，其產(chǎn)生了大量的交易數(shù)據(jù)，包含支付行為，查詢行為，物流運輸、購買行為等等，產(chǎn)生了海量的信息流和資金流數(shù)據(jù)。

６）傳統(tǒng)的互聯(lián)網(wǎng)入口轉(zhuǎn)向搜索引擎之后，用戶的搜索行為和提問行為產(chǎn)生了海量數(shù)據(jù)。單位存貯價格的下降也為存儲這些數(shù)據(jù)提供了技術(shù)上的可能。

現(xiàn)在我們所指的大數(shù)據(jù)不同與過去傳統(tǒng)的數(shù)據(jù)，其產(chǎn)生方式、存儲載體、訪問方式、表現(xiàn)形式、來源特點等都同傳統(tǒng)的數(shù)據(jù)不同。簡單的講大數(shù)據(jù)范圍更接近于某個群體行為特點數(shù)據(jù)，全面的數(shù)據(jù)。移動互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)創(chuàng)造出來了大量的行為數(shù)據(jù)。

大數(shù)據(jù)產(chǎn)業(yè)是朝陽產(chǎn)業(yè)，任何一個想進(jìn)入此產(chǎn)業(yè)的公司和個人向先要思考好以下幾個問題。

1數(shù)據(jù)在哪里？

2哪些是有用的數(shù)據(jù)？

3如何分析這些數(shù)據(jù)？（如何將非結(jié)構(gòu)化數(shù)據(jù)變成結(jié)構(gòu)化數(shù)據(jù)）

4需要用數(shù)據(jù)解決的問題是什么？或者是分析后數(shù)據(jù)后提出的觀點是什么？

5如何展現(xiàn)你的數(shù)據(jù)和推理？（圖形、圖表、曲線、分值、評價、歸類、等級、概率、模型等等，大數(shù)據(jù)要么解決目前的問題，要么支持你的假設(shè)，要們引導(dǎo)出另一個未知觀點）

6重新審核數(shù)據(jù)分析的邏輯和數(shù)據(jù)來源，是否可以展現(xiàn)一份可以經(jīng)過推敲的數(shù)據(jù)分析報告？

如果以上的問題都可以解決，這時你可以進(jìn)入正產(chǎn)業(yè)。中國的大數(shù)據(jù)產(chǎn)業(yè)近幾年來逐漸升溫，政府有投入了大量的資金。目前正在困擾很多大數(shù)據(jù)公司的問題是數(shù)據(jù)在哪里？目前我們了解的大數(shù)據(jù)來源主要有以下幾個方面；

1)電信運行商（由于其提供互聯(lián)網(wǎng)接入服務(wù)，互聯(lián)網(wǎng)行為記錄數(shù)據(jù)）

2)第三方支付（支付行為產(chǎn)生的資金流和信息流數(shù)據(jù)）

3)電商平臺（阿里為代表，幾億的淘寶用戶和2萬億的網(wǎng)絡(luò)購買行為的數(shù)據(jù)）

4)社交平臺（微信和微博為代表的社區(qū)網(wǎng)絡(luò)產(chǎn)生的互聯(lián)網(wǎng)行為數(shù)據(jù)）

5)電子游戲平臺（大量用戶產(chǎn)生的數(shù)據(jù)）

6)移動入口產(chǎn)生大量數(shù)據(jù)（包含移動APP，導(dǎo)航，地圖等）

7)搜索引擎上產(chǎn)生的數(shù)據(jù)

除了這些新興的大數(shù)據(jù)來源，其實在傳統(tǒng)行業(yè)，由于很多數(shù)據(jù)是不能公開和共享的，還有很多大數(shù)據(jù)來源沒有被重點關(guān)注。例如：

1)政府掌握的經(jīng)濟社會的統(tǒng)計數(shù)據(jù)

2)金融行業(yè)內(nèi)部交易和支付數(shù)據(jù)

3)醫(yī)療行業(yè)的病歷數(shù)據(jù)

4)教育行業(yè)的考試數(shù)據(jù)

5)交通運輸行業(yè)物流數(shù)據(jù)

6)科學(xué)研究方面大量重復(fù)的論文、專利、科研實驗的數(shù)據(jù)

7)生物工程、農(nóng)林牧漁等方面的數(shù)據(jù)