進(jìn)入大數(shù)據(jù)行業(yè)的公司必須了解這六個問題_數(shù)據(jù)分析師考試

相對于過去的數(shù)據(jù)，我們來討論大數(shù)據(jù)的含義：

１）過于一些記錄是以模擬形式出現(xiàn)的，或者以數(shù)據(jù)形式出現(xiàn)但是存貯在本地，不是公開數(shù)據(jù)資源，沒有開放給互聯(lián)網(wǎng)用戶，例如音樂、照片、視頻、監(jiān)控錄像等影音資料。現(xiàn)在這些數(shù)據(jù)不但數(shù)據(jù)量巨大，并且放到了互聯(lián)網(wǎng)上，開放給整個互聯(lián)網(wǎng)用戶，其數(shù)量之大是前所未有了。舉個例子Facebook每天有18億張照片上傳或被傳播，形成了海量的開放數(shù)據(jù)。

２）移動互聯(lián)網(wǎng)出現(xiàn)后，移動設(shè)備的很多傳感器收集了大量的用戶點(diǎn)擊行為數(shù)據(jù),已知iphone有3個傳感器，三星有6個傳感器。它們每天產(chǎn)生了大量的點(diǎn)擊數(shù)據(jù)，這些數(shù)據(jù)被某些公司所有擁有，形成用戶大量行為數(shù)據(jù)。

３）移動地圖出現(xiàn)后，例如高德、百度、google地圖，其產(chǎn)生了大量的數(shù)據(jù)流數(shù)據(jù)，這些數(shù)據(jù)不同于傳統(tǒng)數(shù)據(jù)，傳統(tǒng)數(shù)據(jù)代表一個屬性或一個度量值，但是這些地圖產(chǎn)生的流數(shù)據(jù)代表著一種行為、一種習(xí)慣，這些流數(shù)據(jù)經(jīng)頻率分析后會產(chǎn)生巨大的商業(yè)價(jià)值。基于地圖產(chǎn)生的數(shù)據(jù)流是一種新型的數(shù)據(jù)類型，在過去是不存在的。

４）進(jìn)入了社交網(wǎng)絡(luò)的年代后，互聯(lián)網(wǎng)行為主要由用戶參與創(chuàng)造，因此有大量的互聯(lián)網(wǎng)用戶創(chuàng)造出大量的社交行為數(shù)據(jù)。這些數(shù)據(jù)是過去不曾想像的，是海量的。某些數(shù)據(jù)代表特定人群的特點(diǎn)和個性。

５）電子商戶崛起帶來了大量網(wǎng)上交易行為，其產(chǎn)生了大量的交易數(shù)據(jù)，包含支付行為，查詢行為，物流運(yùn)輸、購買行為等等，產(chǎn)生了海量的信息流和資金流數(shù)據(jù)。

６）傳統(tǒng)的互聯(lián)網(wǎng)入口轉(zhuǎn)向搜索引擎之后，用戶的搜索行為和提問行為產(chǎn)生了海量數(shù)據(jù)。單位存貯價(jià)格的下降也為存儲這些數(shù)據(jù)提供了技術(shù)上的可能。

現(xiàn)在我們所指的大數(shù)據(jù)不同與過去傳統(tǒng)的數(shù)據(jù)，其產(chǎn)生方式、存儲載體、訪問方式、表現(xiàn)形式、來源特點(diǎn)等都同傳統(tǒng)的數(shù)據(jù)不同。簡單的講大數(shù)據(jù)范圍更接近于某個群體行為特點(diǎn)數(shù)據(jù)，全面的數(shù)據(jù)。移動互聯(lián)網(wǎng)和社交網(wǎng)絡(luò)創(chuàng)造出來了大量的行為數(shù)據(jù)。

大數(shù)據(jù)產(chǎn)業(yè)是朝陽產(chǎn)業(yè)，任何一個想進(jìn)入此產(chǎn)業(yè)的公司和個人向先要思考好以下幾個問題。

1數(shù)據(jù)在哪里？

2哪些是有用的數(shù)據(jù)？

3如何分析這些數(shù)據(jù)？（如何將非結(jié)構(gòu)化數(shù)據(jù)變成結(jié)構(gòu)化數(shù)據(jù)）

4需要用數(shù)據(jù)解決的問題是什么？或者是分析后數(shù)據(jù)后提出的觀點(diǎn)是什么？

5如何展現(xiàn)你的數(shù)據(jù)和推理？（圖形、圖表、曲線、分值、評價(jià)、歸類、等級、概率、模型等等，大數(shù)據(jù)要么解決目前的問題，要么支持你的假設(shè)，要們引導(dǎo)出另一個未知觀點(diǎn)）

6重新審核數(shù)據(jù)分析的邏輯和數(shù)據(jù)來源，是否可以展現(xiàn)一份可以經(jīng)過推敲的數(shù)據(jù)分析報(bào)告？

如果以上的問題都可以解決，這時(shí)你可以進(jìn)入正產(chǎn)業(yè)。中國的大數(shù)據(jù)產(chǎn)業(yè)近幾年來逐漸升溫，政府有投入了大量的資金。目前正在困擾很多大數(shù)據(jù)公司的問題是數(shù)據(jù)在哪里？目前我們了解的大數(shù)據(jù)來源主要有以下幾個方面；

1)電信運(yùn)行商（由于其提供互聯(lián)網(wǎng)接入服務(wù)，互聯(lián)網(wǎng)行為記錄數(shù)據(jù)）

2)第三方支付（支付行為產(chǎn)生的資金流和信息流數(shù)據(jù)）

3)電商平臺（阿里為代表，幾億的淘寶用戶和2萬億的網(wǎng)絡(luò)購買行為的數(shù)據(jù)）

4)社交平臺（微信和微博為代表的社區(qū)網(wǎng)絡(luò)產(chǎn)生的互聯(lián)網(wǎng)行為數(shù)據(jù)）

5)電子游戲平臺（大量用戶產(chǎn)生的數(shù)據(jù)）

6)移動入口產(chǎn)生大量數(shù)據(jù)（包含移動APP，導(dǎo)航，地圖等）

7)搜索引擎上產(chǎn)生的數(shù)據(jù)

除了這些新興的大數(shù)據(jù)來源，其實(shí)在傳統(tǒng)行業(yè)，由于很多數(shù)據(jù)是不能公開和共享的，還有很多大數(shù)據(jù)來源沒有被重點(diǎn)關(guān)注。例如：

1)政府掌握的經(jīng)濟(jì)社會的統(tǒng)計(jì)數(shù)據(jù)

2)金融行業(yè)內(nèi)部交易和支付數(shù)據(jù)

3)醫(yī)療行業(yè)的病歷數(shù)據(jù)

4)教育行業(yè)的考試數(shù)據(jù)

5)交通運(yùn)輸行業(yè)物流數(shù)據(jù)

6)科學(xué)研究方面大量重復(fù)的論文、專利、科研實(shí)驗(yàn)的數(shù)據(jù)

7)生物工程、農(nóng)林牧漁等方面的數(shù)據(jù)

目前在中國大數(shù)據(jù)產(chǎn)業(yè)投入最多的是政府，這是一個好事情，因?yàn)樵谥袊亲畲髷?shù)據(jù)的擁有者，最財(cái)大氣粗的投資者，最具有資源的市場參與者。如果政府可以有效利用手中的數(shù)據(jù)，經(jīng)過科學(xué)嚴(yán)謹(jǐn)?shù)姆治龊螅闷溥M(jìn)行資源的配置、重大經(jīng)濟(jì)決策、市場未來趨勢預(yù)見、經(jīng)濟(jì)風(fēng)險(xiǎn)提示、產(chǎn)業(yè)管理、投資管理、財(cái)政費(fèi)用管理、等，將有利于政府進(jìn)行宏觀調(diào)控、技術(shù)干預(yù)、行政管理、資源配置、財(cái)富分配。同時(shí)也有助于政府提高對公共事務(wù)包含社會福利的管理水平。

但是我發(fā)現(xiàn)目前很多政府參與的大數(shù)據(jù)產(chǎn)業(yè)集中在兩個領(lǐng)域，第一個搭建云計(jì)算和云存儲平臺，利用政府具有的資源，委托研究機(jī)構(gòu)搭建政府主導(dǎo)的大數(shù)據(jù)生態(tài)圈，讓企業(yè)將數(shù)據(jù)提供出來，政府提過產(chǎn)業(yè)機(jī)構(gòu)來幫助企業(yè)分析數(shù)據(jù)，提供大數(shù)據(jù)解決方案。簡單的講營造大數(shù)據(jù)平臺和生態(tài)圈，從事大數(shù)據(jù)收集和開發(fā)的工作。

第二個是委托具有大數(shù)據(jù)技術(shù)的公司，利用互聯(lián)網(wǎng)公開的數(shù)據(jù)和政府擁有的數(shù)據(jù)進(jìn)行輿情監(jiān)控，了解自己重視和關(guān)心的焦點(diǎn)問題，關(guān)注社會群體的輿論行為、社交行為，以及區(qū)域電商交易行為、服務(wù)投訴行為等等。簡單的講是利用互聯(lián)網(wǎng)采集技術(shù)來了解輿情，作為一種情報(bào)輸入來幫助政府來制定工作決策。

這兩種參與方式我都不十分贊同，第一種明顯是過度參與市場，政府應(yīng)該制定規(guī)則來幫助大數(shù)據(jù)產(chǎn)業(yè)健康發(fā)展，而不是作為運(yùn)動員參與產(chǎn)業(yè)發(fā)展。政府應(yīng)該制定相關(guān)制度，對不能采集和公開的數(shù)據(jù)進(jìn)行管理，保護(hù)個體利益，同時(shí)應(yīng)對大數(shù)據(jù)技術(shù)公司提供研發(fā)資金支持，鼓勵大數(shù)據(jù)企業(yè)利用技術(shù)研發(fā)實(shí)力來推動產(chǎn)業(yè)發(fā)展，幫企業(yè)解決問題。千萬不要搭建一個生態(tài)圈，產(chǎn)業(yè)平臺，政府委托的機(jī)構(gòu)會由于機(jī)制問題，效率較低，對人才和資源造成浪費(fèi)，最終會阻礙這個產(chǎn)業(yè)發(fā)展。第二種雖然有部分積極意義，但是個人覺得輿情監(jiān)控產(chǎn)生不了巨大的社會經(jīng)濟(jì)價(jià)值，投入的資金不會有效幫助整個社會的發(fā)展，反而在某些方面束縛了部分合理的商業(yè)行為，由于我們國家老百姓自身文化和科學(xué)常識的不全面，群體輿論的導(dǎo)向不一定代表正確的方向。前瞻性的政治經(jīng)濟(jì)決策往往來源于具有遠(yuǎn)見卓識的領(lǐng)導(dǎo)者，想一想我們的朱隆基總理在98年的幾大經(jīng)濟(jì)決策，國企改革、金融改革、住房改革、大學(xué)生分配改革等等，如果采用輿情監(jiān)控所得出的結(jié)論，肯定不能夠推行，因?yàn)槠溆绊懘蠖鄶?shù)人的利益。但是正是這幾個重大經(jīng)濟(jì)決策，將中國經(jīng)濟(jì)的活力釋放出來，使中國經(jīng)濟(jì)保持15年左右的高速發(fā)展。

最后對本文進(jìn)行個總結(jié)，大數(shù)據(jù)產(chǎn)業(yè)是中國未來的希望，是未來的朝陽行業(yè)，但各個企業(yè)不要過于冒進(jìn)，進(jìn)入這個產(chǎn)業(yè)的企業(yè)必須了解這六個問題，找到解決這六個問題的方法，以技術(shù)和數(shù)據(jù)為基礎(chǔ)，才能夠創(chuàng)造價(jià)值，通過大數(shù)據(jù)這個工具幫助和推動傳統(tǒng)產(chǎn)業(yè)發(fā)展。政府在大數(shù)據(jù)產(chǎn)業(yè)的定位應(yīng)該清晰，千萬不要成為產(chǎn)業(yè)的主要參與者，應(yīng)該從保護(hù)產(chǎn)業(yè)和個人、商業(yè)信息角度出發(fā)，成為產(chǎn)業(yè)規(guī)則制定者，產(chǎn)業(yè)技術(shù)投資者，大數(shù)據(jù)技術(shù)公司的投資者。政府應(yīng)該公布自己擁有的、不涉及國家利益和個人隱私，可以公開的大數(shù)據(jù)，為大數(shù)據(jù)產(chǎn)業(yè)提供土壤和陽光。政府應(yīng)該打破主要大數(shù)據(jù)公司對數(shù)據(jù)的壟斷、要求大數(shù)據(jù)擁有的公司將可以公開的數(shù)據(jù)公開，在保護(hù)客人和企業(yè)隱私前提下，為大數(shù)據(jù)產(chǎn)業(yè)提供數(shù)據(jù)來源。政府可以作為技術(shù)伯樂，推動產(chǎn)業(yè)進(jìn)行技術(shù)升級換代，成為大數(shù)產(chǎn)業(yè)發(fā)展的助推火箭。