大數(shù)據(jù)洶涌而來(lái)_數(shù)據(jù)分析師

IBM的研究稱，在整個(gè)人類(lèi)文明所獲得的全部數(shù)據(jù)中，有90%是在過(guò)去兩年內(nèi)產(chǎn)生的。而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到現(xiàn)在的44倍。

正如哈佛大學(xué)社會(huì)學(xué)教授加里·金所說(shuō)：“這是一場(chǎng)革命，龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開(kāi)始了量化進(jìn)程，無(wú)論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開(kāi)始這種進(jìn)程。”伴隨著移動(dòng)互聯(lián)網(wǎng)的普及，新增長(zhǎng)的數(shù)據(jù)數(shù)量更加遠(yuǎn)遠(yuǎn)超過(guò)互聯(lián)網(wǎng)時(shí)代。海量信息時(shí)代，如何對(duì)讓數(shù)據(jù)產(chǎn)生價(jià)值，如何讓數(shù)據(jù)更好地服務(wù)人們的日常生活，如何規(guī)避數(shù)據(jù)可能產(chǎn)生的風(fēng)險(xiǎn)，大數(shù)據(jù)的相關(guān)探討就此提上案頭。

什么是大數(shù)據(jù)？ 信息采集、管理和應(yīng)用是內(nèi)涵

互聯(lián)網(wǎng)的產(chǎn)生伴隨著數(shù)據(jù)的產(chǎn)生，數(shù)據(jù)也成為人們?nèi)粘Ｉ畹囊徊糠帧５?，大?shù)據(jù)究竟是什么？

“隨著網(wǎng)絡(luò)的全球化和全球網(wǎng)絡(luò)化，人類(lèi)生活方式和生產(chǎn)方式都有一個(gè)徹底的改變，人們都對(duì)海量信息有所依賴，包括海量信息的采集，海量信息的處理，海量信息的應(yīng)用，這個(gè)過(guò)程就是大數(shù)據(jù)時(shí)代的發(fā)展。”在日前舉辦的中美大數(shù)據(jù)高端論壇上，北京市經(jīng)濟(jì)和信息化委員會(huì)副主任梁勝談到，大數(shù)據(jù)可以理解為數(shù)據(jù)的采集，數(shù)據(jù)的處理和數(shù)據(jù)的應(yīng)用，“這是提高我們認(rèn)識(shí)這個(gè)社會(huì)的能力的過(guò)程，也是不重復(fù)勞動(dòng)的一個(gè)很重要的過(guò)程?！?/span>

從具體的應(yīng)用角度來(lái)看，IDG資本副總裁?？庹J(rèn)為，大數(shù)據(jù)包括大交易數(shù)據(jù)、大交互數(shù)據(jù)和大機(jī)器數(shù)據(jù)，包括越來(lái)越發(fā)達(dá)的移動(dòng)互聯(lián)網(wǎng)帶來(lái)的相關(guān)位置數(shù)據(jù)。

從數(shù)據(jù)價(jià)值的角度，TalkingData互聯(lián)網(wǎng)數(shù)據(jù)中心創(chuàng)始人崔曉波認(rèn)為，大數(shù)據(jù)可以分為三類(lèi)：第一類(lèi)是網(wǎng)絡(luò)基礎(chǔ)信息數(shù)據(jù)，包括終端信息、網(wǎng)絡(luò)信息，甚至包括無(wú)線和IP網(wǎng)點(diǎn)信息。第二類(lèi)是應(yīng)用相關(guān)的信息，主要是大量嵌入的移動(dòng)信息。第三類(lèi)是跟客戶交易的信息，包括瀏覽信息。

無(wú)論是從時(shí)代的宏觀角度還是數(shù)據(jù)應(yīng)用及數(shù)據(jù)價(jià)值的微觀角度，專家們都注重大數(shù)據(jù)的信息價(jià)值和所能帶給人們生活的服務(wù)價(jià)值。大數(shù)據(jù)時(shí)代，對(duì)人們活動(dòng)所產(chǎn)生數(shù)據(jù)的管理、挖掘和應(yīng)用是大數(shù)據(jù)的內(nèi)涵所在。

大數(shù)據(jù)價(jià)值何在？ 服務(wù)用戶，推動(dòng)社會(huì)發(fā)展是深度價(jià)值

大數(shù)據(jù)的價(jià)值不僅體現(xiàn)在互聯(lián)網(wǎng)企業(yè)的運(yùn)營(yíng)上，更體現(xiàn)在為現(xiàn)代生活服務(wù)上，包括政府、交通、醫(yī)療、教育等各個(gè)領(lǐng)域。

阿里巴巴數(shù)據(jù)科學(xué)家楊滔通過(guò)阿里巴巴實(shí)際項(xiàng)目闡釋了大數(shù)據(jù)的價(jià)值，他表示，他的團(tuán)隊(duì)以大數(shù)據(jù)為原材料，以機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘技術(shù)為工具，提升了阿里巴巴業(yè)務(wù)部門(mén)的業(yè)績(jī)。并且，在應(yīng)用實(shí)踐過(guò)程中，通過(guò)大數(shù)據(jù)研發(fā)核心算法和模型，可以為用戶提供更個(gè)性化的產(chǎn)品服務(wù)。

淘寶網(wǎng)數(shù)據(jù)人員開(kāi)發(fā)的達(dá)人模型算法就是一個(gè)實(shí)例。數(shù)據(jù)人員通過(guò)用戶經(jīng)常購(gòu)買(mǎi)的商品得到其基本數(shù)據(jù)，每個(gè)用戶結(jié)果不同，然后數(shù)據(jù)分析師將用戶分到不同的群體，在這個(gè)群體中再找到淘寶網(wǎng)達(dá)人買(mǎi)家，用達(dá)人買(mǎi)家喜歡的商品來(lái)給用戶做推送，提升用戶個(gè)性化的體驗(yàn)。“可能你是一個(gè)大學(xué)生，可能你是一個(gè)都市的美少女，可能你是一個(gè)小城網(wǎng)絡(luò)的貴婦。我們給用戶分成了很多類(lèi)，然后通過(guò)達(dá)人推薦，不同的氣候，不同的季節(jié)會(huì)有不同的調(diào)整，最后我們會(huì)有反饋，這都是通過(guò)大數(shù)據(jù)分析出來(lái)的。”楊滔說(shuō)道。

互聯(lián)網(wǎng)領(lǐng)域之外，大數(shù)據(jù)將產(chǎn)生更大的價(jià)值?！按髷?shù)據(jù)產(chǎn)業(yè)應(yīng)用領(lǐng)域廣闊。在科學(xué)研究方面，如生態(tài)監(jiān)測(cè)，全球海洋監(jiān)測(cè)網(wǎng)現(xiàn)在有3500多個(gè)浮標(biāo)在大洋當(dāng)中，能夠監(jiān)測(cè)海水的溫度、水流的動(dòng)向，能夠準(zhǔn)確做天氣預(yù)報(bào)。除了自然科學(xué)以外，還在社會(huì)科學(xué)、在線教育平臺(tái)、政府反腐、城市交通安排、工業(yè)互聯(lián)網(wǎng)、金融業(yè)等領(lǐng)域發(fā)揮重要作用?！痹迫A時(shí)代產(chǎn)業(yè)運(yùn)營(yíng)總監(jiān)孟曄表示，大數(shù)據(jù)確實(shí)能夠推動(dòng)科技的進(jìn)步。

DCCI的互聯(lián)網(wǎng)數(shù)據(jù)中心創(chuàng)始人胡延平則用一句話概括了大數(shù)據(jù)的價(jià)值，“如果只是日常的游戲、休閑娛樂(lè)，這是大數(shù)據(jù)初級(jí)應(yīng)用階段。高級(jí)階段的大數(shù)據(jù)將深入到生活，深入到日常的工作中?！辈徽撌菑纳钸€是工作來(lái)說(shuō)，大數(shù)據(jù)都將是未來(lái)社會(huì)的推動(dòng)力。

大數(shù)據(jù)有哪些問(wèn)題？ 開(kāi)放性、 標(biāo)準(zhǔn)化和安全性 三大核心問(wèn)題

作為新媒體時(shí)代的一個(gè)新興行業(yè)，大數(shù)據(jù)在發(fā)展的同時(shí)存在問(wèn)題。目前來(lái)看，數(shù)據(jù)開(kāi)放性、數(shù)據(jù)標(biāo)準(zhǔn)化管理和數(shù)據(jù)安全是大數(shù)據(jù)必須面對(duì)的三大核心問(wèn)題。

對(duì)于數(shù)據(jù)開(kāi)放性問(wèn)題，崔曉波認(rèn)為，中國(guó)更需要開(kāi)放的數(shù)據(jù)?！拔以c很多互聯(lián)網(wǎng)廣告平臺(tái)商交流，對(duì)于同一個(gè)指數(shù)，他們每一家都有一些數(shù)據(jù)，但是每家數(shù)據(jù)都有差別。中國(guó)的數(shù)據(jù)缺乏流動(dòng)性和開(kāi)放性，這也導(dǎo)致了中國(guó)互聯(lián)網(wǎng)廣告業(yè)態(tài)沒(méi)有做起來(lái)，當(dāng)廣告公司自己沒(méi)有數(shù)據(jù)時(shí)，很難找到一個(gè)第三方買(mǎi)到相應(yīng)的數(shù)據(jù)。在這方面，中國(guó)的資源是很稀缺的?！?/span>

與互聯(lián)網(wǎng)相比，移動(dòng)互聯(lián)網(wǎng)的數(shù)據(jù)則欠缺標(biāo)準(zhǔn)?！澳壳耙苿?dòng)互聯(lián)網(wǎng)很多數(shù)據(jù)都不太標(biāo)準(zhǔn)，不太規(guī)范。在互聯(lián)網(wǎng)上的數(shù)據(jù)衡量標(biāo)準(zhǔn)基本是一致的，UV（網(wǎng)站獨(dú)立訪客）的算法很一致，但移動(dòng)互聯(lián)網(wǎng)還沒(méi)有完成標(biāo)準(zhǔn)化的過(guò)程?！贝迺圆ㄕf(shuō)。

木瓜移動(dòng)市場(chǎng)副總裁常樂(lè)則認(rèn)為，技術(shù)問(wèn)題也是大數(shù)據(jù)當(dāng)前所面臨的問(wèn)題之一?！白鳛槠髽I(yè)，作為政府，作為小的開(kāi)發(fā)者，如何把所有的數(shù)據(jù)結(jié)合起來(lái)分析是一個(gè)難題?！彼劦?，從技術(shù)角度看，現(xiàn)在的技術(shù)或者是分析工具，遠(yuǎn)遠(yuǎn)達(dá)不到大數(shù)據(jù)發(fā)展的要求。

此外，現(xiàn)任美國(guó)Visa公司高級(jí)戰(zhàn)略規(guī)劃領(lǐng)導(dǎo)人Farshchi還表示，數(shù)據(jù)安全應(yīng)用是大數(shù)據(jù)時(shí)代企業(yè)面臨的嚴(yán)峻挑戰(zhàn)?！捌┤缫粋€(gè)銀行體系和金融體系，擁有龐大的數(shù)據(jù)，需要防衛(wèi)來(lái)自世界各個(gè)方面的攻擊，這實(shí)際上是一項(xiàng)非常具有挑戰(zhàn)性的工作。而且還有一個(gè)特性，對(duì)于這些攻擊者來(lái)講，只要有一次成功就成功了，可是對(duì)于企業(yè)來(lái)講，需要投入大量的人力物力來(lái)進(jìn)行防范?！保ㄎ恼聛?lái)源：CDA數(shù)據(jù)分析師）