
悄悄來(lái)臨的大數(shù)據(jù)時(shí)代
如今,網(wǎng)購(gòu)已在悄悄改變著人們?cè)S多年以來(lái)形成的購(gòu)物方式。對(duì)于剛剛過去的11月11日,人們?nèi)杂洃洩q新,知名電商阿里巴巴通過旗下的天貓和淘寶,將“光棍節(jié)”變成“購(gòu)物狂歡節(jié)”。
阿里巴巴是做什么的?很多人會(huì)說(shuō)“電子商務(wù)”。但如果看電商交易的實(shí)質(zhì),實(shí)際上是“海量的信息和數(shù)據(jù)服務(wù)”——一句話,阿里巴巴的所作所為符合“大數(shù)據(jù)時(shí)代”的潮流特征。
繼“物聯(lián)網(wǎng)”、“云計(jì)算”之后,進(jìn)入2012年,“大數(shù)據(jù)”一詞被越來(lái)越多地提及。人們用它來(lái)描述、定義信息爆炸時(shí)代產(chǎn)生的海量數(shù)據(jù),并命名與之相關(guān)的技術(shù)發(fā)展與創(chuàng)新。
“大數(shù)據(jù)并非突然產(chǎn)生的,實(shí)際上,IBM、谷歌和亞馬遜等大企業(yè)早已開始利用它。這個(gè)概念之所以能夠?yàn)楦嘈袠I(yè)所認(rèn)知,還是因?yàn)槿藗冊(cè)桨l(fā)看重它的應(yīng)用?!敝袊?guó)工程院院士、工信部通信科技委主任鄔賀銓表示。
“大數(shù)據(jù)時(shí)代”已經(jīng)來(lái)臨
最早提出“大數(shù)據(jù)”時(shí)代到來(lái)的是管理咨詢公司麥肯錫:“數(shù)據(jù),已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為重要的生產(chǎn)因素。人們對(duì)于海量數(shù)據(jù)的挖掘和運(yùn)用,預(yù)示著新一波生產(chǎn)率增長(zhǎng)和消費(fèi)者盈余浪潮的到來(lái)?!?/span>
什么是大數(shù)據(jù)?鄔賀銓引用了維基百科的定義:沒有辦法在允許的時(shí)間里用常規(guī)的軟件工具對(duì)內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。“當(dāng)然,大數(shù)據(jù)規(guī)模的標(biāo)準(zhǔn)是持續(xù)變化的,當(dāng)前泛指單一數(shù)據(jù)集的大小在幾十個(gè)TB(萬(wàn)億字節(jié))和幾個(gè)PB(千萬(wàn)億字節(jié))之間?!?/span>
大數(shù)據(jù)到底有多大?以下這組“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們:一天之中,百度大約要處理60億次搜索請(qǐng)求,達(dá)到幾十PB數(shù)據(jù);淘寶網(wǎng)站的交易達(dá)數(shù)千萬(wàn)筆,單日數(shù)據(jù)量超過20TB;聯(lián)通的用戶上網(wǎng)記錄一天達(dá)到10TB……
“如果說(shuō)第三次工業(yè)革命有各種各樣的標(biāo)記,那么信息技術(shù)發(fā)展到今天,大數(shù)據(jù)也是其中的一個(gè)標(biāo)記?!编w賀銓評(píng)價(jià)道。
大數(shù)據(jù)雖然孕育于信息通信技術(shù)的日漸普遍和成熟,但各行各業(yè)的有識(shí)之士認(rèn)為,它對(duì)社會(huì)經(jīng)濟(jì)生活產(chǎn)生的影響絕不僅限于技術(shù)層面。
挖掘“數(shù)據(jù)財(cái)富”
當(dāng)你仍把微博等社交平臺(tái)當(dāng)作抒情或者大發(fā)議論的工具時(shí),一些商界精英卻正在挖掘“數(shù)據(jù)財(cái)富”,先人一步用其判斷市場(chǎng)走勢(shì),從中獲得了不菲的收益。
通過分析網(wǎng)民的情感數(shù)據(jù),社交媒體監(jiān)測(cè)平臺(tái)DataSift發(fā)現(xiàn),社交網(wǎng)站臉譜(Facebook)申請(qǐng)上市發(fā)行股票的當(dāng)天,微博推特(Twitter)上的情感傾向與Facebook股價(jià)波動(dòng)基本上呈正相關(guān):在Facebook開盤前,如果Twitter上的情感逐漸轉(zhuǎn)向負(fù)面,25分鐘之后Facebook的股價(jià)便開始下跌;而當(dāng)Twitter上的情感轉(zhuǎn)向正面時(shí),F(xiàn)acebook股價(jià)在8分鐘后也隨之回彈……當(dāng)然,僅憑這些并不能證明Twitter的情感傾向會(huì)對(duì)股價(jià)產(chǎn)生影響,不過確實(shí)已經(jīng)有人試圖據(jù)此發(fā)現(xiàn)預(yù)測(cè)股價(jià)走勢(shì)的方法。
大數(shù)據(jù)的影響并不僅限于信息通信產(chǎn)業(yè),它還在“吞噬”、重構(gòu)一些傳統(tǒng)行業(yè)——從這個(gè)意義上講,廣泛運(yùn)用數(shù)據(jù)分析手段管理和優(yōu)化運(yùn)營(yíng)的公司其實(shí)質(zhì)都是一個(gè)數(shù)據(jù)公司。
鄔賀銓舉了個(gè)有趣的例子。美國(guó)target超市將女性顧客中的孕婦視作購(gòu)物的黃金消費(fèi)者。為了將這部分目標(biāo)人群在懷孕前就爭(zhēng)取過來(lái),該超市通過調(diào)查羅列出幾十種購(gòu)物偏好,當(dāng)某位顧客的收銀條上集中呈現(xiàn)這類商品時(shí),就會(huì)被認(rèn)定為可能是孕婦或家中有孕婦,并隨后向其發(fā)送孕婦產(chǎn)品廣告。一次,當(dāng)有人以“家中并無(wú)孕婦卻總是收到相關(guān)產(chǎn)品廣告”為由控告這家超市后,卻發(fā)現(xiàn)原來(lái)是自己還在上高中的女兒懷孕了。“這個(gè)例子告訴我們,利用購(gòu)物信息這個(gè)大數(shù)據(jù),商家可以進(jìn)一步分析、細(xì)分購(gòu)物群體,從而提升銷售額?!?/span>
此外,利用搜索關(guān)鍵詞,疾控部門可以預(yù)測(cè)、判斷某地流感暴發(fā)情況;通過關(guān)注社交網(wǎng)絡(luò)上“糖友”的交流與感悟,醫(yī)院和醫(yī)生可以獲得更好的糖尿病診療和康復(fù)經(jīng)驗(yàn)……據(jù)鄔賀銓介紹,不僅在商業(yè)方面,大數(shù)據(jù)在電網(wǎng)運(yùn)營(yíng)、交通管控、醫(yī)療服務(wù)等社會(huì)領(lǐng)域同樣存在著巨大的利用空間。
拿什么迎接“大數(shù)據(jù)時(shí)代”
如何利用這些大數(shù)據(jù),從而開發(fā)出其中的商業(yè)價(jià)值,已經(jīng)成為投資者、IT界人士以及政府公共管理部門普遍關(guān)心的問題。
2012年3月29日,美國(guó)政府宣布投資兩億美元拉動(dòng)大數(shù)據(jù)相關(guān)產(chǎn)業(yè)發(fā)展,將“大數(shù)據(jù)戰(zhàn)略”上升為國(guó)家意志。
最積極的當(dāng)屬眾多IT企業(yè)。IBM提出,繼上一個(gè)十年拋棄私人電腦業(yè)務(wù)成功轉(zhuǎn)向軟件和服務(wù)后,這次將更多地專注于大數(shù)據(jù)分析軟件帶來(lái)的全新業(yè)務(wù)增長(zhǎng)點(diǎn)。此外,有關(guān)“大數(shù)據(jù)”主題的并購(gòu)案層出不窮,并購(gòu)數(shù)量和規(guī)模都呈逐步上升態(tài)勢(shì)。其中,Oracle對(duì)Sun、惠普對(duì)Autonomy兩大并購(gòu)案總金額高達(dá)176億美元。
當(dāng)眾多國(guó)外企業(yè)競(jìng)相追逐大數(shù)據(jù)帶來(lái)的產(chǎn)業(yè)價(jià)值時(shí),還鮮有一家中國(guó)公司能夠躋身大數(shù)據(jù)開發(fā)的領(lǐng)先行列。
鄔賀銓表示,雖然現(xiàn)在國(guó)家從科技項(xiàng)目上開始重視大數(shù)據(jù),安排了一些研究,但感覺整體差距還很大。“這并非一些簡(jiǎn)單的科技項(xiàng)目就能解決的,應(yīng)該鼓勵(lì)擁有資源和能力的企業(yè)、部門去開發(fā)大數(shù)據(jù),因?yàn)樗麄儾攀钦嬲膽?yīng)用需求者,才是牽引技術(shù)的最重要力量?!?/span>
為了縮小在這場(chǎng)時(shí)代競(jìng)爭(zhēng)中的“起跑”差距,政府的主導(dǎo)作用顯得尤為重要。
“除特殊情況外(例如涉及國(guó)家機(jī)密和安全),政府部門應(yīng)該盡可能及時(shí)地發(fā)布、公開信息,鼓勵(lì)數(shù)據(jù)共享,幫助需求主體了解各行各業(yè)的整體情況。”鄔賀銓認(rèn)為,我國(guó)目前的狀況不是數(shù)據(jù)收集太少,而是共享太少。“擁有數(shù)據(jù)的部門沒有能力去分析,有分析能力的部門沒有數(shù)據(jù),各部門之間缺少協(xié)調(diào)合作,這實(shí)際上涉及一個(gè)體制問題?!?/span>
此外,擁有數(shù)據(jù)的企業(yè)或部門不知如何在保護(hù)好用戶隱私與安全的情況下使用大數(shù)據(jù),也是妨礙我國(guó)緊跟“大數(shù)據(jù)時(shí)代”的一大羈絆。
既然收集、整理、存儲(chǔ)大數(shù)據(jù)的門檻這么高,為什么不利用國(guó)外的平臺(tái)去做點(diǎn)什么?對(duì)此,鄔賀銓特別提示,國(guó)內(nèi)企業(yè)和相關(guān)部門要避免將自己的重要數(shù)據(jù)放到國(guó)外的分析應(yīng)用平臺(tái)。“這些看似無(wú)關(guān)的數(shù)據(jù),其實(shí)都跟企業(yè)發(fā)展策略、國(guó)家經(jīng)濟(jì)運(yùn)行狀況相關(guān),我們不能因?yàn)閲?guó)外的東西免費(fèi)好用而失去了對(duì)信息安全的警覺。”
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-18剛?cè)肼殘?chǎng)或是在職場(chǎng)正面臨崗位替代、技能更新、人機(jī)協(xié)作等焦慮的打工人,想要找到一條破解職場(chǎng)焦慮和升職瓶頸的系統(tǒng)化學(xué)習(xí)提升 ...
2025-07-182025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價(jià)值的煉金術(shù) ...
2025-07-18CDA 數(shù)據(jù)分析師:數(shù)據(jù)時(shí)代的價(jià)值挖掘者 在大數(shù)據(jù)席卷全球的今天,數(shù)據(jù)已成為企業(yè)核心競(jìng)爭(zhēng)力的重要組成部分。從海量數(shù)據(jù)中提取有 ...
2025-07-18SPSS 賦值后數(shù)據(jù)不顯示?原因排查與解決指南? 在 SPSS( Statistical Package for the Social Sciences)數(shù)據(jù)分析過程中,變量 ...
2025-07-18在 DBeaver 中利用 MySQL 實(shí)現(xiàn)表數(shù)據(jù)同步操作指南? ? 在數(shù)據(jù)庫(kù)管理工作中,將一張表的數(shù)據(jù)同步到另一張表是常見需求,這有助于 ...
2025-07-18數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價(jià)值的橋梁? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對(duì)這樣的場(chǎng)景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時(shí)代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動(dòng)的數(shù)據(jù)曲線尋找增長(zhǎng)密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)的實(shí)戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項(xiàng)” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實(shí)踐 在 MySQL 數(shù)據(jù)庫(kù)表結(jié)構(gòu)設(shè)計(jì)中,索引是提升查詢性能的核心手段。無(wú)論 ...
2025-07-16解析 MySQL Update 語(yǔ)句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫(kù)的日常運(yùn)維與開發(fā)中,開發(fā)者和 DBA 常會(huì) ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動(dòng)企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時(shí)代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無(wú)外鍵關(guān)聯(lián)表的 JOIN 實(shí)戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫(kù)的日常操作中,我們經(jīng)常會(huì)遇到需要整合多張表數(shù)據(jù)的場(chǎng)景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,面對(duì)海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫(kù)操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問題時(shí)有發(fā)生。 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11