
大數(shù)據(jù)正在加速落地。中國政府出臺大數(shù)據(jù)刺激計(jì)劃只是時(shí)間早晚問題,企業(yè)家正在通過各種渠道去影響政府,希望其盡快承擔(dān)起大數(shù)據(jù)開放和利用的牽頭職責(zé)。
大數(shù)據(jù)從民到官,尋找新大陸
兩會期間,與大數(shù)據(jù)相關(guān)的提案呈現(xiàn)出井噴之勢。李彥宏在政協(xié)記者會上表示,政府應(yīng)該把更多和人民生活有關(guān)的數(shù)據(jù)資料,公開的放到網(wǎng)絡(luò)上;雷軍則直接建議將大數(shù)據(jù)納入國家戰(zhàn)略,推動大數(shù)據(jù)切實(shí)地用起來;科大訊飛劉慶峰建議國家建設(shè)聲紋數(shù)據(jù)庫進(jìn)行大數(shù)據(jù)反恐。張近東、馬化騰、楊元慶的提案也與數(shù)據(jù)應(yīng)用有著緊密聯(lián)系。
大數(shù)據(jù)的重要性正在從科研理論群體轉(zhuǎn)向政府決策部門,而中間的橋梁是企業(yè)。這種自下而上的推動與美國的大數(shù)據(jù)發(fā)展走的是截然不同的道路。最終仍將走到相同的目的地:政府即是大數(shù)據(jù)產(chǎn)業(yè)的規(guī)劃指導(dǎo)者,也是實(shí)踐者,殊途同歸。
一方面,政府管理國家的過程中不斷收集到海量數(shù)據(jù)并存檔在案;而另一方面,政府又需要不斷去統(tǒng)計(jì)、分析、預(yù)測這個(gè)國家的一些宏觀情況,輔助決策。公安、媒體、金融、衛(wèi)生、教育、貿(mào)易等行業(yè)都在不斷積累數(shù)據(jù),政府因?yàn)楸O(jiān)管的需要又會對這些數(shù)據(jù)進(jìn)行匯總。統(tǒng)計(jì)局,測繪局、氣象局等部門則是直接在做數(shù)據(jù)的收集、分析或者利用。
政府掌握的海量數(shù)據(jù)如果能進(jìn)行適度地開放,加載互聯(lián)網(wǎng)便捷的查詢能力和挖掘能力,將會釋放出巨大的價(jià)值。一些原本未曾主動收集的數(shù)據(jù),政府如果推動其收集,也將爆發(fā)巨大能力。馬航失事便被一些人士認(rèn)為是落后的數(shù)據(jù)同步技術(shù),而聲紋數(shù)據(jù)庫如若建立則可以進(jìn)行反恐,建立指紋數(shù)據(jù)庫則可幫助打擊兒童拐賣。
這些數(shù)據(jù)擁有巨大的社會、科研、民生和經(jīng)濟(jì)價(jià)值。
大數(shù)據(jù)成為新的調(diào)查方式,輔助決策
兩會期間,中國政府的官方媒體CCTV在新聞報(bào)道中正在越來越多地利用大數(shù)據(jù)的研究成果,例如百度指數(shù)、百度新聞熱搜榜?;诖髷?shù)據(jù)的分析報(bào)告更加全局、客觀和直觀。數(shù)據(jù)是世界的真實(shí)映射。分析報(bào)告則反映了世界在空間和時(shí)間維度上的特性。大數(shù)據(jù)真正的優(yōu)勢是,它的數(shù)據(jù)收集、統(tǒng)計(jì)是自動化的,分析是智能化的挖掘。
新聞和大數(shù)據(jù)的關(guān)聯(lián),基于以下幾個(gè)特性實(shí)時(shí)性、海量樣本、數(shù)據(jù)挖掘、真實(shí)表達(dá)等。因此大數(shù)據(jù)成為媒體報(bào)道熱衷的新手段快、準(zhǔn)、新、真。百度積累的是表征人們需求的搜索數(shù)據(jù),反映民意和國情;阿里掌握著交易數(shù)據(jù)和信用數(shù)據(jù),甚至可以預(yù)知經(jīng)濟(jì)走向,金融危機(jī)前馬云便可基于B2B交易數(shù)據(jù)的變化,提前預(yù)知,這便是阿里的大數(shù)據(jù)場景;騰訊擅長社交和關(guān)系數(shù)據(jù)。在新聞媒體上都有發(fā)揮空間。
在大數(shù)據(jù)的運(yùn)用上,新聞媒體充當(dāng)了先鋒派,但大數(shù)據(jù)的價(jià)值絕不僅僅止于此。
大數(shù)據(jù)是調(diào)查的一種手段。兩會代表問政建議(提案、議案),政府部門決策,都在越來越多地依托百度這樣的大數(shù)據(jù)服務(wù),從數(shù)據(jù)挖掘中獲得科學(xué)決策的智力支持。
馬化騰的利用互聯(lián)網(wǎng)技術(shù)推進(jìn)食品安全監(jiān)督,如果能利用RFID射頻技術(shù)等對食品從種植到成長到運(yùn)輸?shù)戒N售整個(gè)流程進(jìn)行數(shù)據(jù)收集,食品安全監(jiān)督自然更容易。還可以定期基于大數(shù)據(jù)分析出不同地域、不同類型、不同品牌的食品安全問題,進(jìn)行預(yù)警提醒。
基于空間和時(shí)間兩個(gè)緯度統(tǒng)計(jì)空氣質(zhì)量變化,可以輔助環(huán)保部門進(jìn)行空氣治理規(guī)劃。基于高中生專業(yè)意向的收集統(tǒng)計(jì),則可以指導(dǎo)教育部門和高校進(jìn)行更科學(xué)合理的招生計(jì)劃。
互聯(lián)網(wǎng)大數(shù)據(jù)誰先落地?
搜索引擎天生就在做數(shù)據(jù)生意。百度擁有兩種類型的大數(shù)據(jù):用戶搜索表征的需求數(shù)據(jù);爬蟲和阿拉丁獲取的公共web數(shù)據(jù)。百度是匯聚國情、民意的大數(shù)據(jù)的最大平臺,包括搜索及點(diǎn)擊行為、貼吧知道百科等UGC內(nèi)容、基于位置服務(wù)(LBS)數(shù)據(jù)、收集到的海量第三方的網(wǎng)站數(shù)據(jù),甚至包括微博)。它擁有一座需求和民意數(shù)據(jù)的金礦。
阿里更多的是電商和信用相關(guān)的數(shù)據(jù),在經(jīng)濟(jì)、金融、貿(mào)易等相關(guān)領(lǐng)域的影響力不容小覷;騰訊的則是社交數(shù)據(jù),由于封閉的特性使之?dāng)?shù)據(jù)量不可能貫穿整個(gè)(移動)互聯(lián)網(wǎng),但其數(shù)據(jù)在輿情監(jiān)測、廣告營銷等方面仍十分具有價(jià)值。
整體而言,百度更容易落地大數(shù)據(jù)。數(shù)據(jù)優(yōu)勢主要有,
1.量大、面廣:百度是中國流量排名第一的網(wǎng)站,在移動端擁有超過14個(gè)過億的App。它們均會形成數(shù)據(jù)的積淀;數(shù)十萬臺服務(wù)器組成的爬蟲集群每天不遺余力地到處去收集優(yōu)質(zhì)數(shù)據(jù)。阿拉丁計(jì)劃則是鼓勵(lì)站長主動將數(shù)據(jù)接入百度,移動端則是百度云,App通過百度云的LBS等服務(wù)為其貢獻(xiàn)數(shù)據(jù)。海量的數(shù)據(jù)支撐著樣本的有效性。
2.及時(shí)甚至超前:實(shí)時(shí)反饋,數(shù)據(jù)收集、回傳、分析在物聯(lián)網(wǎng)、4G技術(shù)和云計(jì)算的支持下,將會更加容易。相比之下,傳統(tǒng)調(diào)研有時(shí)滯。而基于海量大數(shù)據(jù)的運(yùn)算結(jié)果甚至可以可以預(yù)測未來,例如Google流感,百度遷徙,Twitter股市。
3.調(diào)研對象跟蹤:一般調(diào)查只是一次或者幾次,很難對一個(gè)樣本進(jìn)行持續(xù)跟蹤。而百度大數(shù)據(jù)則可以對一個(gè)對象進(jìn)行持續(xù)跟蹤,進(jìn)行不同時(shí)期緯度的分析。前提是不影響該對象的生活和隱私情況。
4、強(qiáng)大的數(shù)據(jù)技術(shù):百度是中國最具技術(shù)基因的互聯(lián)網(wǎng)巨頭。百度在建立索引過程中需要去解析網(wǎng)頁,去理解超鏈接,去分析原網(wǎng)頁文本內(nèi)容,在處理搜索時(shí)需嘗試?yán)斫庥脩粑寤ò碎T的輸入請求。這些事情實(shí)際上鍛煉了百度對非結(jié)構(gòu)化的互聯(lián)網(wǎng)數(shù)據(jù)的分析處理能力。而百度在硬件設(shè)施,例如集群機(jī)房等方面的布局也不含糊。
騰訊的大數(shù)據(jù)應(yīng)用主要是用來改進(jìn)產(chǎn)品,廣點(diǎn)通算小試牛刀;阿里則是要做數(shù)據(jù)的分享交易集市,在搭建數(shù)據(jù)的流通、收集和分享的底層架構(gòu)。十分遠(yuǎn)大的理想,還需假以時(shí)日。百度是研究與實(shí)踐結(jié)合,除了百度指數(shù)、百度沸點(diǎn)、百度統(tǒng)計(jì)、百度遷徙等成功案例之外,李彥宏去年向政治局常委講解大數(shù)據(jù),對百度的大數(shù)據(jù)能力也是一種肯定。
互聯(lián)網(wǎng)是冰山一角,大數(shù)據(jù)更多在BAT之外
央視數(shù)據(jù)新聞的應(yīng)用取得成功,值得肯定。但大數(shù)據(jù)的價(jià)值遠(yuǎn)不止此,它可以支持媒體收集民意,反饋真實(shí)世界,它可以幫助BAT開拓新的業(yè)務(wù)和嘗試新的研究。但數(shù)據(jù)更大的想象空間則是其與政府?dāng)?shù)據(jù)結(jié)合,與行業(yè)數(shù)據(jù)結(jié)合。大數(shù)據(jù)在BAT之外。
移動互聯(lián)網(wǎng),設(shè)備數(shù)量爆發(fā)式增長。而4G來臨,移動互聯(lián)網(wǎng)的網(wǎng)絡(luò)瓶頸被突破之后,包括物聯(lián)網(wǎng)、可穿戴設(shè)備、車聯(lián)網(wǎng)、智能醫(yī)療、智能家居等在內(nèi)的智能硬件產(chǎn)業(yè)行將爆發(fā),這些設(shè)備將源源不斷地產(chǎn)生、收集、回傳數(shù)據(jù)到云端。目前爆發(fā)的大數(shù)據(jù)只能算核彈級別,真正的大數(shù)據(jù)爆發(fā)會是氫彈級別的規(guī)模。
在經(jīng)濟(jì)方面,移動支付確保了及時(shí)、細(xì)粒度和全面的交易數(shù)據(jù)收集,進(jìn)而可以對經(jīng)濟(jì)進(jìn)行更加準(zhǔn)確、有說服力、有時(shí)效性的監(jiān)測。這會影響什么呢?CPI、GDP統(tǒng)計(jì)可以細(xì)化到分鐘,可以進(jìn)行預(yù)警管控。各個(gè)行業(yè)的交易額、市場份額數(shù)據(jù)也可自動化統(tǒng)計(jì),而不再是調(diào)研公司抽樣完成,后者說服力不夠。
在教育方面,互聯(lián)網(wǎng)教育收集更豐富的教育數(shù)據(jù)。可以進(jìn)行師資力量的調(diào)配,可以針對學(xué)習(xí)情況對課程進(jìn)行改進(jìn)優(yōu)化,可以基于學(xué)生學(xué)習(xí)的跟蹤進(jìn)行教育研究。
在金融方面,有股市股價(jià)預(yù)測、存款波動監(jiān)控、基于保險(xiǎn)理賠的大數(shù)據(jù)分析推出新產(chǎn)品;在工業(yè)方面,可以根據(jù)市場消費(fèi)、口碑的大數(shù)據(jù)了解不同地域、不同性別、不同人群的消費(fèi)行為特征進(jìn)行精準(zhǔn)營銷甚至反向定制。在通信方面,可以根據(jù)人群流動情況、話務(wù)情況的歷史規(guī)律動態(tài)自動調(diào)配基站載波進(jìn)行節(jié)能管理。
地方政府如果能積極開放數(shù)據(jù),例如一些信息查詢連接到App,則可以提高辦事效率和群眾滿意度;如果能積極利用數(shù)據(jù),基于交通大數(shù)據(jù)進(jìn)行城市規(guī)劃、道路規(guī)劃、紅綠燈規(guī)劃緩解擁堵,基于流感趨勢預(yù)測進(jìn)行疾病預(yù)警控制,基于用戶搜索情況了解本地民意、關(guān)注點(diǎn)、輿情等,這比一些官員微服私訪收集民意效率更高。
在新聞報(bào)道上的大數(shù)據(jù)應(yīng)用,是互聯(lián)網(wǎng)表達(dá)民意的一大社會進(jìn)步,這還遠(yuǎn)遠(yuǎn)不夠,從春節(jié)到兩會,大數(shù)據(jù)是先鋒派的新聞界在用,一些大數(shù)據(jù)先行者例如百度發(fā)揮得還不算多,用它的也不多,大都是淺嘗輒止。各個(gè)行業(yè)都應(yīng)該多利用大數(shù)據(jù)幫助科學(xué)決策。
大數(shù)據(jù)在經(jīng)濟(jì)、社會、民生等領(lǐng)域都大有可為。它不再是云里霧里,不再是紙上談兵,不再是巨頭的游戲,而是落到實(shí)處,不斷圈入新玩家,探索新模式,創(chuàng)造新價(jià)值。雖然大數(shù)據(jù)在各行各業(yè)都存在且具備應(yīng)用價(jià)值,但技術(shù)+數(shù)據(jù)驅(qū)動的互聯(lián)網(wǎng)行業(yè)才是排頭兵。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請求開發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營問題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當(dāng)下,精準(zhǔn)營銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場景中,聚類分析作為 “無監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10