
應(yīng)用大數(shù)據(jù)開(kāi)展分析預(yù)測(cè)真的重要嗎?
最近一段時(shí)間,筆者陸續(xù)看到一些非議大數(shù)據(jù)的文章,指出大數(shù)據(jù)的問(wèn)題和局限性。但我看到的幾乎所有文章,提出的問(wèn)題都是針對(duì)應(yīng)用大數(shù)據(jù)進(jìn)行分析預(yù)測(cè)而言。其實(shí),早在兩年前,我就看到過(guò)一則所謂大數(shù)據(jù)的寓言。話(huà)說(shuō)有一只小豬出生在豬圈里,從它出生起,每天就看到一些兩條腿的動(dòng)物在周?chē)邅?lái)走去,給它送一些吃的喝的。小豬高興的時(shí)候,就在泥里打滾;憂(yōu)傷的時(shí)候,就趴在豬圈里看夕陽(yáng)西下。經(jīng)過(guò)對(duì)幾百天的“大數(shù)據(jù)分析”,它得出結(jié)論“未來(lái)的日子也一定是這樣的”。終于,一場(chǎng)血腥的殺戮終結(jié)了它的大數(shù)據(jù)分析。臨死的時(shí)候,它恍然悟到“(此處省略?xún)蓚€(gè)字),大數(shù)據(jù)都是騙人的”。
其實(shí),寓言都是人編寫(xiě)創(chuàng)作的,為的是說(shuō)明作者的某種態(tài)度和觀點(diǎn)。而這則寓言的作者顯然回避了一些最為基本且重要的“劇情”,就是小豬的身邊還有沒(méi)有它的同類(lèi)。如果有,那么小豬不可能不看到其他同類(lèi)的下場(chǎng);如果它忽視了,那只能說(shuō)它的分析出了問(wèn)題,忽視了幾百天的時(shí)間內(nèi)其它同類(lèi)的命運(yùn)。如果這只小豬真的是一只遺腹子、獨(dú)生子女,前無(wú)古人后無(wú)來(lái)者,獨(dú)自在豬圈里住了幾百天,那么,還有什么其他方法能讓它對(duì)自己的命運(yùn)作出更加準(zhǔn)確的預(yù)測(cè)嗎?
當(dāng)年,谷歌曾經(jīng)準(zhǔn)確地對(duì)禽流感疫情作出預(yù)測(cè)判斷。但作為一個(gè)成功的案例卻好景不長(zhǎng),此后,谷歌的預(yù)測(cè)不準(zhǔn)了。于是,預(yù)測(cè)不準(zhǔn)又成了“反面教材”。在今年第二期《統(tǒng)計(jì)研究》雜志上,秦磊和謝邦昌先生從數(shù)據(jù)源和統(tǒng)計(jì)分析方法的角度,對(duì)這個(gè)經(jīng)典案例進(jìn)行了剖析。而同樣的道理是,即使谷歌后來(lái)的分析有各種問(wèn)題,但不依據(jù)大數(shù)據(jù)做出的、比谷歌的預(yù)測(cè)更加精準(zhǔn)的禽流感預(yù)測(cè)案例,有嗎?
2014年9月,國(guó)家統(tǒng)計(jì)局舉辦全國(guó)統(tǒng)計(jì)系統(tǒng)建模大賽。統(tǒng)計(jì)科研所的參賽隊(duì)伍利用百度關(guān)鍵詞搜索,對(duì)北京的房?jī)r(jià)走勢(shì)進(jìn)行了預(yù)測(cè)。有媒體擔(dān)心,統(tǒng)計(jì)部門(mén)如果做預(yù)測(cè),就難免會(huì)將自己的實(shí)際數(shù)字往預(yù)測(cè)數(shù)據(jù)上靠,就難免帶來(lái)數(shù)據(jù)的失真。其實(shí),利用搜索大數(shù)據(jù)分析房?jī)r(jià),一是為了在傳統(tǒng)數(shù)據(jù)尚未出爐之前,對(duì)形勢(shì)發(fā)展早一些做出預(yù)判;二是為了使評(píng)估傳統(tǒng)數(shù)據(jù)質(zhì)量時(shí)多了一個(gè)參照系。分析房?jī)r(jià)如此,分析預(yù)測(cè)其他方面的數(shù)據(jù)及趨勢(shì),意義同樣如是。對(duì)于其他研究人員、專(zhuān)家學(xué)者、主管部門(mén)而言,應(yīng)用大數(shù)據(jù)的意義或許主要就是分析和預(yù)測(cè),至少目前是這樣;但對(duì)政府統(tǒng)計(jì)部門(mén)和統(tǒng)計(jì)工作而言,應(yīng)用大數(shù)據(jù)的意義絕非僅限于此,更為重要的,還是將大數(shù)據(jù)作為統(tǒng)計(jì)的重要數(shù)據(jù)源。
有些質(zhì)疑的文章說(shuō),重視大數(shù)據(jù)的人,連什么是大數(shù)據(jù)也未必整得明白。其實(shí),從麥肯錫報(bào)告到維基百科,從涂子沛先生的《大數(shù)據(jù)》到工信部的白皮書(shū),對(duì)大數(shù)據(jù)的的定義都大同小異,概括起來(lái)就是三點(diǎn):體量大,電子化產(chǎn)生,數(shù)據(jù)與技術(shù)的集成。在大數(shù)據(jù)改變著我們的生活、我們生活的改變又時(shí)時(shí)催生出新的大數(shù)據(jù)的今天,越來(lái)越多的大數(shù)據(jù)成為與我們核心指標(biāo)的基礎(chǔ)性數(shù)據(jù)。不將其恰如其分地納入統(tǒng)計(jì)范圍,我們的核心指標(biāo)就面臨失真的風(fēng)險(xiǎn)。
前不久,有媒體報(bào)道,阿里集團(tuán)的年銷(xiāo)售額已達(dá)3萬(wàn)億元。這是什么概念呢?2015年全年,中國(guó)的社會(huì)消費(fèi)品零售總額為30萬(wàn)億元,國(guó)內(nèi)生產(chǎn)總值是67.7萬(wàn)億元。盡管不同指標(biāo)間或有口徑、范圍的差異,但作為一家電商企業(yè),阿里的市場(chǎng)份額和擴(kuò)張速度還是可以由此窺豹一斑的。而除了龍頭老大阿里之外,還有京東商城、1號(hào)店等諸多電商平臺(tái),規(guī)模和速度也不可小覷。網(wǎng)上零售的大數(shù)據(jù)將直接關(guān)系社會(huì)商品零售總額、行業(yè)增加值、居民消費(fèi)價(jià)格指數(shù)、居民消費(fèi)支出等諸多重要統(tǒng)計(jì)數(shù)據(jù)的準(zhǔn)確程度。同樣,當(dāng)很多人團(tuán)購(gòu)成為習(xí)慣、當(dāng)外賣(mài)攻陷校園、當(dāng)沒(méi)有一個(gè)人去影院買(mǎi)票卻可以滿(mǎn)場(chǎng)的時(shí)候,我們已經(jīng)到了絕不能再固守原有統(tǒng)計(jì)渠道及方法的時(shí)候。面對(duì)大數(shù)據(jù)帶來(lái)的改變,從法律法規(guī)到制度方法、到技術(shù)手段等諸多方面,變革真的迫在眉睫,真的刻不容緩。而這些,也真的比應(yīng)用大數(shù)據(jù)開(kāi)展分析預(yù)測(cè)更加重要和急迫。
數(shù)據(jù)分析咨詢(xún)請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢(xún)效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話(huà)題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類(lèi)型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專(zhuān)業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專(zhuān)業(yè)操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤(pán)手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶(hù)體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷(xiāo)案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷(xiāo)成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類(lèi)分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類(lèi)分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10