
都說(shuō)大數(shù)據(jù)可以預(yù)測(cè),那么它的界限在哪里
大數(shù)據(jù)必然會(huì)深刻地改變這個(gè)世界,這點(diǎn)是毋庸置疑的。但是從很多當(dāng)下的討論來(lái)看,大家似乎在大數(shù)據(jù)的使用邊界上走入了誤區(qū),這篇文章想具體探討下大數(shù)據(jù)能干什么以及不能干什么上的原則問(wèn)題。
大數(shù)據(jù)與預(yù)測(cè)
人們總是想預(yù)測(cè)未來(lái),因?yàn)檫@樣經(jīng)濟(jì)收益會(huì)非常大,作為結(jié)果就經(jīng)??吹酱髷?shù)據(jù)與票房預(yù)測(cè)的故事,有時(shí)準(zhǔn),有時(shí)不準(zhǔn)。
大數(shù)據(jù)確實(shí)可以用來(lái)做預(yù)測(cè),但是有能力邊界的,影響這個(gè)能力邊界的關(guān)鍵因素就是索羅斯經(jīng)常說(shuō)的反身性。反身性說(shuō)的是:參入者的思維與參入的情景之間相互聯(lián)系與影響,彼此無(wú)法獨(dú)立,認(rèn)知與參入處于永遠(yuǎn)的變化過(guò)程之中(百度百科)。反身性之所以對(duì)預(yù)測(cè)有影響,是因?yàn)樗鼤?huì)導(dǎo)致出現(xiàn)不連續(xù)的變化。
這在邏輯上很好理解,當(dāng)一件事物是連續(xù)變化的,你比較容易計(jì)算出它未來(lái)的狀態(tài),比如汽車(chē),我們只要知道它的速度,那就比較容易預(yù)測(cè)它下一刻的位置。但如果是充滿突變的混沌系統(tǒng),這種預(yù)測(cè)就很難實(shí)現(xiàn),汽車(chē)本來(lái)走的好好的,突然天上掉下一架飛機(jī)來(lái),那它當(dāng)然不會(huì)出現(xiàn)在本來(lái)預(yù)測(cè)的那個(gè)位置。所以做預(yù)測(cè),第一關(guān)鍵是這系統(tǒng)是不是一個(gè)混沌系統(tǒng),在充滿偶然的混沌系統(tǒng)里,基于數(shù)據(jù)的預(yù)測(cè)是無(wú)效的。而反身性正是導(dǎo)致混沌蝴蝶會(huì)出現(xiàn)的一個(gè)關(guān)鍵因素。
當(dāng)我們?nèi)ビ^察某個(gè)系統(tǒng)并采取行動(dòng)時(shí),系統(tǒng)本身會(huì)因?yàn)槲覀兊挠^察和行動(dòng)發(fā)生改變,這就是反身性。而當(dāng)每個(gè)人都這么做時(shí),那被觀察和操作的系統(tǒng)就會(huì)變成混沌系統(tǒng)。金融市場(chǎng)已經(jīng)充分說(shuō)明了這點(diǎn),如果大數(shù)據(jù)在預(yù)測(cè)上是沒(méi)邊界的,那只要掌握了大數(shù)據(jù)就應(yīng)用巧妙,那在金融市場(chǎng)上就沒(méi)人不會(huì)賠錢(qián),但顯然這是不可能的,最多是不同人輸贏的概率不同。
容易預(yù)測(cè)的與不容易預(yù)測(cè)的
如果一種現(xiàn)實(shí)更多地依賴于某些不易改變的因素,比如一種文化傳統(tǒng)、一種生物特性,那這種現(xiàn)實(shí)是容易被預(yù)測(cè)的;如果一種現(xiàn)實(shí)更多地依賴于可被瞬間改變的因素,比如:人們的心情,那這種現(xiàn)實(shí)是不容易預(yù)測(cè)的,甚至是不可預(yù)測(cè)的。
具體來(lái)講,人們生病后會(huì)檢索,而傳染病會(huì)擴(kuò)散,因此Google那種監(jiān)測(cè)傳染病暴發(fā)區(qū)域以及預(yù)測(cè)其可能擴(kuò)散路徑的大數(shù)據(jù)使用方式是極為有效的。在這里反身性并不起太大作用。
但股票就不行,因?yàn)槟阍陬A(yù)測(cè),別人也在預(yù)測(cè),買(mǎi)家和賣(mài)家的行動(dòng)又不一致,這就會(huì)使股票市場(chǎng)成為混沌系統(tǒng)。究竟怎么樣才能用大數(shù)據(jù)預(yù)測(cè)到國(guó)內(nèi)這波股票的上漲呢?
同傳染病和股票市場(chǎng)相比,電影票房的可預(yù)測(cè)性則在兩者之間。有必然性在支撐,比如基本上很垃圾的電影很難有好的票房,但偶然性影響也很大,你不好預(yù)測(cè)那個(gè)點(diǎn)戳到了人們的那個(gè)神經(jīng),它突然就變火了。誰(shuí)能預(yù)測(cè)《泰囧》的10億票房呢?所以我的判斷是在票房預(yù)測(cè)上,不管大數(shù)據(jù)怎么發(fā)展,它始終會(huì)處在時(shí)靈時(shí)不靈的狀態(tài)上,因?yàn)檫@根本不是個(gè)技術(shù)問(wèn)題。
總結(jié)來(lái)看,反身性作用越大的領(lǐng)域越不容易預(yù)測(cè),反之則預(yù)測(cè)的幫助會(huì)比較大。
監(jiān)測(cè)與預(yù)測(cè)
在預(yù)測(cè)上大數(shù)據(jù)必須面對(duì)自己的邊界問(wèn)題,但在監(jiān)測(cè)上大數(shù)據(jù)的威力是無(wú)遠(yuǎn)弗屆的。
我們這個(gè)世界的數(shù)據(jù)化程度一定是越來(lái)越高的,當(dāng)我們?cè)谏缃痪W(wǎng)絡(luò)中活動(dòng)時(shí),其實(shí)就是我們個(gè)人在不停數(shù)據(jù)化的過(guò)程,我們的偏好、關(guān)系、每日活動(dòng)等正在源源不斷的數(shù)據(jù)化過(guò)程中,如果可穿戴設(shè)備、智能家居發(fā)展起來(lái),那數(shù)據(jù)化的東西就會(huì)更多。
我在互聯(lián)網(wǎng)時(shí)代的方法論那系列文章里一直堅(jiān)持這樣一種觀點(diǎn):
互聯(lián)網(wǎng)正在生成一個(gè)與現(xiàn)實(shí)世界并行的很像黑客帝國(guó)的意識(shí)空間,而這個(gè)意識(shí)空間是數(shù)據(jù)化的。
理論上講,在這個(gè)空間里不存在信息不透明這回事,空間和時(shí)間不再成為阻隔信息流動(dòng)的障礙。所以不管你喜歡不喜歡,在數(shù)字化面前每個(gè)人正在變成透明人,也就是說(shuō)100%可監(jiān)測(cè)。
監(jiān)測(cè)與預(yù)測(cè)間的橋梁是必然邏輯和直覺(jué),直覺(jué)依賴于個(gè)人才情天分,放在一邊不提,主要談下必然邏輯。有必然邏輯在事情就有了發(fā)生的可能性,但不一定發(fā)生。這點(diǎn)比較不好理解,我們來(lái)看個(gè)例子:
我們談微信的時(shí)候更容易聚焦到張小龍打造產(chǎn)品的功力,往往容易忽視馬化騰和張小龍才是打造微信的組合。從公開(kāi)報(bào)道來(lái)看,當(dāng)時(shí)騰訊內(nèi)部是有很多團(tuán)隊(duì)同時(shí)在開(kāi)發(fā)移動(dòng)IM的,而這種投入很可能是基于“移動(dòng)互聯(lián)網(wǎng)才是真的互聯(lián)網(wǎng),騰訊必須在移動(dòng)互聯(lián)網(wǎng)的IM上占有統(tǒng)治地位”的假設(shè),在這種假設(shè)下馬化騰又有所謂的灰度理論,所以才有多支團(tuán)隊(duì)同時(shí)并進(jìn)。如果沒(méi)有這類頂層設(shè)計(jì),我想更多公司更可能是在移動(dòng)版QQ上做微創(chuàng)新,進(jìn)一步掉入創(chuàng)新者的窘境。
如果抽象點(diǎn)來(lái)分解這個(gè)例子,那我們可以這么講,移動(dòng)互聯(lián)網(wǎng)的發(fā)展是可以從大數(shù)據(jù)上感知的,因?yàn)橹灰鲎銐虻谋O(jiān)測(cè),那么就可以從數(shù)據(jù)上在較早階段感知到這個(gè)趨勢(shì)。但判斷移動(dòng)互聯(lián)網(wǎng)是真的互聯(lián)網(wǎng)則依賴于當(dāng)事人的眼光格局,再進(jìn)一步下決定去同時(shí)做微信和手機(jī)QQ那則是上述邏輯的一個(gè)后果。在決定做微信那個(gè)時(shí)間點(diǎn),馬化騰乃至其他大佬也不知道它一定能成,否則大家一定是別的事情都不干,都專心做微信。但微信確實(shí)是移動(dòng)互聯(lián)網(wǎng)是真的互聯(lián)網(wǎng)這一條必然邏輯的一個(gè)衍生品,相當(dāng)于是預(yù)測(cè)未來(lái)的一個(gè)后果。這就是大數(shù)據(jù)、監(jiān)測(cè)、必然邏輯與預(yù)測(cè)的關(guān)系。
結(jié)束語(yǔ)
大數(shù)據(jù)方興未艾,但在用大數(shù)據(jù)時(shí)最好也考慮下它的能力邊界,否則就可能因?yàn)樗谀硞€(gè)點(diǎn)上失靈而懷疑大數(shù)據(jù)本身,這就會(huì)得不償失。隨著數(shù)據(jù)化程度的提高,反身性的作用可能會(huì)越來(lái)越大,作為結(jié)果世界會(huì)變得越來(lái)越像混沌系統(tǒng),在這樣的趨勢(shì)下,相信上文提到的監(jiān)測(cè)與必然邏輯的結(jié)合應(yīng)該會(huì)對(duì)如何使用大數(shù)據(jù)有所幫助。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
解析 response.text 與 response.content 的核心區(qū)別 在網(wǎng)絡(luò)數(shù)據(jù)請(qǐng)求與處理的場(chǎng)景中,開(kāi)發(fā)者經(jīng)常需要從服務(wù)器返回的響應(yīng)中提取數(shù) ...
2025-07-22解析神經(jīng)網(wǎng)絡(luò)中 Softmax 函數(shù)的核心作用 在神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程中,激活函數(shù)扮演著至關(guān)重要的角色,它們?yōu)榫W(wǎng)絡(luò)賦予了非線性能力, ...
2025-07-22CDA數(shù)據(jù)分析師證書(shū)考取全攻略 一、了解 CDA 數(shù)據(jù)分析師認(rèn)證 CDA 數(shù)據(jù)分析師認(rèn)證是一套科學(xué)化、專業(yè)化、國(guó)際化的人才考核標(biāo)準(zhǔn), ...
2025-07-22左偏態(tài)分布轉(zhuǎn)正態(tài)分布:方法、原理與實(shí)踐 左偏態(tài)分布轉(zhuǎn)正態(tài)分布:方法、原理與實(shí)踐 在統(tǒng)計(jì)分析、數(shù)據(jù)建模和科學(xué)研究中,正態(tài)分 ...
2025-07-22你是不是也經(jīng)常刷到別人漲粉百萬(wàn)、帶貨千萬(wàn),心里癢癢的,想著“我也試試”,結(jié)果三個(gè)月過(guò)去,粉絲不到1000,播放量慘不忍睹? ...
2025-07-21我是陳輝,一個(gè)創(chuàng)業(yè)十多年的企業(yè)主,前半段人生和“文字”緊緊綁在一起。從廣告公司文案到品牌策劃,再到自己開(kāi)策劃?rùn)C(jī)構(gòu),我靠 ...
2025-07-21CDA 數(shù)據(jù)分析師的職業(yè)生涯規(guī)劃:從入門(mén)到卓越的成長(zhǎng)之路 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的當(dāng)下,數(shù)據(jù)已成為企業(yè)核心競(jìng)爭(zhēng)力的重要來(lái)源,而 CD ...
2025-07-21MySQL執(zhí)行計(jì)劃中rows的計(jì)算邏輯:從原理到實(shí)踐 MySQL 執(zhí)行計(jì)劃中 rows 的計(jì)算邏輯:從原理到實(shí)踐 在 MySQL 數(shù)據(jù)庫(kù)的查詢優(yōu)化中 ...
2025-07-21在AI滲透率超85%的2025年,企業(yè)生存之戰(zhàn)就是數(shù)據(jù)之戰(zhàn),CDA認(rèn)證已成為決定企業(yè)存續(xù)的生死線!據(jù)麥肯錫全球研究院數(shù)據(jù)顯示,AI驅(qū) ...
2025-07-2035歲焦慮像一把高懸的利刃,裁員潮、晉升無(wú)望、技能過(guò)時(shí)……當(dāng)職場(chǎng)中年危機(jī)與數(shù)字化浪潮正面交鋒,你是否發(fā)現(xiàn): 簡(jiǎn)歷投了10 ...
2025-07-20CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-18剛?cè)肼殘?chǎng)或是在職場(chǎng)正面臨崗位替代、技能更新、人機(jī)協(xié)作等焦慮的打工人,想要找到一條破解職場(chǎng)焦慮和升職瓶頸的系統(tǒng)化學(xué)習(xí)提升 ...
2025-07-182025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價(jià)值的煉金術(shù) ...
2025-07-18CDA 數(shù)據(jù)分析師:數(shù)據(jù)時(shí)代的價(jià)值挖掘者 在大數(shù)據(jù)席卷全球的今天,數(shù)據(jù)已成為企業(yè)核心競(jìng)爭(zhēng)力的重要組成部分。從海量數(shù)據(jù)中提取有 ...
2025-07-18SPSS 賦值后數(shù)據(jù)不顯示?原因排查與解決指南? 在 SPSS( Statistical Package for the Social Sciences)數(shù)據(jù)分析過(guò)程中,變量 ...
2025-07-18在 DBeaver 中利用 MySQL 實(shí)現(xiàn)表數(shù)據(jù)同步操作指南? ? 在數(shù)據(jù)庫(kù)管理工作中,將一張表的數(shù)據(jù)同步到另一張表是常見(jiàn)需求,這有助于 ...
2025-07-18數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價(jià)值的橋梁? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫(xiě)入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對(duì)這樣的場(chǎng)景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時(shí)代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動(dòng)的數(shù)據(jù)曲線尋找增長(zhǎng)密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)的實(shí)戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項(xiàng)” 成為 “必修課 ...
2025-07-16