大數(shù)據(jù)里的真命題和偽命題_數(shù)據(jù)分析師

大數(shù)據(jù)必會(huì)深刻的改變這個(gè)世界，這點(diǎn)是毋庸置疑的，但從很多當(dāng)下的討論來看，大家似乎在大數(shù)據(jù)的使用邊界上走入了誤區(qū)，這篇文章想具體探討下大數(shù)據(jù)能干什么以及不能干什么上的原則問題。

大數(shù)據(jù)與預(yù)測(cè)

人們總是想預(yù)測(cè)未來，因?yàn)檫@樣經(jīng)濟(jì)收益會(huì)非常大，作為結(jié)果就經(jīng)?？吹酱髷?shù)據(jù)與票房預(yù)測(cè)的故事，有時(shí)準(zhǔn)，有時(shí)不準(zhǔn)。

大數(shù)據(jù)確實(shí)可以用來做預(yù)測(cè)，但是有能力邊界的，影響這個(gè)能力邊界的關(guān)鍵因素就是索羅斯經(jīng)常說的反身性。反身性說的是：參入者的思維與參入的情景之間相互聯(lián)系與影響，彼此無法獨(dú)立，認(rèn)知與參入處于永遠(yuǎn)的變化過程之中（百度百科）。反身性之所以對(duì)預(yù)測(cè)有影響，是因?yàn)樗鼤?huì)導(dǎo)致出現(xiàn)不連續(xù)的變化。

這在邏輯上很好理解，當(dāng)一件事物是連續(xù)變化的，你比較容易計(jì)算出它未來的狀態(tài)，比如汽車，我們只要知道他的速度，那就比較容易預(yù)測(cè)它下一刻的位置。但如果是充滿突變的混沌系統(tǒng)，這種預(yù)測(cè)就很難實(shí)現(xiàn)，汽車本來走的好好的，突然天上掉下一架飛機(jī)來，那它當(dāng)然不會(huì)出現(xiàn)在本來預(yù)測(cè)的那個(gè)位置。所以做預(yù)測(cè)，第一關(guān)鍵是這系統(tǒng)是不是一個(gè)混沌系統(tǒng)，在充滿偶然的混沌系統(tǒng)里，基于數(shù)據(jù)的預(yù)測(cè)是無效的。而反身性正是導(dǎo)致混沌蝴蝶會(huì)出現(xiàn)的一個(gè)關(guān)鍵因素。

當(dāng)我們?nèi)ビ^察某個(gè)系統(tǒng)并采取行動(dòng)時(shí)，系統(tǒng)本身會(huì)因?yàn)槲覀兊挠^察和行動(dòng)發(fā)生改變，這就是反身性。而當(dāng)每個(gè)人都這么做時(shí)，那被觀察和操作的系統(tǒng)就會(huì)變成混沌系統(tǒng)。金融市場(chǎng)已經(jīng)充分說明了這點(diǎn)，如果大數(shù)據(jù)在預(yù)測(cè)上是沒邊界的，那只要掌握了大數(shù)據(jù)就應(yīng)用技巧，那在金融市場(chǎng)上就沒人不會(huì)賠錢，但顯然這是不可能的，最多是不同人輸贏的概率不同。

容易預(yù)測(cè)的與不容易預(yù)測(cè)的

如果一種現(xiàn)實(shí)更多的依賴于某些不易改變的因素，比如一種文化傳統(tǒng)、一種生物特性，那這種現(xiàn)實(shí)是容易被預(yù)測(cè)的；如果一種現(xiàn)實(shí)更多的依賴于可被瞬間改變的因素，比如：人們的心情，那這種現(xiàn)實(shí)是不容易預(yù)測(cè)的，甚至是不可預(yù)測(cè)的。

具體來講，人們生病后會(huì)檢索自己的相關(guān)癥狀，而傳染病會(huì)擴(kuò)散，因此Google那種監(jiān)測(cè)傳染病暴發(fā)區(qū)域，以及預(yù)測(cè)其可能擴(kuò)散路徑的大數(shù)據(jù)使用方式是極為有效的。在這里反身性并不起太大作用。

但股票就不行，因?yàn)槟阍陬A(yù)測(cè)，別人也在預(yù)測(cè)，買家和賣家的行動(dòng)又不一致，這就會(huì)使股票市場(chǎng)成為混沌系統(tǒng)。究竟怎么樣才能用大數(shù)據(jù)預(yù)測(cè)到國(guó)內(nèi)這波股票的上漲呢？

同傳染病和股票市場(chǎng)相比，電影票房的可預(yù)測(cè)性則在兩者之間。有必然性在支撐，比如基本上很垃圾的電影很難有好的票房，但偶然性影響也很大，你不好預(yù)測(cè)那個(gè)點(diǎn)戳到了人們的那個(gè)神經(jīng)，它突然就變火了。誰能預(yù)測(cè)泰囧的10億票房呢？所以我的判斷是在票房預(yù)測(cè)上，不管大數(shù)據(jù)怎么發(fā)展，它始終會(huì)處在時(shí)靈時(shí)不靈的狀態(tài)上，因?yàn)檫@根本不是個(gè)技術(shù)問題。

總結(jié)來看，反身性作用越大的領(lǐng)域越不容易預(yù)測(cè)，反之則預(yù)測(cè)的幫助會(huì)比較大。

監(jiān)測(cè)與預(yù)測(cè)

在預(yù)測(cè)上大數(shù)據(jù)必須面對(duì)自己的邊界問題，但在監(jiān)測(cè)上大數(shù)據(jù)的威力是無遠(yuǎn)弗屆的。

我們這個(gè)世界的數(shù)據(jù)化程度一定是越來越高的，當(dāng)我們?cè)谏缃痪W(wǎng)絡(luò)中活動(dòng)時(shí)，其實(shí)就是我們個(gè)人在不停數(shù)據(jù)化的過程，我們的偏好、關(guān)系、每日活動(dòng)等正在源源不斷的數(shù)據(jù)化過程中，如果可穿戴設(shè)備、智能家居發(fā)展起來，那數(shù)據(jù)化的東西就會(huì)更多。

我在互聯(lián)網(wǎng)時(shí)代的方法論那系列文章里一直堅(jiān)持這樣一種觀點(diǎn)，互聯(lián)網(wǎng)正在生成一個(gè)與現(xiàn)實(shí)世界并行的很像黑客帝國(guó)的意識(shí)空間，而這個(gè)意識(shí)空間是數(shù)據(jù)化的。理論上講，在這個(gè)空間里不存在信息不透明這回事，空間和時(shí)間不再成為阻隔信息流動(dòng)的障礙。所以不管你喜歡不喜歡，在數(shù)字化面前每個(gè)人正在變成透明人，也就是說100%可監(jiān)測(cè)。

監(jiān)測(cè)與預(yù)測(cè)間的橋梁是必然邏輯和直覺，直覺依賴于個(gè)人才情天分，這放在一邊不提，主要談下必然邏輯。有必然邏輯在事情就有了發(fā)生的可能性，但不一定發(fā)生。這點(diǎn)比較不好理解，我們來看個(gè)例子：

我們談微信的時(shí)候更容易聚焦到張小龍打造產(chǎn)品的功力，往往容易忽視馬化騰張小龍才是打造微信的組合。從公開報(bào)道來看，當(dāng)時(shí)騰訊內(nèi)部是有很多團(tuán)隊(duì)同時(shí)在開發(fā)移動(dòng)IM的，而這種投入很可能是基于“移動(dòng)互聯(lián)網(wǎng)才是真的互聯(lián)網(wǎng)，騰訊必須在移動(dòng)互聯(lián)網(wǎng)的IM上占有統(tǒng)治地位”的假設(shè)，在這種假設(shè)下馬化騰又有所謂的灰度理論，所以才有多支團(tuán)隊(duì)同時(shí)并進(jìn)。如果沒有這類頂層設(shè)計(jì)，我想更多公司更可能是在移動(dòng)版QQ上做微創(chuàng)新，進(jìn)一步掉入創(chuàng)新者的窘境。

如果抽象點(diǎn)來分解這個(gè)例子，那我們可以這么講，移動(dòng)互聯(lián)網(wǎng)的發(fā)展是可以從大數(shù)據(jù)上感知的，因?yàn)橹灰鲎銐虻谋O(jiān)測(cè)，那么就可以從數(shù)據(jù)上在較早階段感知到這個(gè)趨勢(shì)。但判斷移動(dòng)互聯(lián)網(wǎng)是真的互聯(lián)網(wǎng)，則依賴于當(dāng)事人的眼光格局，再進(jìn)一步?jīng)Q定去同時(shí)做微信和手機(jī)QQ，那則是上述邏輯的一個(gè)后果。在決定做微信那個(gè)時(shí)間點(diǎn)，馬化騰乃至其他大佬也不知道它一定能成，否則大家一定是別的事情都不干，都專心做微信。但微信確實(shí)是移動(dòng)互聯(lián)網(wǎng)是真的互聯(lián)網(wǎng)這一條必然邏輯的一個(gè)衍生品，相當(dāng)于是預(yù)測(cè)未來的一個(gè)后果。這就是大數(shù)據(jù)、監(jiān)測(cè)、必然邏輯與預(yù)測(cè)的關(guān)系。

結(jié)束語(yǔ)

大數(shù)據(jù)方興未艾，但在用大數(shù)據(jù)時(shí)最好也考慮下它的能力邊界，否則就可能因?yàn)樗谀硞€(gè)點(diǎn)上失靈而懷疑大數(shù)據(jù)本身，這是會(huì)得不償失了。隨著數(shù)據(jù)化程度的提高，反身性的作用可能會(huì)越來越大，作為結(jié)果，世界會(huì)變得越來越像混沌系統(tǒng)。在這樣的趨勢(shì)下，相信上文提到的監(jiān)測(cè)與必然邏輯的結(jié)合應(yīng)該會(huì)對(duì)如何使用大數(shù)據(jù)有所幫助。