大數(shù)據(jù)里的真命題和偽命題_數(shù)據(jù)分析師

大數(shù)據(jù)必會深刻的改變這個世界，這點是毋庸置疑的，但從很多當下的討論來看，大家似乎在大數(shù)據(jù)的使用邊界上走入了誤區(qū)，這篇文章想具體探討下大數(shù)據(jù)能干什么以及不能干什么上的原則問題。

大數(shù)據(jù)與預測

人們總是想預測未來，因為這樣經(jīng)濟收益會非常大，作為結果就經(jīng)?？吹酱髷?shù)據(jù)與票房預測的故事，有時準，有時不準。

大數(shù)據(jù)確實可以用來做預測，但是有能力邊界的，影響這個能力邊界的關鍵因素就是索羅斯經(jīng)常說的反身性。反身性說的是：參入者的思維與參入的情景之間相互聯(lián)系與影響，彼此無法獨立，認知與參入處于永遠的變化過程之中（百度百科）。反身性之所以對預測有影響，是因為它會導致出現(xiàn)不連續(xù)的變化。

這在邏輯上很好理解，當一件事物是連續(xù)變化的，你比較容易計算出它未來的狀態(tài)，比如汽車，我們只要知道他的速度，那就比較容易預測它下一刻的位置。但如果是充滿突變的混沌系統(tǒng)，這種預測就很難實現(xiàn)，汽車本來走的好好的，突然天上掉下一架飛機來，那它當然不會出現(xiàn)在本來預測的那個位置。所以做預測，第一關鍵是這系統(tǒng)是不是一個混沌系統(tǒng)，在充滿偶然的混沌系統(tǒng)里，基于數(shù)據(jù)的預測是無效的。而反身性正是導致混沌蝴蝶會出現(xiàn)的一個關鍵因素。

當我們?nèi)ビ^察某個系統(tǒng)并采取行動時，系統(tǒng)本身會因為我們的觀察和行動發(fā)生改變，這就是反身性。而當每個人都這么做時，那被觀察和操作的系統(tǒng)就會變成混沌系統(tǒng)。金融市場已經(jīng)充分說明了這點，如果大數(shù)據(jù)在預測上是沒邊界的，那只要掌握了大數(shù)據(jù)就應用技巧，那在金融市場上就沒人不會賠錢，但顯然這是不可能的，最多是不同人輸贏的概率不同。

容易預測的與不容易預測的

如果一種現(xiàn)實更多的依賴于某些不易改變的因素，比如一種文化傳統(tǒng)、一種生物特性，那這種現(xiàn)實是容易被預測的；如果一種現(xiàn)實更多的依賴于可被瞬間改變的因素，比如：人們的心情，那這種現(xiàn)實是不容易預測的，甚至是不可預測的。

具體來講，人們生病后會檢索自己的相關癥狀，而傳染病會擴散，因此Google那種監(jiān)測傳染病暴發(fā)區(qū)域，以及預測其可能擴散路徑的大數(shù)據(jù)使用方式是極為有效的。在這里反身性并不起太大作用。

但股票就不行，因為你在預測，別人也在預測，買家和賣家的行動又不一致，這就會使股票市場成為混沌系統(tǒng)。究竟怎么樣才能用大數(shù)據(jù)預測到國內(nèi)這波股票的上漲呢？

同傳染病和股票市場相比，電影票房的可預測性則在兩者之間。有必然性在支撐，比如基本上很垃圾的電影很難有好的票房，但偶然性影響也很大，你不好預測那個點戳到了人們的那個神經(jīng)，它突然就變火了。誰能預測泰囧的10億票房呢？所以我的判斷是在票房預測上，不管大數(shù)據(jù)怎么發(fā)展，它始終會處在時靈時不靈的狀態(tài)上，因為這根本不是個技術問題。

總結來看，反身性作用越大的領域越不容易預測，反之則預測的幫助會比較大。

監(jiān)測與預測

在預測上大數(shù)據(jù)必須面對自己的邊界問題，但在監(jiān)測上大數(shù)據(jù)的威力是無遠弗屆的。

我們這個世界的數(shù)據(jù)化程度一定是越來越高的，當我們在社交網(wǎng)絡中活動時，其實就是我們個人在不停數(shù)據(jù)化的過程，我們的偏好、關系、每日活動等正在源源不斷的數(shù)據(jù)化過程中，如果可穿戴設備、智能家居發(fā)展起來，那數(shù)據(jù)化的東西就會更多。

我在互聯(lián)網(wǎng)時代的方法論那系列文章里一直堅持這樣一種觀點，互聯(lián)網(wǎng)正在生成一個與現(xiàn)實世界并行的很像黑客帝國的意識空間，而這個意識空間是數(shù)據(jù)化的。理論上講，在這個空間里不存在信息不透明這回事，空間和時間不再成為阻隔信息流動的障礙。所以不管你喜歡不喜歡，在數(shù)字化面前每個人正在變成透明人，也就是說100%可監(jiān)測。

監(jiān)測與預測間的橋梁是必然邏輯和直覺，直覺依賴于個人才情天分，這放在一邊不提，主要談下必然邏輯。有必然邏輯在事情就有了發(fā)生的可能性，但不一定發(fā)生。這點比較不好理解，我們來看個例子：

我們談微信的時候更容易聚焦到張小龍打造產(chǎn)品的功力，往往容易忽視馬化騰張小龍才是打造微信的組合。從公開報道來看，當時騰訊內(nèi)部是有很多團隊同時在開發(fā)移動IM的，而這種投入很可能是基于“移動互聯(lián)網(wǎng)才是真的互聯(lián)網(wǎng)，騰訊必須在移動互聯(lián)網(wǎng)的IM上占有統(tǒng)治地位”的假設，在這種假設下馬化騰又有所謂的灰度理論，所以才有多支團隊同時并進。如果沒有這類頂層設計，我想更多公司更可能是在移動版QQ上做微創(chuàng)新，進一步掉入創(chuàng)新者的窘境。

如果抽象點來分解這個例子，那我們可以這么講，移動互聯(lián)網(wǎng)的發(fā)展是可以從大數(shù)據(jù)上感知的，因為只要做足夠的監(jiān)測，那么就可以從數(shù)據(jù)上在較早階段感知到這個趨勢。但判斷移動互聯(lián)網(wǎng)是真的互聯(lián)網(wǎng)，則依賴于當事人的眼光格局，再進一步?jīng)Q定去同時做微信和手機QQ，那則是上述邏輯的一個后果。在決定做微信那個時間點，馬化騰乃至其他大佬也不知道它一定能成，否則大家一定是別的事情都不干，都專心做微信。但微信確實是移動互聯(lián)網(wǎng)是真的互聯(lián)網(wǎng)這一條必然邏輯的一個衍生品，相當于是預測未來的一個后果。這就是大數(shù)據(jù)、監(jiān)測、必然邏輯與預測的關系。

結束語

大數(shù)據(jù)方興未艾，但在用大數(shù)據(jù)時最好也考慮下它的能力邊界，否則就可能因為它在某個點上失靈而懷疑大數(shù)據(jù)本身，這是會得不償失了。隨著數(shù)據(jù)化程度的提高，反身性的作用可能會越來越大，作為結果，世界會變得越來越像混沌系統(tǒng)。在這樣的趨勢下，相信上文提到的監(jiān)測與必然邏輯的結合應該會對如何使用大數(shù)據(jù)有所幫助。