大數(shù)據(jù)不能替代理性思考_數(shù)據(jù)分析師培訓(xùn)

有關(guān)大數(shù)據(jù)的討論，幾年間已經(jīng)從早期的概念發(fā)展到今天的應(yīng)用，應(yīng)用領(lǐng)域也已從早期的商業(yè)領(lǐng)域拓展到學(xué)術(shù)領(lǐng)域、政策領(lǐng)域。首先，大數(shù)據(jù)特殊之處在于其數(shù)據(jù)來自于全體，而不再是部分?jǐn)?shù)據(jù)的采樣。采樣數(shù)據(jù)無論如何抽取都會有抽樣偏差，進(jìn)而可能導(dǎo)致結(jié)果的偏差，在這個意義上，大數(shù)據(jù)時代，可以依靠強(qiáng)大的數(shù)據(jù)處理能力處理全部的數(shù)據(jù)，這是多么令人興奮。其次，數(shù)據(jù)作為知識的重要來源，抽樣調(diào)查數(shù)據(jù)也好，二手文獻(xiàn)數(shù)據(jù)也好，人們均是從中進(jìn)行分析并獲取知識，但這類數(shù)據(jù)中包含的變量總歸有限，知識的獲取也因而受限，而大數(shù)據(jù)將大量結(jié)構(gòu)復(fù)雜、類型眾多的異構(gòu)數(shù)據(jù)結(jié)合在一起，構(gòu)成有無限組合可能的數(shù)據(jù)集合，使用計算能力可以無限擴(kuò)充的云計算來進(jìn)行，作為知識生產(chǎn)來源的大數(shù)據(jù)的數(shù)量級別進(jìn)而達(dá)到PB級，因此其中潛藏的知識不知幾何，人們獲取知識的能力也可能會大大增加。

　　大數(shù)據(jù)的先行者通過各種數(shù)學(xué)和物理算法在大數(shù)據(jù)中掘金，一些人類過去未能發(fā)現(xiàn)的潛在關(guān)聯(lián)被發(fā)現(xiàn)和應(yīng)用，并取得了矚目的成就和進(jìn)展。基于此，大數(shù)據(jù)理論基本都提出：基于大數(shù)據(jù)發(fā)掘出的“有效”相關(guān)性關(guān)系即可進(jìn)行預(yù)測;有效性不需要知道“為什么”，知道“是什么”即可。數(shù)據(jù)和算法驅(qū)動研究成為大數(shù)據(jù)研究的主要范式。我相信，大數(shù)據(jù)的無預(yù)設(shè)前提的數(shù)據(jù)驅(qū)動的相關(guān)關(guān)系的挖掘，有著解放人類被理論局限性束縛的手腳的功用。但是，我們會不會走出一個陷阱，又踏入另外一個陷阱呢?

　　我首先想討論的第一個問題是，來自于全體數(shù)據(jù)的結(jié)論就是可靠的嗎?在我參加的一次博士論文答辯中，答辯人報告，她使用全國人口普查數(shù)據(jù)發(fā)現(xiàn)，老年人的健康與財富之間的關(guān)系是：老年人健康水平越低則財富越多，或者反過來說，老年人財富越多越不健康。評委當(dāng)時一片嘩然。事實上這是合情理的，其機(jī)理就是，一個越不健康的老人，就需要越多越好的醫(yī)療資源才能存活，而越多的財富能保證其越多越好的醫(yī)療資源。因此，相同的不健康狀況的老人中，錢越多則具有越高的生存概率。換個角度看，不健康的老人中，沒錢的死了，有錢的活下來了;越是不健康的老人中，只有越有錢的才能存活。因此，全體數(shù)據(jù)的結(jié)果是：老人的財富與健康呈現(xiàn)出負(fù)相關(guān)。這是來自于全體數(shù)據(jù)的結(jié)果，顯然是合理的，但其顯示的相關(guān)關(guān)系卻有些荒謬。

　　這樣就導(dǎo)致了我的第二個問題：追求這樣的相關(guān)關(guān)系有價值嗎?這樣的相關(guān)關(guān)系可信嗎?我想讀者都不會相信，健康與財富呈現(xiàn)出的負(fù)相關(guān)是正確的相關(guān)關(guān)系，而出于理性，相信的恰恰是健康與財富應(yīng)該呈現(xiàn)出正相關(guān)的關(guān)系。在這里，社會實體所表現(xiàn)出來的模式顯然違背了我們對社會的理論認(rèn)識。我們都知道，理論是現(xiàn)實在頭腦中的反映，但是這個例子告訴我們，人類通過理性建構(gòu)的理論并非社會現(xiàn)實在頭腦中的簡單反映。這里，我提出一對概念來闡述我的觀點。變量之間的關(guān)系有兩種表現(xiàn)形式，一種是社會實體的表現(xiàn)形式(real pattern)，一種是社會理論的表現(xiàn)形式(relation pattern)。前者是社會實體直接體現(xiàn)出來的變量和變量之間的相關(guān)關(guān)系，后者是學(xué)者通過理性思考建構(gòu)的理論空間的因果關(guān)系。變量在社會實體上表現(xiàn)的相關(guān)關(guān)系，由于社會實體的選擇性偏誤(例子中是由死亡的非隨機(jī)性造成)，導(dǎo)致了相關(guān)關(guān)系的扭曲，甚至相反。因此，人們寧愿相信自己的理性，而不愿只是機(jī)械地接受社會實體表現(xiàn)出來的模式。

　　人類的理性，使得我們知曉變量間在社會實體上的表現(xiàn)形式并不必然等于社會理論上的表現(xiàn)形式。對大數(shù)據(jù)使用數(shù)據(jù)驅(qū)動，能獲得的僅僅是社會實體上的表現(xiàn)形式，這可能與理論空間的因果關(guān)系一致，也可能完全相反。因此，放棄人的理性思考，放棄獲得具有嚴(yán)密因果邏輯的理論上的表現(xiàn)形式，使用找到相關(guān)關(guān)系即可的大數(shù)據(jù)分析范式——數(shù)據(jù)驅(qū)動，在我看來是無法接受的。大數(shù)據(jù)的分析，仍然需要理論驅(qū)動和理論理解所建構(gòu)的因果關(guān)系。因此，無論如何精巧的大數(shù)據(jù)分析工具的使用，都不能代替生產(chǎn)工具的人的理性思考?！拔淦鞯呐小辈⒉荒苋〈芭械奈淦鳌?。