大數(shù)據(jù)不是“最正確”，而是“最可能”

　這兩年大數(shù)據(jù)的發(fā)展速度令人驚訝，深究起來似乎要感謝商家們不遺余力地“宣傳”，讓大數(shù)據(jù)終于落入凡間，然而，聚光燈之外的大數(shù)據(jù)又是怎樣的呢？
　　你真的懂得大數(shù)據(jù)嗎?
　　仔細想想，你真的懂得大數(shù)據(jù)嗎?筆者發(fā)現(xiàn)很多人其實都是道聽途說，一知半解。最近 RADICA DATA LAB 早前進行“大數(shù)據(jù)市場應(yīng)用調(diào)查”，表示教育水平更高者更熟悉大數(shù)據(jù)。
　　大數(shù)據(jù)其實并不是甚么新奇奧秘的玩意，說穿了它就只是 Found Data ，將零散雜亂的各種數(shù)據(jù)統(tǒng)合分析，從而演算出某些結(jié)論、推測以及反應(yīng)。昔日的數(shù)據(jù)庫是被動的，它要求使用者逐一回饋，像是填寫各項問卷、收集技術(shù)樣本等等。
　　“最可能的答案”而非“最正確的答案”
　　不論是收集過程、數(shù)量以及分析數(shù)據(jù)都需要花費大量時間，而且往往是針對一些特定主題及目的，數(shù)據(jù)亦不夠全面。然而由于現(xiàn)在電腦及手機的普及，以及網(wǎng)絡(luò)通訊的流行，實現(xiàn)新的數(shù)據(jù)收集方式：將大量“數(shù)位化資訊”進行演算分析從而“數(shù)據(jù)化”。即使是普通人也會聽聞及發(fā)現(xiàn)，為什么手機會知道自己的喜好，搜索時都是將自己常去的網(wǎng)站排名靠前，顯示的廣告都是自己有興趣的，這就是大眾所感知到的“大數(shù)據(jù)”如何影響自己。
　　大數(shù)據(jù)有別過去收集數(shù)據(jù)的方式，它不需要刻版而特定的數(shù)據(jù)，縱使再零碎不全，都一律交由電腦收集及識別。大眾日常于網(wǎng)絡(luò)上做的每一步活動，都有紀錄下來，讓有關(guān)方面可以依據(jù)需要分析用戶個人喜好、居住地區(qū)、考慮條件、特定瀏覽時間等等提供“最可能的答案”，而非“最正確的答案”。
　　大數(shù)據(jù)重視關(guān)聯(lián)
　　大數(shù)據(jù)是違反科學的：科學講求精確，它卻講求模糊。科學講求因果，它只重視關(guān)聯(lián)?？茖W只紀錄有用的數(shù)據(jù)，它卻是所有數(shù)據(jù)都有價值。早于 20 世紀 20 年代 B.Russell 就提出過有關(guān)的論文，之后 1965 年 L.A.zadeh 發(fā)表模糊集合理論，正式奠定基礎(chǔ)。模糊理論實際上是模糊集合、模糊關(guān)系、模糊邏輯、模糊控制、模糊量測等理論的泛稱。
　　過去人類尤其是西方科學重精確輕模糊，胡適亦曾撰文《差不多先生傳》，[大數(shù)據(jù)魔方]崇尚西方學風的他們抨擊諷刺中國人特有的“近似推理( Approximation reasoning )”：缺乏科學精神，凡事模棱兩可，只要差不多就好。諷刺的是不出數(shù)十年，西方科技發(fā)展就要學習差不多先生，追求不明確與模糊概念。事實上，模糊理論應(yīng)用最有效最廣泛的領(lǐng)域就是模糊控制。模糊控制出人意料的解決了傳統(tǒng)西方理論邏輯無法解決或難以解決的疑難，并取得了一些驚人的成效：大數(shù)據(jù)就是其中的佼佼者。
　　大數(shù)據(jù)未必百分百正確，但又合乎一般人理解的范圍
　　例如“青年”這個概念，它的內(nèi)涵大家都清楚明白，但是什么樣的年齡階段內(nèi)的人是青年，恐怕大家莫衷一是，因為在“青年”這個概念中沒有一個清晰確定的邊界與外延，這就是模糊概念。人們在認識模糊性時往往帶有主觀性，每個人對模糊事物的認知不可能完全相同。我們詢問一千人他們認知中“年青”的年齡范圍，那么我們可能得到一千個不同的答案。盡管如此，當我們用模糊統(tǒng)計的方法對海量數(shù)據(jù)進行分析時，答案又具有一定的規(guī)律性。
　　大數(shù)據(jù)就是以相近的原理運作，假設(shè)我們要求電腦在甲城市報告“低收入青年的數(shù)量”，這里所說的“低收入”、“青年”都是模糊概念，過去的統(tǒng)計學要先求出“何謂低收入”“何謂青年”的“精確范圍”然后才能進行下一步的統(tǒng)計：你要先告訴電腦某個薪金以下是低收入，哪個年齡階層是青年，然后在資料庫指定欄位找符合的條目。然而在大數(shù)據(jù)時代下，電腦能通過模糊概念去分析判斷，演算法會自己跑自己分析“低收入”及“青年”大概的范圍，將相關(guān)的數(shù)據(jù)條列出來。它未必百分百正確，但又合乎一般人理解的范圍。