大數(shù)據(jù)不是“最正確”，而是“最可能”

　這兩年大數(shù)據(jù)的發(fā)展速度令人驚訝，深究起來(lái)似乎要感謝商家們不遺余力地“宣傳”，讓大數(shù)據(jù)終于落入凡間，然而，聚光燈之外的大數(shù)據(jù)又是怎樣的呢？
　　你真的懂得大數(shù)據(jù)嗎?
　　仔細(xì)想想，你真的懂得大數(shù)據(jù)嗎?筆者發(fā)現(xiàn)很多人其實(shí)都是道聽(tīng)途說(shuō)，一知半解。最近 RADICA DATA LAB 早前進(jìn)行“大數(shù)據(jù)市場(chǎng)應(yīng)用調(diào)查”，表示教育水平更高者更熟悉大數(shù)據(jù)。
　　大數(shù)據(jù)其實(shí)并不是甚么新奇奧秘的玩意，說(shuō)穿了它就只是 Found Data ，將零散雜亂的各種數(shù)據(jù)統(tǒng)合分析，從而演算出某些結(jié)論、推測(cè)以及反應(yīng)。昔日的數(shù)據(jù)庫(kù)是被動(dòng)的，它要求使用者逐一回饋，像是填寫(xiě)各項(xiàng)問(wèn)卷、收集技術(shù)樣本等等。
　　“最可能的答案”而非“最正確的答案”
　　不論是收集過(guò)程、數(shù)量以及分析數(shù)據(jù)都需要花費(fèi)大量時(shí)間，而且往往是針對(duì)一些特定主題及目的，數(shù)據(jù)亦不夠全面。然而由于現(xiàn)在電腦及手機(jī)的普及，以及網(wǎng)絡(luò)通訊的流行，實(shí)現(xiàn)新的數(shù)據(jù)收集方式：將大量“數(shù)位化資訊”進(jìn)行演算分析從而“數(shù)據(jù)化”。即使是普通人也會(huì)聽(tīng)聞及發(fā)現(xiàn)，為什么手機(jī)會(huì)知道自己的喜好，搜索時(shí)都是將自己常去的網(wǎng)站排名靠前，顯示的廣告都是自己有興趣的，這就是大眾所感知到的“大數(shù)據(jù)”如何影響自己。
　　大數(shù)據(jù)有別過(guò)去收集數(shù)據(jù)的方式，它不需要刻版而特定的數(shù)據(jù)，縱使再零碎不全，都一律交由電腦收集及識(shí)別。大眾日常于網(wǎng)絡(luò)上做的每一步活動(dòng)，都有紀(jì)錄下來(lái)，讓有關(guān)方面可以依據(jù)需要分析用戶個(gè)人喜好、居住地區(qū)、考慮條件、特定瀏覽時(shí)間等等提供“最可能的答案”，而非“最正確的答案”。
　　大數(shù)據(jù)重視關(guān)聯(lián)
　　大數(shù)據(jù)是違反科學(xué)的：科學(xué)講求精確，它卻講求模糊?？茖W(xué)講求因果，它只重視關(guān)聯(lián)?？茖W(xué)只紀(jì)錄有用的數(shù)據(jù)，它卻是所有數(shù)據(jù)都有價(jià)值。早于 20 世紀(jì) 20 年代 B.Russell 就提出過(guò)有關(guān)的論文，之后 1965 年 L.A.zadeh 發(fā)表模糊集合理論，正式奠定基礎(chǔ)。模糊理論實(shí)際上是模糊集合、模糊關(guān)系、模糊邏輯、模糊控制、模糊量測(cè)等理論的泛稱。
　　過(guò)去人類(lèi)尤其是西方科學(xué)重精確輕模糊，胡適亦曾撰文《差不多先生傳》，[大數(shù)據(jù)魔方]崇尚西方學(xué)風(fēng)的他們抨擊諷刺中國(guó)人特有的“近似推理( Approximation reasoning )”：缺乏科學(xué)精神，凡事模棱兩可，只要差不多就好。諷刺的是不出數(shù)十年，西方科技發(fā)展就要學(xué)習(xí)差不多先生，追求不明確與模糊概念。事實(shí)上，模糊理論應(yīng)用最有效最廣泛的領(lǐng)域就是模糊控制。模糊控制出人意料的解決了傳統(tǒng)西方理論邏輯無(wú)法解決或難以解決的疑難，并取得了一些驚人的成效：大數(shù)據(jù)就是其中的佼佼者。
　　大數(shù)據(jù)未必百分百正確，但又合乎一般人理解的范圍
　　例如“青年”這個(gè)概念，它的內(nèi)涵大家都清楚明白，但是什么樣的年齡階段內(nèi)的人是青年，恐怕大家莫衷一是，因?yàn)樵凇扒嗄辍边@個(gè)概念中沒(méi)有一個(gè)清晰確定的邊界與外延，這就是模糊概念。人們?cè)谡J(rèn)識(shí)模糊性時(shí)往往帶有主觀性，每個(gè)人對(duì)模糊事物的認(rèn)知不可能完全相同。我們?cè)儐?wèn)一千人他們認(rèn)知中“年青”的年齡范圍，那么我們可能得到一千個(gè)不同的答案。盡管如此，當(dāng)我們用模糊統(tǒng)計(jì)的方法對(duì)海量數(shù)據(jù)進(jìn)行分析時(shí)，答案又具有一定的規(guī)律性。
　　大數(shù)據(jù)就是以相近的原理運(yùn)作，假設(shè)我們要求電腦在甲城市報(bào)告“低收入青年的數(shù)量”，這里所說(shuō)的“低收入”、“青年”都是模糊概念，過(guò)去的統(tǒng)計(jì)學(xué)要先求出“何謂低收入”“何謂青年”的“精確范圍”然后才能進(jìn)行下一步的統(tǒng)計(jì)：你要先告訴電腦某個(gè)薪金以下是低收入，哪個(gè)年齡階層是青年，然后在資料庫(kù)指定欄位找符合的條目。然而在大數(shù)據(jù)時(shí)代下，電腦能通過(guò)模糊概念去分析判斷，演算法會(huì)自己跑自己分析“低收入”及“青年”大概的范圍，將相關(guān)的數(shù)據(jù)條列出來(lái)。它未必百分百正確，但又合乎一般人理解的范圍。