我理解的大數(shù)據(jù),以高一個(gè)維度的視角毫不講道理的直搗黃龍

很久前就想寫(xiě)一篇關(guān)于大數(shù)據(jù)的文章，但總是因?yàn)橛X(jué)得自己功力不夠所以遲遲不敢動(dòng)筆。再到后來(lái)發(fā)現(xiàn)大數(shù)據(jù)的概念已經(jīng)爛大街了，現(xiàn)在只要是個(gè)做產(chǎn)品的，收了點(diǎn)用戶數(shù)據(jù)，就敢把自己叫大數(shù)據(jù)，似乎不這么說(shuō)的產(chǎn)品都是非主流了。

我也不想老生常談的講數(shù)據(jù)到底要多大才能稱(chēng)得上大數(shù)據(jù)，因?yàn)檫@似乎只是一個(gè)相對(duì)的值。我也不想講大數(shù)據(jù)應(yīng)該搞多么牛B和復(fù)雜的算法，因?yàn)樗坪跻欢昵按髮W(xué)計(jì)算機(jī)課本里的《機(jī)器學(xué)習(xí)》就一直在講這些東西，很久前互聯(lián)網(wǎng)上就在用貝葉斯算法過(guò)濾垃圾郵件了，今天看起來(lái)也沒(méi)有什么本質(zhì)的改進(jìn)。

后來(lái)我琢磨了很久，發(fā)現(xiàn)大家講的大數(shù)據(jù)其實(shí)沒(méi)有什么特別的，就是數(shù)據(jù)特別多，再加上點(diǎn)算法分析，就能叫自己大數(shù)據(jù)了。每當(dāng)這種時(shí)候我就會(huì)懷疑是不是自己出了問(wèn)題，因?yàn)閯e人都講的挺來(lái)勁的??？

但真要說(shuō)有什么特別的，我覺(jué)得還是有的，只是不知道其他人的想法是否和我一樣。我認(rèn)為的大數(shù)據(jù)，是一種思想的改變，是一種不一樣的觀察這個(gè)世界的角度。因?yàn)閿?shù)據(jù)化讓我們看到了事物的整體，所以我們看問(wèn)題也從局部變成全局了，這會(huì)讓我們面對(duì)同樣的問(wèn)題時(shí)，比過(guò)去要高效很多。

舉個(gè)簡(jiǎn)單的例子，圍棋這個(gè)游戲，是典型的「a minute to learn，a lifetime to master」。初學(xué)者和職業(yè)棋手之間的差距，不僅在于天賦和經(jīng)驗(yàn)。對(duì)于圍棋的初學(xué)者來(lái)說(shuō)，熟悉規(guī)則后，下棋的過(guò)程是跟著感覺(jué)，愛(ài)怎么走就怎么走。但是真正的職業(yè)棋手不是這么下的，他們每天都會(huì)做大量的死活題，在他們的腦海里，因?yàn)橛洃浟藥兹f(wàn)道死活棋型，以及很多定式和手筋，所以面對(duì)初學(xué)者時(shí)，基本上能夠做到出現(xiàn)什么局面，都有對(duì)應(yīng)的一種應(yīng)對(duì)方法。

職業(yè)棋手已經(jīng)可以做到部分窮舉棋盤(pán)上的變化，所以面對(duì)初學(xué)者時(shí)，就像一個(gè)高維度的智慧體面對(duì)低維度的智慧體一樣輕松。這種對(duì)棋盤(pán)變化的窮舉和記憶，我認(rèn)為就是大數(shù)據(jù)。

同樣的，在電影「中國(guó)合伙人」里有這么一個(gè)片段：新夢(mèng)想（新東方原型）面對(duì)美國(guó)人的起訴，美國(guó)人認(rèn)為中國(guó)學(xué)生作弊了，他們不可能考出那么高的分。此時(shí)成東青（俞敏洪原型）拿起了一本書(shū)，讓對(duì)方隨意翻到某一頁(yè)，他就能把那頁(yè)的內(nèi)容背誦出來(lái) — 這是在來(lái)時(shí)的飛機(jī)上閑的蛋疼就把那本書(shū)給背了 — 美國(guó)人都看傻了。美國(guó)人可能永遠(yuǎn)都無(wú)法想中國(guó)學(xué)生在面對(duì)GRE考試時(shí)居然會(huì)采用背字典這樣的笨辦法。

像這種背字典、大量題海戰(zhàn)術(shù)的方式，我認(rèn)為也是大數(shù)據(jù)。這樣的方式背后的付出是艱辛的，數(shù)據(jù)量和「計(jì)算量」都很大，不會(huì)背字典和題庫(kù)的美國(guó)學(xué)生當(dāng)然會(huì)考不過(guò)中國(guó)學(xué)生了。

所以，我認(rèn)為大數(shù)據(jù)最終帶給我們的，是一種全新的思考方式。一方面我們看問(wèn)題的角度從局部擴(kuò)展到了整體，今天的計(jì)算能力已經(jīng)足夠支撐我們?nèi)タ吹绞挛锏娜?；另一方面，我們又可以根?jù)這種思路，去創(chuàng)造和收集過(guò)去被我們忽視的數(shù)據(jù)。

大數(shù)據(jù)，不僅僅是大而已。

（二）

昨天偷懶了少了一次文字排版，沒(méi)想到好多朋友發(fā)消息來(lái)說(shuō)字體變小了不習(xí)慣，看來(lái)堅(jiān)持大一點(diǎn)的字體還是有好處的。

雖然很想保持高頻率更新，但沒(méi)想到回阿里后工作竟然比創(chuàng)業(yè)時(shí)還忙。經(jīng)常回家得比較晚，再加上每天腦力使用過(guò)度，所以竟是硬生生的斷更了兩周。在接下來(lái)我想如果可能的話，把更新的時(shí)間調(diào)整到周日的晚上，周末可能會(huì)稍微空閑點(diǎn)。

在此也再征集一下大家想看的話題，可以向我提問(wèn)，我會(huì)選取部分作為接下來(lái)文章的選題。

延伸一下昨天關(guān)于大數(shù)據(jù)的話題。在安全行業(yè)里未來(lái)真正會(huì)具備核心競(jìng)爭(zhēng)力的，我認(rèn)為正是這樣的全局視角帶來(lái)的改變。

比如近年來(lái)興起的「撞庫(kù)」攻擊。因?yàn)楦鞔蠊居脩魯?shù)據(jù)的泄露，黑客手上已經(jīng)擁有了數(shù)十億條用戶數(shù)據(jù)，其中20%包含了明文密碼。在過(guò)去黑客想破解一個(gè)用戶的密碼，可能會(huì)通過(guò)字符的排列組合生成一部字典，逐個(gè)嘗試，這樣破解的效率無(wú)疑是相當(dāng)?shù)偷?。但現(xiàn)在因?yàn)橛辛巳W(wǎng)用戶的「密碼庫(kù)」，只需要簡(jiǎn)單的查詢用戶名，多半就能知道密碼是什么，簡(jiǎn)單粗暴。

大數(shù)據(jù)就應(yīng)該這么簡(jiǎn)單粗暴的應(yīng)用，以一種完全不講道理的方式直接達(dá)到效果，根本不需要什么精巧的算法，就像「把大象裝進(jìn)冰箱」里一樣。

類(lèi)似的，國(guó)外一家安全公司Akamai宣稱(chēng)他們能非常有效的阻斷DDoS攻擊，原因是他們通過(guò)和運(yùn)營(yíng)商合作的方式獲取了全球30%左右的流量，從而能有效的監(jiān)控到全球所有的惡意IP，發(fā)現(xiàn)有攻擊過(guò)來(lái)，直接根據(jù)IP信息就阻斷了。這也是大數(shù)據(jù)的一種典型應(yīng)用。

再舉一個(gè)例子，數(shù)據(jù)可能來(lái)自于過(guò)去沒(méi)有注意到的地方。對(duì)于電話詐騙的傳統(tǒng)解決思路，一般是從用戶的來(lái)電號(hào)碼著手，或者是從周邊信息比如短信、傳播來(lái)源入手。這些傳統(tǒng)方法已經(jīng)逐漸的變得效率低下。但目前有一種解決思路是根據(jù)用戶的「聲紋」信息進(jìn)行有效識(shí)別，這樣只要積累了一個(gè)用戶的「聲紋信息庫(kù)」，就能夠在每個(gè)用戶通話時(shí)，直接識(shí)別出被標(biāo)記為詐騙的那個(gè)用戶。

所謂「聲紋」就像是指紋信息一樣，每個(gè)人說(shuō)話的聲音其實(shí)都是獨(dú)一無(wú)二的，通過(guò)數(shù)字化的方法能夠有效的識(shí)別出來(lái)。目前國(guó)外一些安全公司會(huì)把這種技術(shù)用在Call Center中進(jìn)行反欺詐。但聲紋信息和指紋信息一樣，會(huì)成為國(guó)家安全基礎(chǔ)設(shè)施的一部分。比如國(guó)外的一些機(jī)構(gòu)，一旦掌握了所有中國(guó)人，包括政府領(lǐng)導(dǎo)人的指紋信息，會(huì)釀成什么后果很難想象。這也是為什么中國(guó)政府的工作人員會(huì)禁用蘋(píng)果手機(jī)的原因，至少蘋(píng)果收集用戶的指紋信息會(huì)威脅到國(guó)家安全。

所以，我理解的大數(shù)據(jù)，和各種復(fù)雜的算法沒(méi)有直接關(guān)系，那最多只是錦上添花。我理解的大數(shù)據(jù)，就是這么簡(jiǎn)單粗暴，以高一個(gè)維度的視角毫不講道理的直搗黃龍。

兩點(diǎn)之間什么最短？在二維空間是直線最短。但到了三維空間，兩點(diǎn)之間距離可以為零（蟲(chóng)洞），比如把一張紙上的兩點(diǎn)對(duì)折后貼起來(lái)。