我們真的需要盲目燒錢追求大數(shù)據(jù)嗎_數(shù)據(jù)分析師

大數(shù)據(jù)可能是現(xiàn)在最炙手可熱的技術(shù)名詞了。如若你現(xiàn)在還沒有加入大數(shù)據(jù)的陣營(yíng)， 那你想方法弄到一些。畢竟， 競(jìng)爭(zhēng)需要大數(shù)據(jù)。如若你的數(shù)據(jù)量很小， 你將被競(jìng)爭(zhēng)對(duì)手徹底打敗。

作為顧問和 IT公司向企業(yè)推銷的另一個(gè)大項(xiàng)目，在大數(shù)據(jù)背后的料想還存在許多問題。幸運(yùn)的是，誠實(shí)的大數(shù)據(jù)實(shí)踐者（又稱數(shù)據(jù)科學(xué)家）從不放下懷疑態(tài)度， 并提出了一系列對(duì)大數(shù)據(jù)放肆宣傳感應(yīng)厭倦的理由。如下：

理由一，縱然像Facebook和Yahoo!這樣的互聯(lián)網(wǎng)巨頭也并非總是處置大數(shù)據(jù)，Google風(fēng)格工具的應(yīng)用是不合適的。

Facebook和雅虎運(yùn)行其巨型集群機(jī)（功能壯大的服務(wù)器集合）來處置數(shù)據(jù)。必須要進(jìn)行集群處置是大數(shù)據(jù)的標(biāo)志之一。畢竟，在家用PC就能處置的數(shù)據(jù)不能稱為大數(shù)據(jù)。將業(yè)務(wù)拆分為小業(yè)務(wù)，使用一系列的計(jì)算機(jī)來處置每個(gè)小業(yè)務(wù)的須要性，是類似Google計(jì)算世界上每一個(gè)網(wǎng)頁排名的大數(shù)據(jù)問題典型特點(diǎn)。

現(xiàn)在看來，對(duì)于Facabook和Yahoo!來說，每個(gè)業(yè)務(wù)都是用同樣規(guī)模的集群機(jī)是不須要的。好比Facebook的情況，工程師提交給集群機(jī)的大多數(shù)任務(wù)都是 MB到GB的范圍，完全可以在一臺(tái)計(jì)算機(jī)甚至札記本電腦上完成。

Yahoo!也存在類似的情況， Yahoo!集群機(jī)所處置的數(shù)據(jù)中位數(shù)只有 12.5GB，通常臺(tái)式電腦不能處置這種任務(wù)，但一臺(tái)配置較好的服務(wù)器完全可以勝任。

以上觀點(diǎn)均提煉于Microsoft Research的一篇名為《 Nobody ever got fired for buying a cluster》的論文。論文中指出縱然是在最渴求數(shù)據(jù)的公司，多數(shù)問題也不必集群處置。由于對(duì)于大量問題類型而言，集群是一個(gè)相對(duì)低效 甚至是完全不合適的解決方案。

理由二，大數(shù)據(jù)已經(jīng)成為數(shù)據(jù)剖析的代名詞，這種定義是混亂的，并會(huì)起到反作用。

數(shù)據(jù)剖析最早可追溯到為皇家糧倉的所有糧食制表統(tǒng)計(jì)，但是現(xiàn)在你必須要在數(shù)據(jù)前加“大”字，須要的數(shù)據(jù)剖析已經(jīng)卷入了一場(chǎng)較大但是用處不大的流行風(fēng)暴中。例如，一篇文章告誡讀者“ 3個(gè)步驟將大數(shù)據(jù)運(yùn)用到你的小企業(yè)中”，實(shí)際上小企業(yè)的數(shù)據(jù)量谷歌文檔就能處置，更不說用札記本的EXCEL了。

這就是說，實(shí)際上大多數(shù)企業(yè)處置的數(shù)據(jù)都是被Open Knowledge Foundation的Rufus Pollock所說的 小數(shù)據(jù)。這很主要，這是一場(chǎng)“革命”， Pollock稱。但它與大數(shù)據(jù)關(guān)系不大。

理由三，超大化你的數(shù)據(jù)規(guī)模正在變成一件得不償失的事情。

數(shù)據(jù)越多就越好嗎？不盡然。如若你正在尋找相關(guān)方程式——x，y的關(guān)系，怎樣能給我提供有效信息？實(shí)際上數(shù)據(jù)越多，隨之而來的麻煩也越大。

能從大數(shù)據(jù)中提取的信息會(huì)隨著數(shù)據(jù)規(guī)模的增加而減少，Michael Wu（社交媒體剖析公司Lithium的首席數(shù)據(jù)剖析學(xué)家） 寫道。這意味著越過了某一點(diǎn)后，繼續(xù)增加數(shù)據(jù)所形成的邊際數(shù)據(jù)回報(bào)率減少到如此地步，搜集更多數(shù)據(jù)僅僅是浪費(fèi)時(shí)間。

原由之一：數(shù)據(jù)越“大”，尋找相關(guān)性時(shí)錯(cuò)誤信息會(huì)更多。正如數(shù)據(jù)剖析家Vincent Granville在《 The curse of big data》（《大數(shù)據(jù)的詛咒》）中寫道的：縱然只包括1000個(gè)條目的數(shù)據(jù)集，也很容易會(huì)陷入處置幾百萬個(gè)相關(guān)剖析的處境。”這意味著，“所有這些相關(guān)剖析，有些可能會(huì)高度切合，但這僅僅是一種有時(shí)：如若你使用這種相關(guān)剖析作為預(yù)測(cè)模型，結(jié)果將會(huì)錯(cuò)誤”。

這個(gè)錯(cuò)誤經(jīng)常在大數(shù)據(jù)的原始應(yīng)用領(lǐng)域之一遺傳學(xué)中突然出現(xiàn)。對(duì)基因組序列有興趣的科學(xué)家苦心找尋其相關(guān)性而進(jìn)行的無休止的研究，最終卻得出了種種毫無益處的結(jié)果。

理由四，在某些情況下，大數(shù)據(jù)會(huì)令你茅塞頓開，但也可能會(huì)令你陷入疑惑。

公司一旦開始使用大數(shù)據(jù)，就深陷于一系列艱澀學(xué)科的研究中——統(tǒng)計(jì)，數(shù)據(jù)質(zhì)量，和其他構(gòu)成“數(shù)據(jù)科學(xué)”的一切。就像那些每日都需要發(fā)表出書物的科學(xué)，經(jīng)常會(huì)被忽視或是被修正，或是從未被證實(shí)，這之中的陷阱實(shí)在太多了。

數(shù)據(jù)搜集方式的偏見，上下文的缺乏，數(shù)據(jù)群集的缺口，數(shù)據(jù)的人工處置模式和整體認(rèn)知誤差都會(huì)導(dǎo)致縱然最好的研究人員也可能發(fā)現(xiàn)錯(cuò)誤的相關(guān)模型， 麻省理工學(xué)院媒體實(shí)驗(yàn)室客座教授Kate Crawford說：“我們可能會(huì)陷入某種算法幻覺中”。換句話說，縱然你有大數(shù)據(jù)，也并非IT部門的任何人都能處置的，他可能需要有博士學(xué)位或等量經(jīng)驗(yàn)。當(dāng)處置完成后，他們的答案可能是你并不需要“大數(shù)據(jù)”。

那么哪個(gè)更好——大數(shù)據(jù)或小數(shù)據(jù)？

你的業(yè)務(wù)需要數(shù)據(jù)嗎？當(dāng)然需要。但是只有 尖頭發(fā)呆伯特的老板才會(huì)像趕時(shí)髦一樣購置具有所謂主要性的數(shù)據(jù)規(guī)模。在科學(xué)領(lǐng)域同樣存在著企業(yè)使用數(shù)據(jù)制訂決議時(shí)固有的問題——數(shù)據(jù)質(zhì)量，總體目標(biāo)以及上下文和直覺的主要性。記?。篏regor Mendel僅利用一本札記本的數(shù)據(jù)就發(fā)現(xiàn)了遺傳的秘密。主要是數(shù)據(jù)的質(zhì)量，而不是數(shù)據(jù)的規(guī)模。