關(guān)于大數(shù)據(jù)的五大謬見

近期，有關(guān)大數(shù)據(jù)的新聞?wù)紦?jù)著各大媒體科技報(bào)道的主要版面。但是，有許多文章似乎華而不實(shí)，一些報(bào)道鼓吹大數(shù)據(jù)是能夠解決一切問題的解決方案，如它能進(jìn)行入侵檢測(cè)、預(yù)防詐騙、治療癌癥，甚至還能設(shè)置最優(yōu)的產(chǎn)品價(jià)格。
    但是，業(yè)界定義的大數(shù)據(jù)是指迅速收集的、各種各樣的、大量的數(shù)據(jù)集合，而不是能夠處理一切問題的萬能解決方案。在現(xiàn)實(shí)中，如果一些企業(yè)偏信這些與大數(shù)據(jù)相關(guān)的謬見，那么這些企業(yè)很可能會(huì)偏離正軌，走向錯(cuò)誤的發(fā)展方向，浪費(fèi)大量的時(shí)間和金錢，喪失其在市場(chǎng)上有利的競(jìng)爭(zhēng)地位，還可能損害企業(yè)的聲譽(yù)。
    此篇文章就講述了業(yè)界常出現(xiàn)的有關(guān)大數(shù)據(jù)五大謬見。
   1. 只有數(shù)據(jù)科學(xué)家才能處理大數(shù)據(jù)
    事實(shí)上，在處理大數(shù)據(jù)時(shí)，光靠數(shù)據(jù)科學(xué)家是遠(yuǎn)遠(yuǎn)不夠的。
    “如果你不能首先確定到底需要什么樣的信息的話，那么單憑數(shù)據(jù)科學(xué)家自己是不可能成功地從大數(shù)據(jù)中提取有用信息的”，賓夕法尼亞大學(xué)醫(yī)院（Penn Medicine）數(shù)據(jù)分析部門高級(jí)主管Pat Farrell說：“你還需要熟悉業(yè)界動(dòng)態(tài)、掌握相關(guān)領(lǐng)域知識(shí)的人才，他們知道問題的所在，也了解什么樣的解決方案對(duì)于你所從事的領(lǐng)域最有價(jià)值?！?br />     例如，在賓夕法尼亞大學(xué)醫(yī)院有兩個(gè)系統(tǒng)，一個(gè)是醫(yī)療系統(tǒng)，一個(gè)是醫(yī)學(xué)院系統(tǒng)。長期以來，醫(yī)療系統(tǒng)通常從一個(gè)數(shù)據(jù)倉庫中收集臨床醫(yī)療數(shù)據(jù)。與此同時(shí)，在醫(yī)學(xué)院系統(tǒng)中，出現(xiàn)了一個(gè)新的技術(shù)，可以實(shí)現(xiàn)對(duì)人類基金組的排序，并產(chǎn)生了大量的數(shù)據(jù)。
    Farrell說：“我們知道這些數(shù)據(jù)一定存在著某些價(jià)值，而我們最終也有了能夠獲取這些價(jià)值的計(jì)算能力。我們將專業(yè)的醫(yī)療知識(shí)與數(shù)據(jù)分析技術(shù)相結(jié)合，為預(yù)測(cè)醫(yī)療開拓了一片新的、更廣闊的領(lǐng)域。”
   2. 數(shù)據(jù)越大，價(jià)值越大
    收集數(shù)據(jù)，并把它儲(chǔ)存起來再登記入冊(cè)，這會(huì)花費(fèi)許多時(shí)間、占用很多資源。如果企業(yè)或機(jī)構(gòu)在收集數(shù)據(jù)時(shí)不加選擇、任意地收集大量數(shù)據(jù)，那么很可能會(huì)造成大量的資源浪費(fèi)，而這些資源完全可以用到更有價(jià)值的項(xiàng)目上去。
    Farrell建議企業(yè)在收集數(shù)據(jù)之前一定要有一個(gè)具體的目標(biāo)，或關(guān)鍵性能指標(biāo)，要明確自己需要什么樣的數(shù)據(jù)，再去有目的地收集數(shù)據(jù)。
    Farrell說：“你需要從你收集的數(shù)據(jù)中提取有價(jià)值的信息，但這并不代表你收集的數(shù)據(jù)越多，你所獲得的價(jià)值越大?！?br />     3.大數(shù)據(jù)用于大企業(yè)
    大企業(yè)或許會(huì)有更多的內(nèi)部數(shù)據(jù)來源，他們可以利用這些數(shù)據(jù)獲取對(duì)自身企業(yè)發(fā)展有價(jià)值的東西。但這并不代表大數(shù)據(jù)只用于大企業(yè)，小企業(yè)也能夠收集來自社交媒體平臺(tái)、政府機(jī)構(gòu)和數(shù)據(jù)供應(yīng)商的數(shù)據(jù)，并從這些數(shù)據(jù)中提取有利信息。
    戴爾軟件信息管理解決方案部門的產(chǎn)品管理高級(jí)總監(jiān)Darin Bartik說：“對(duì)于企業(yè)來說，不管它的規(guī)模有多大，利用數(shù)據(jù)分析制定的決策總比單純依靠直覺或第六感制定的決策要好得多，且更加可靠。”
    小企業(yè)雖然不像大企業(yè)那樣經(jīng)常利用數(shù)據(jù)分析來制定決策，但是當(dāng)這些小企業(yè)真正這樣做的時(shí)候，它們會(huì)使公司走向快速、正確的發(fā)展軌道。
    Darin Bartik說：“小企業(yè)可以利用其最佳實(shí)踐，進(jìn)一步推動(dòng)數(shù)據(jù)分析決策在企業(yè)中的發(fā)展，以此趕超或者勝過那些強(qiáng)大的競(jìng)爭(zhēng)對(duì)手?！?br />     4. 收集數(shù)據(jù)后不及時(shí)整理分類
    位于美國舊金山的云計(jì)算商業(yè)智能供應(yīng)商Birst的首席執(zhí)行官Brad Peters表示，雖然數(shù)據(jù)存儲(chǔ)的成本越來越低，但它并不是免費(fèi)的。然而，對(duì)于許多大公司來說，它們對(duì)于數(shù)據(jù)欲望的增長速度要比數(shù)據(jù)存儲(chǔ)成本降低的速度快得多。
    許多企業(yè)往往在收集完數(shù)據(jù)之后，并不迅速處理這些數(shù)據(jù)，造成數(shù)據(jù)存儲(chǔ)成本增加。Brad Peters說：“我發(fā)現(xiàn)很多大的企業(yè)或機(jī)構(gòu)收集了一大堆數(shù)據(jù)之后卻不及時(shí)處理這些數(shù)據(jù)，導(dǎo)致他們?cè)谶@些數(shù)據(jù)上的開支逐漸增大，而他們也并沒有從這些數(shù)據(jù)中獲取任何價(jià)值。”
    事實(shí)上，企業(yè)中的一些數(shù)據(jù)集已經(jīng)開始造成了企業(yè)的收益遞減。這種現(xiàn)象就像通過分析選民數(shù)據(jù)信息來預(yù)測(cè)選舉結(jié)果一樣，在預(yù)測(cè)過程中，你需要一定數(shù)量的選民作為樣本，但是如果樣本數(shù)量超過一個(gè)臨界點(diǎn)之后，無論增加多少選民，對(duì)于預(yù)測(cè)結(jié)果不會(huì)有任何太大的影響。也就是說，樣本數(shù)量過多，所花費(fèi)的成本也就越多，但對(duì)于目標(biāo)沒有任何實(shí)質(zhì)性的價(jià)值。
    “數(shù)據(jù)冗余的話，企業(yè)支出的不僅僅是存儲(chǔ)成本，還會(huì)面臨許多其他的問題”， Recommind公司信息治理和大數(shù)據(jù)管理全球主管Dean Gonsowski說。比如，如果數(shù)據(jù)泄露的話，那么公司也會(huì)承擔(dān)相應(yīng)的損失。Recommind是一家位于美國舊金山的專注于非結(jié)構(gòu)化數(shù)據(jù)分析的公司。
    最終，數(shù)據(jù)越多，那么分類整理數(shù)據(jù)所需要的時(shí)間也就越多。Dean Gonsowski說：“當(dāng)數(shù)據(jù)倉庫的規(guī)模達(dá)到數(shù)十億條記錄時(shí)，那么光是檢索數(shù)據(jù)就需要花上幾個(gè)小時(shí)，甚至是幾個(gè)星期。這時(shí)候，這些信息非但不會(huì)給企業(yè)帶來商業(yè)價(jià)值，反而會(huì)阻礙企業(yè)系統(tǒng)的運(yùn)轉(zhuǎn)，因?yàn)檫@些系統(tǒng)根本不能處理這么大信息量。”
   5. 所有數(shù)據(jù)都是一樣的
    美國佛吉尼亞州曾收集過在過去20年里學(xué)生的注冊(cè)信息、獎(jiǎng)學(xué)金，以及學(xué)位授予情況的數(shù)據(jù)，但這并不意味著20年前收集的與之存儲(chǔ)在同一個(gè)數(shù)據(jù)域里的數(shù)據(jù)就一定是相同的數(shù)據(jù)。
    佛吉尼亞州高等教育委員會(huì)的政策研究和數(shù)據(jù)倉庫部門的主管Tod Massa說：“由于數(shù)據(jù)都存儲(chǔ)在一個(gè)數(shù)據(jù)倉庫里，這導(dǎo)致研究人員認(rèn)為這些數(shù)據(jù)都是等同的，而這正是我需要處理的一個(gè)最大的問題。我們收集的ACT（American College Test，美國大學(xué)入學(xué)考試）和SAT（Scholastic Assessment Test，學(xué)術(shù)能力評(píng)估測(cè)試）的學(xué)生成績，最初我們收集的只是整個(gè)佛吉尼亞州的學(xué)生成績，但這導(dǎo)致我們的調(diào)查研究出現(xiàn)一個(gè)缺口，所以后來我們不僅收集了佛吉尼亞州的數(shù)據(jù)，還收集了其他州學(xué)生的數(shù)據(jù)。而且，不同種族在K-12級(jí)和高等教育的數(shù)據(jù)也不同?！?br />     事實(shí)上，任何特定的數(shù)據(jù)，如果由不同的組織機(jī)構(gòu)，或在不同的時(shí)間內(nèi)，或由不同的人發(fā)布的話，也有所不同。Tod Massa說：“假如收集數(shù)據(jù)的這家公司或機(jī)構(gòu)是完全孤立或與世隔絕的，那么情況可能會(huì)不一樣。但我認(rèn)為，隨著時(shí)間的推移，它們收集的數(shù)據(jù)也會(huì)有所變化?！?br />     因此，數(shù)據(jù)分析人員不僅要有數(shù)據(jù)統(tǒng)計(jì)的技能，還要掌握一定的數(shù)據(jù)知識(shí)，并清楚地了解相關(guān)行業(yè)內(nèi)的動(dòng)向和整體發(fā)展趨勢(shì)。
    這一點(diǎn)也同樣適用于從外部數(shù)據(jù)源收集的數(shù)據(jù)，過去的那種數(shù)據(jù)收集和分析的方式已經(jīng)完全改變了。能夠了解不同的數(shù)據(jù)文化背景和數(shù)據(jù)環(huán)境，對(duì)于充分利用這些數(shù)據(jù)是非常必要的。