大數(shù)據(jù)利用率僅1% 大量商業(yè)價(jià)值被浪費(fèi)_數(shù)據(jù)分析師考試

許多人都會(huì)被震驚，如果他們知道研究人員只是從收集到數(shù)據(jù)中1%的數(shù)據(jù)進(jìn)行分析和提取見解。而就是這1%被分析的數(shù)據(jù)支配了革新和見解，現(xiàn)在我們稱之為“大數(shù)據(jù)”。而在每天收集的1 quintillion(百萬(wàn)3次方)字節(jié)的數(shù)據(jù)中，有99%的數(shù)據(jù)完全未被利用。

　　Gurjeet Singht是Ayasdi的聯(lián)合創(chuàng)始人兼CEO。在Gigaom上帶來(lái)了關(guān)于當(dāng)下大數(shù)據(jù)技術(shù)的看法，Singht認(rèn)為：從查詢開始分析數(shù)據(jù)本身就是一個(gè)死胡同，并指出了當(dāng)下的大數(shù)據(jù)只完成了萬(wàn)里長(zhǎng)征的第一步。

　　以下為譯文：

　　許多人都會(huì)被震驚，如果他們知道研究人員只是從收集到數(shù)據(jù)中1%的數(shù)據(jù)進(jìn)行分析和提取見解。而就是這1%被分析的數(shù)據(jù)支配了革新和見解，現(xiàn)在我們稱之為“大數(shù)據(jù)”。而在每天收集的1 quintillion(百萬(wàn)3次方)字節(jié)的數(shù)據(jù)中，有99%的數(shù)據(jù)完全未被利用。

　　我們都知道使用大數(shù)據(jù)非常的有前途，然而基于當(dāng)下的許多因素，數(shù)據(jù)的有效利用仍然是個(gè)瓶頸。藥物研發(fā)過(guò)程中，數(shù)據(jù)的使用多于化學(xué)過(guò)程;新能源的探測(cè)中，數(shù)據(jù)的使用超過(guò)地質(zhì)學(xué);恐怖分子的追蹤、預(yù)防欺騙中同樣如此。

　　現(xiàn)在我們已經(jīng)認(rèn)識(shí)到的上述的這些問(wèn)題和其它一些全局性問(wèn)題，都是數(shù)據(jù)使用的瓶頸所造成的。這種情況催生了大數(shù)據(jù)上的海量投資，而數(shù)據(jù)工作同樣成為了最熱門的崗位 數(shù)據(jù)科學(xué)家，更把私人數(shù)據(jù)分析服務(wù)提供商的估值推到數(shù)十億美元。然而，你能想象到將分析的數(shù)據(jù)從1%提升到100%的前景嗎。

　　對(duì)已有數(shù)據(jù)分析的見解

　　如果你擁有一個(gè)和人類基因一樣龐大的數(shù)據(jù)集，你該如何開始比如，奧巴馬最近提倡對(duì)人類大腦進(jìn)行繪制為了突破，我們需要解決這個(gè)世界上最復(fù)雜的問(wèn)題，我們需要根本上改變從數(shù)據(jù)中獲取知識(shí)的途徑。這里我們必須首先思考的是：

　　從查詢開始必然是一個(gè)死胡同：查詢本身并沒(méi)有問(wèn)題。事實(shí)上一旦你知道問(wèn)什么問(wèn)題，查詢是至關(guān)重要的。同樣這也是關(guān)鍵所在：從查詢開始的初衷是從大量的數(shù)據(jù)中發(fā)現(xiàn)一個(gè)指針，然而他們并未做到。

　　數(shù)據(jù)是有開銷的：大部分情況下，數(shù)據(jù)的儲(chǔ)存已經(jīng)不再昂貴。而且通過(guò)使用類似Hadoop或Redshift的工具，即使查詢大量的數(shù)據(jù)都變得非常劃算。當(dāng)然，這只是從硬件的角度上講。

　　見解就是金錢：我們?cè)敢獬袚?dān)花銷唯一理由就是數(shù)據(jù)中的見解可以釋放價(jià)值。遺憾的是，我們失去了已收集數(shù)據(jù)中大部分的價(jià)值。雖然收集數(shù)據(jù)的成本可能會(huì)很高，但是無(wú)效分析帶來(lái)的成本顯然更高。當(dāng)下并不存在什么工具可以直接從數(shù)據(jù)中提取見解，我們依賴著非常聰明的人去提出假設(shè)，然后使用我們的工具去證實(shí)(或者是否定)這些臆測(cè)。因?yàn)橐蕾嚨氖且軠y(cè)，這個(gè)途徑存在著天生的缺陷。

　　你已經(jīng)擁有了足夠多的數(shù)據(jù)：這里經(jīng)常存在的信念就是 “如果我們擁有了足夠多的數(shù)據(jù)，我們肯定會(huì)得到我們想要的?！碧嗟臅r(shí)間和精力被浪費(fèi)在新的數(shù)據(jù)收集上，其實(shí)你可以用你手中的數(shù)據(jù)做更多的事情。舉個(gè)例子，Ayasdi最近在Nature Scientific Reports公布的從12歲乳腺癌患者身上獲得的新見解，就已經(jīng)被深入分析了10多年之久。

　　大數(shù)據(jù)只是起步，并不是終點(diǎn)

　　基于查詢的分析在某些方面確實(shí)可以起到很多作用，但是很顯然并沒(méi)有滿足人們對(duì)大數(shù)據(jù)的期望。

　　經(jīng)常會(huì)聽到我們?cè)诎┌Y研究、能源勘探、藥物發(fā)現(xiàn)、金融欺詐檢測(cè)等領(lǐng)域取得了關(guān)鍵性突破，如果因?yàn)槌醋鞒鰜?lái)的“大數(shù)據(jù)泡沫”導(dǎo)致人們因?yàn)楦鞣N原因在數(shù)據(jù)分析投資上的失敗，這與犯罪又有何不同

　　所以我們需要給予數(shù)據(jù)分析更高的期望，我們更需要認(rèn)識(shí)到下一代解決方案必須滿足：

　　授權(quán)領(lǐng)域?qū)＜遥簲?shù)據(jù)科學(xué)家出現(xiàn)的頻率已完全跟不上企業(yè)的需求。這里不妨這么做，停止繼續(xù)為他們(數(shù)據(jù)科學(xué)家)開發(fā)工具;取而代之的是，給商業(yè)用戶(生物學(xué)家、地質(zhì)學(xué)家、安全分析師等)開發(fā)對(duì)應(yīng)的工具。他們比任何人都明白問(wèn)題出現(xiàn)的環(huán)境，但可能跟不上最新的技術(shù)或數(shù)學(xué)。

　　加速探索：我們需要更快的獲得關(guān)鍵見解。事實(shí)證明大數(shù)據(jù)技術(shù)的處理速度并沒(méi)有承諾的那么快。如果一直這樣發(fā)展下去，可能我們永遠(yuǎn)都得不到足夠快的關(guān)鍵見解獲得速度，因?yàn)槲覀冇肋h(yuǎn)都不可能針對(duì)所有數(shù)據(jù)提出所有的問(wèn)題。

　　人機(jī)整合：為了更快的獲得見解，我們需要加大對(duì)機(jī)器智能的投資。我們需要機(jī)器能在數(shù)據(jù)點(diǎn)之間尋求連接和關(guān)系時(shí)擔(dān)當(dāng)更多的重任，讓其給商業(yè)用戶一個(gè)更好的起點(diǎn)去探索見解。事實(shí)上通過(guò)算法途徑解決這些問(wèn)題是完全可行的，并且人們本身永遠(yuǎn)都不可能發(fā)現(xiàn)大型數(shù)據(jù)集上的顯著特征。例如在最近的一項(xiàng)研究中，通過(guò)算法查詢網(wǎng)絡(luò)搜索引擎日志發(fā)現(xiàn)了之前未報(bào)告過(guò)的藥物副作用。

　　分析各種形式的數(shù)據(jù)：當(dāng)然，研究人員需要分析結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。同樣我們需要認(rèn)識(shí)非結(jié)構(gòu)化數(shù)據(jù)的多樣性：所有語(yǔ)言、聲音、視頻和面部識(shí)別文檔。

　　當(dāng)談到大數(shù)據(jù)演變，我們只處于其初級(jí)階段。顯而易見如果我們繼續(xù)分析百分之一的數(shù)據(jù)，那么我們只能挖掘其1%的價(jià)值。如果我們能夠分析其它的99%，那么想象一下我們可以從各種方面推動(dòng)世界進(jìn)步。我們可以加速經(jīng)濟(jì)增長(zhǎng)、治愈癌癥及其他疑難雜癥、減少恐怖襲擊、以及在一些其它的挑戰(zhàn)上拿到入場(chǎng)卷。