大數(shù)據(jù)發(fā)展困難重重 未來之路何去何從

短短幾年之內(nèi)，大數(shù)據(jù)已經(jīng)徹底改變了企業(yè)運(yùn)營業(yè)務(wù)的方式——但截至目前，我們才剛剛初窺其門徑。隨著企業(yè)開始有意識到收集各類數(shù)據(jù)信息，其亦開始發(fā)現(xiàn)對這部分?jǐn)?shù)據(jù)加以正確利用所能夠帶來的巨大潛力。

一些積極迎接變革的企業(yè)發(fā)現(xiàn)，他們的數(shù)據(jù)實(shí)際上可能正是其掌握的最大資產(chǎn)。除了數(shù)據(jù)本身之外，精明的企業(yè)還能夠通過分析數(shù)據(jù)內(nèi)容以了解并更好地服務(wù)于自身客戶，甚至能夠?qū)⑵渲幸恍╆P(guān)鍵性數(shù)據(jù)出售給合作伙伴及下游廠商以賺取額外利潤。舉例來說，優(yōu)步與Lyft等服務(wù)就能夠非常準(zhǔn)確地把握與客戶出行習(xí)慣相關(guān)的數(shù)據(jù)，并將其交付至Airbnb、VRBO等其它網(wǎng)站。與此同時，F(xiàn)itbit及其它廠商提供的健身追蹤器亦能夠利用用戶的健康活動數(shù)據(jù)實(shí)現(xiàn)巨大價值。即使是與醫(yī)療衛(wèi)生業(yè)務(wù)毫不沾邊的蘋果公司，也能夠以前所未有的洞察能力審視其原生健康應(yīng)用數(shù)據(jù)。

在理論層面講，如此龐大的數(shù)據(jù)寶庫將能夠?yàn)锽2B及B2C企業(yè)帶來集中且立足實(shí)踐行為的洞察結(jié)論，進(jìn)而以前所未有的方式開啟新的機(jī)遇大門。然而，面對著一系列重大的技術(shù)性與財(cái)務(wù)性障礙，很多企業(yè)實(shí)際上并不清楚自己的下一步大數(shù)據(jù)戰(zhàn)略該走向何處。其已經(jīng)開始在數(shù)據(jù)挖掘領(lǐng)域試水，但尚未制定出一套能夠順利邁進(jìn)的堅(jiān)實(shí)戰(zhàn)略思路。

為何存在挑戰(zhàn)

截至目前，實(shí)現(xiàn)大數(shù)據(jù)技術(shù)承諾的最大障礙之一在于龐大的資金投入要求。從當(dāng)下的情況來看，最為成功的項(xiàng)目往往需要耗資數(shù)百萬美元，例如沃爾瑪?shù)膶Ｓ脭?shù)據(jù)創(chuàng)新實(shí)驗(yàn)室WalmartLabs。然而，這種項(xiàng)目只適用于那些世界上最為龐大的企業(yè)，其具備極為雄厚的財(cái)力與幾乎無窮無盡的資源。很明顯，這樣的標(biāo)準(zhǔn)對于其它公司而言并不適用，或者說毫無實(shí)現(xiàn)的可能。

為何利用大數(shù)據(jù)技術(shù)會呈現(xiàn)出如此明確的資源密集型傾向？答案主要分為以下三個方面：

數(shù)據(jù)的輸入速度極快，且數(shù)據(jù)來源數(shù)量亦急劇增加：移動、云應(yīng)用、物聯(lián)網(wǎng)——從用于追蹤庫存與設(shè)備的RF標(biāo)簽到一切接入網(wǎng)絡(luò)的家用電器——當(dāng)然，社交媒體亦是一大不容忽視的實(shí)時數(shù)據(jù)來源。

此類新型來源幾乎全部在以非結(jié)構(gòu)化或者半結(jié)構(gòu)化格式交付數(shù)據(jù)，這使得傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理方案——即SQL以及幾乎一切現(xiàn)代數(shù)據(jù)庫系統(tǒng)的實(shí)現(xiàn)基礎(chǔ)——毫無用武之地。除了收集及存儲方面的挑戰(zhàn)之外，合規(guī)性要求中的隱私與監(jiān)管要求亦會帶來新的復(fù)雜性層。不斷發(fā)展的標(biāo)準(zhǔn)要求需要完整團(tuán)隊(duì)配合先進(jìn)的技術(shù)、管理與維護(hù)手段方可實(shí)現(xiàn)。

隨著在數(shù)據(jù)復(fù)雜度的日益提高，用于管理數(shù)據(jù)的具體技術(shù)方案亦變得更難于使用。Hadoop、Kafka、Hive、Drill、Storm、MongoDB以及Cassandra等開源工具外加一系列專有方案共同構(gòu)成了獨(dú)立且相互競爭的方案生態(tài)系統(tǒng)，只有具備深厚的技術(shù)操作知識方可將其真正應(yīng)用在商業(yè)環(huán)境當(dāng)中。事實(shí)上，此類人才資源非常稀缺，大多數(shù)非財(cái)富五百強(qiáng)企業(yè)都無力承擔(dān)由此帶來的高昂開支。

缺失之處何在

可以看到，絕大多數(shù)企業(yè)僅僅是在努力管理并挖掘自己的存儲數(shù)據(jù)集，而很難實(shí)際利用數(shù)據(jù)中的信息建立自身競爭優(yōu)勢。在實(shí)踐性、實(shí)用性及可行性方面，企業(yè)還無法充分運(yùn)用現(xiàn)有工具發(fā)揮數(shù)據(jù)中的可觀潛能。需要明確的是，目前我們并不缺乏良好的大數(shù)據(jù)工具，事實(shí)上我們?nèi)狈Φ氖钦嬲邆湫逝c有效性的解決方案，這種能夠解決數(shù)據(jù)孤島及高度依賴性難題的手段既匱乏又難于維護(hù)。

為什么？因?yàn)榻刂聊壳?，我們的重點(diǎn)一直放在整合應(yīng)用程序并建立各類獨(dú)立工具與平臺之間的連接機(jī)制，缺少這種橋梁它們將根本無法協(xié)作。舉例來說，我們需要想辦法對接CROM與ERP，或者將銷售工具與市場營銷自動化機(jī)制相整合。

這種應(yīng)用到應(yīng)用型方案的問題在于，其完全忽略了數(shù)據(jù)本身——這意味著數(shù)據(jù)仍然可能以分裂化、孤立化或者碎片化形式存在。即使應(yīng)用程序能夠彼此連接，如果其各自擁有自己的數(shù)據(jù)存儲形式，那么數(shù)據(jù)亦無法實(shí)現(xiàn)通用。這意味著我們將面對大量不完整或者重復(fù)的數(shù)據(jù)記錄，即通常所謂的“臟”數(shù)據(jù)。任何分析方法都無法利用這樣的數(shù)據(jù)素材提供可靠的結(jié)論——因?yàn)閿?shù)據(jù)本身就不夠可靠。