解析大數(shù)據(jù)的五大陷阱

大數(shù)據(jù)龐大而又復(fù)雜。這不僅體現(xiàn)在信息的積累上，而且體現(xiàn)在其對經(jīng)營策略的影響上。據(jù)IDC預(yù)測，2018年，全球業(yè)務(wù)分析開支將高達(dá)896億美元。成功利用大數(shù)據(jù)已成為眾多企業(yè)的關(guān)鍵要素，其中包括制定平臺(tái)戰(zhàn)略，無論它是“數(shù)據(jù)中心”，還是“數(shù)據(jù)平臺(tái)”亦或是“數(shù)據(jù)湖”。

很多還未實(shí)施大數(shù)據(jù)項(xiàng)目的企業(yè)正在評估他們2016年的數(shù)據(jù)戰(zhàn)略，其它公司則在審視它們現(xiàn)有的項(xiàng)目，探索利用分析改善經(jīng)營和增加收入的新方法。事實(shí)上，大數(shù)據(jù)并不容易做到。據(jù)Gartner預(yù)測，直到2018年，由于技能和集成上的問題，70%的Hadoop系統(tǒng)可能將無法滿足成本節(jié)約和創(chuàng)收目標(biāo)。因此，如何才能把大數(shù)據(jù)“物盡其用”變得至關(guān)重要。以下是一些您應(yīng)該規(guī)避的最常見的大數(shù)據(jù)陷阱：

　　陷阱1：缺乏企業(yè)平臺(tái)或以數(shù)據(jù)為本的架構(gòu)

Hadoop系統(tǒng)通常是以具體應(yīng)用的原型身份進(jìn)入企業(yè)的，然后逐漸成為重心，吸引越來越多的數(shù)據(jù)，并很快成為一個(gè)巨獸——由一小撮“數(shù)據(jù)科學(xué)家”領(lǐng)導(dǎo)的數(shù)字運(yùn)算引擎。企業(yè)必需從一個(gè)企業(yè)平臺(tái)策略和一個(gè)以數(shù)據(jù)為本的架構(gòu)開始，打破在各種規(guī)模的企業(yè)中盛行并削弱企業(yè)力量的數(shù)據(jù)孤島。大數(shù)據(jù)需要能夠在一個(gè)完全可擴(kuò)展的分布式環(huán)境中實(shí)施并行處理，并盡可能地減少阻力。與傳統(tǒng)數(shù)據(jù)庫系統(tǒng)或應(yīng)用孤島不同，在一個(gè)以數(shù)據(jù)為本的架構(gòu)或企業(yè)平臺(tái)中，數(shù)據(jù)不受限制，不綁定模式，也沒有被鎖定。

　　陷阱2：缺乏“數(shù)據(jù)湖”愿景

對于企業(yè)而言，“數(shù)據(jù)湖”具有改變游戲規(guī)則的變革性意義。它是一個(gè)數(shù)據(jù)集中目的地，可提供企業(yè)急需的各類型的數(shù)據(jù)集成，其中包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)以及內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)和合作伙伴數(shù)據(jù)。數(shù)據(jù)湖存儲(chǔ)庫通過“大數(shù)據(jù)經(jīng)濟(jì)學(xué)” 創(chuàng)造巨大效益，與傳統(tǒng)解決方案相比，它可將數(shù)據(jù)存儲(chǔ)和分析的成本降低30到50倍。 數(shù)據(jù)湖能夠在任何數(shù)據(jù)轉(zhuǎn)換或模式創(chuàng)建之前捕獲“原始數(shù)據(jù)”，并提供自動(dòng)快速攝取機(jī)制。在向企業(yè)數(shù)據(jù)接入、無縫數(shù)據(jù)訪問、迭代算法開發(fā)和敏捷開發(fā)演進(jìn)的過程中，數(shù)據(jù)湖發(fā)揮著舉足輕重的作用。

　　陷阱3：沒有針對數(shù)據(jù)增長和成熟度進(jìn)行規(guī)劃

當(dāng)數(shù)據(jù)湖成為默認(rèn)的數(shù)據(jù)目的地時(shí)，管理和細(xì)粒度安全性從一開始就變得異常重要。元數(shù)據(jù)訪問及存儲(chǔ)、數(shù)據(jù)沿襲及標(biāo)注會(huì)成為內(nèi)置，而原始數(shù)據(jù)和不同階段的轉(zhuǎn)換數(shù)據(jù)仍能毫無沖突地共存。各類應(yīng)用可以通過Hadoop使用彼此的數(shù)據(jù)。外部數(shù)據(jù)可以根據(jù)明確的處理/分析要求被屏蔽或集成，所有數(shù)據(jù)集能夠在數(shù)據(jù)湖中和睦相處，這提高了數(shù)據(jù)的可用性，縮短了應(yīng)用部署時(shí)間，并可支持無限的數(shù)據(jù)擴(kuò)展和增長。

　　陷阱4：分析小樣本數(shù)據(jù)集

很多人認(rèn)為數(shù)據(jù)不需要被集成，人們可以使用小樣本數(shù)據(jù)集，這是一種危險(xiǎn)的錯(cuò)誤觀念，因?yàn)檫@會(huì)導(dǎo)致分析結(jié)果常常被延展到較大的數(shù)據(jù)集，而且不考慮差異，少則造成誤導(dǎo)，嚴(yán)重的話甚至可能導(dǎo)致極度扭曲的結(jié)果。這通常被稱為小樣本數(shù)據(jù)集分析魔咒。例如，當(dāng)您使用小樣本數(shù)據(jù)集時(shí)，您可能會(huì)遇到很多離群數(shù)據(jù)或異常數(shù)據(jù)。如果使用的是小樣本數(shù)據(jù)集，您無法知道異常數(shù)據(jù)在較大的數(shù)據(jù)集中是否具有結(jié)構(gòu)性，或離群數(shù)據(jù)是否處于一種具備明確特征的模式。

　陷阱5：采集更少的數(shù)據(jù)，依賴更高級的算法

另一個(gè)錯(cuò)誤觀念是：高級和復(fù)雜的算法能夠解決所有問題。如果是這么簡單的話，生活就太美好了。由于是在邏輯進(jìn)程上運(yùn)行，計(jì)算機(jī)將無條件地處理意外、甚至荒謬的輸入數(shù)據(jù)，并生成無用、荒謬的輸出數(shù)據(jù)。在信息與計(jì)算機(jī)科學(xué)中，當(dāng)未被凈化的數(shù)據(jù)被輸入到復(fù)雜算法中，被稱為“垃圾進(jìn)入/垃圾輸出”。缺失/稀疏的數(shù)據(jù)、空值和人為錯(cuò)誤必須被清除。IT人員應(yīng)避免依賴未經(jīng)驗(yàn)證的假設(shè)或弱關(guān)聯(lián)，而去盡可能多地采集數(shù)據(jù)，讓數(shù)據(jù)自己說話。在部署數(shù)據(jù)平臺(tái)時(shí)，這一點(diǎn)非常經(jīng)濟(jì)高效。

　　制定一個(gè)成功的大數(shù)據(jù)策略

如果將規(guī)避以上陷阱做為動(dòng)機(jī)，從一開始就把事情做對，即可事半功倍，幫助企業(yè)更快、更好地利用大數(shù)據(jù)。