避免大數(shù)據(jù)實(shí)現(xiàn)的5大錯(cuò)誤

近年來，很少有術(shù)語像“大數(shù)據(jù)”那樣被過度使用和誤解。從利用流感趨勢的解決方案對大規(guī)模流感的爆發(fā)進(jìn)行預(yù)測，到跟蹤購物趨勢，提供商品打折給客戶，以及影響企業(yè)和個(gè)人利益的實(shí)時(shí)交易決策，數(shù)據(jù)已成為在今天的全球經(jīng)濟(jì)保持競爭力的關(guān)鍵。要了解大數(shù)據(jù)行業(yè)的意義，和為什么大數(shù)據(jù)引起了很多人的關(guān)注，我們需要打破數(shù)據(jù)庫行業(yè)的觀念，它們導(dǎo)致我們今天在管理和分析數(shù)據(jù)時(shí)面臨一些挑戰(zhàn)。

要理解本文所說的大數(shù)據(jù)，我將以幫助企業(yè)認(rèn)識到大數(shù)據(jù)對他們意味著什么的一位執(zhí)行官的角度來定義它。大數(shù)據(jù)只是當(dāng)前對數(shù)據(jù)庫管理的需求和用來滿足數(shù)據(jù)庫市場需求所需要的技術(shù)。今天符合Gartner和其他人的定義為：數(shù)量、品種、速度、和復(fù)雜性在大數(shù)據(jù)討論中的不同。

這些數(shù)據(jù)包括復(fù)雜的文本，視頻和音頻文件，實(shí)時(shí)回饋，和不斷變化的業(yè)務(wù)流程，需要靈活的不同數(shù)據(jù)源的數(shù)據(jù)模式。技術(shù)人員意識到遺留系統(tǒng)或傳統(tǒng)的關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）解決方案不能夠處理真正帶來業(yè)務(wù)成果的數(shù)據(jù)類型時(shí)，問題出現(xiàn)了。它不再僅僅是存儲的信息。技術(shù)人員和商界領(lǐng)袖需要更好地利用可用的數(shù)據(jù)，能夠訪問它，實(shí)時(shí)管理和使用它。要達(dá)到新要求，新出現(xiàn)的一些供應(yīng)商似乎正在解決不斷增長的數(shù)據(jù)帶來的挑戰(zhàn)，但卻創(chuàng)建了新的問題。

所以，當(dāng)企業(yè)在實(shí)施計(jì)劃使用大數(shù)據(jù)卻失敗的時(shí)候，哪些錯(cuò)誤我們常見的？最近的一項(xiàng)調(diào)查表明，超過75%的大數(shù)據(jù)/ IT項(xiàng)目在更廣泛的行業(yè)是不完整的。顯然，最有效地利用大數(shù)據(jù)為我們工作的解決方案仍有挑戰(zhàn)和障礙。

讓我們來分析失敗的原因。

●你沒有用好數(shù)據(jù)

任何企業(yè)在大數(shù)據(jù)上面臨挑戰(zhàn)最明顯的原因，是在使用可用數(shù)據(jù)來驅(qū)動

如果在線出版商更好地了解讀者何時(shí)以及為什么點(diǎn)擊內(nèi)容并停留更長的時(shí)間，就可以針對當(dāng)前和未來的游客需求定制內(nèi)容。從現(xiàn)有的數(shù)據(jù)中獲取價(jià)值是最常見的挑戰(zhàn)之一。雖然許多技術(shù)可以幫助滿足這些挑戰(zhàn)，大多數(shù)數(shù)據(jù)庫技術(shù)不能夠快速、輕松地做到這一點(diǎn)又無需大量的數(shù)據(jù)轉(zhuǎn)換，使準(zhǔn)確的商業(yè)智能的目標(biāo)更加難以達(dá)到。

大多數(shù)數(shù)據(jù)庫技術(shù)需要某種形式的數(shù)據(jù)定義或模式，如果開始時(shí)對數(shù)據(jù)的一些需求不知道就會延緩項(xiàng)目。

NoSQL數(shù)據(jù)庫非常有效地解決這個(gè)問題。NoSQL數(shù)據(jù)庫可以（通常是） 在不需要，或者需要很少模式的情況下實(shí)現(xiàn)。這是NoSQL數(shù)據(jù)庫的一個(gè)主要價(jià)值主張，也是NoSQL 使用者流行的關(guān)鍵驅(qū)動之一。

復(fù)雜的數(shù)據(jù)建模，中間層對象映射和迭代返工，所有這些與舊的RDBMS相關(guān)聯(lián)的模型，而它們已經(jīng)為這個(gè)新的大數(shù)據(jù)管理方式打開了大門。

●你將企業(yè)下注在免費(fèi)軟件上

通過過去幾年的過分宣傳,每個(gè)企業(yè)好像都必須部署最新、最好的解決方案,如Apache Hadoop或Pig，而覺得傳統(tǒng)RDBMS的解決方案是過時(shí)的。盡管關(guān)系數(shù)據(jù)庫本身無法解決NoSQL數(shù)據(jù)庫能滿足的需求是一個(gè)事實(shí)，但越來越多的開源大數(shù)據(jù)生態(tài)系統(tǒng)的失敗阻止了大數(shù)據(jù)的使用 —— 而且許多這樣的失敗的成本是昂貴的。

免費(fèi)軟件運(yùn)動在很大程度上成為一個(gè)被揭穿的神話，主要是由沒有經(jīng)驗(yàn)的軟件開發(fā)人員共享或只有他們才能管理它。該行業(yè)在過去的十年來應(yīng)對企業(yè)軟件的實(shí)體（“你永遠(yuǎn)不會比你付出的得到的要多”,和 “如果這聽起來好得令人難以置信。。?！埃?

現(xiàn)實(shí)情況是，大多數(shù)開源數(shù)據(jù)庫軟件解決企業(yè)的需求時(shí)是不可行或不現(xiàn)實(shí)的。大多數(shù)開源包是用來吸引簡單的面向消費(fèi)者的應(yīng)用程序的網(wǎng)絡(luò)開發(fā)人員。這些產(chǎn)品通常擴(kuò)展不佳，不安全，并且丟失數(shù)據(jù)。是的，他們丟失數(shù)據(jù)，因?yàn)榻灰滋幚砥鞑皇潜辉O(shè)計(jì)來驗(yàn)證每個(gè)自主數(shù)據(jù)的寫入的。

●你全部放棄了昂貴的舊的數(shù)據(jù)系統(tǒng)

我相信數(shù)據(jù)倉庫有很長的未來。這不是一個(gè)大膽的預(yù)測，但RDBMS的未來呢？當(dāng)然我們不會看到Oracle數(shù)據(jù)庫很快消失的。

我的數(shù)據(jù)顯示了邏輯數(shù)據(jù)倉庫（LDW）有一個(gè)日益增長的趨勢：該倉庫真正建立在兩個(gè)或兩個(gè)以上的物理數(shù)據(jù)庫集成到一個(gè)單一的訪問視圖中。出于同樣的原因，行業(yè)采用NoSQL用于應(yīng)用程序開發(fā)，它需要一種新的方式來構(gòu)造和托管數(shù)據(jù)倉庫。使用一個(gè)RDBMS，很難第一次就讓它正確，而且要花很長時(shí)間（和太多錢）迭代。

LDW獨(dú)特地合并了索引，而且是幾乎任何數(shù)據(jù)源的數(shù)據(jù)合成，使它可以構(gòu)建一個(gè)定制的視圖讓任何客戶執(zhí)行交易或分析查詢。雖然RDBMS成為舊物，放棄現(xiàn)有的實(shí)施，成本可能太大了。LDW讓企業(yè)的舊的系統(tǒng)的沉沒成本減少，搬到一個(gè)更有效率，多能的，且可伸縮的數(shù)據(jù)庫平臺。企業(yè)NoSQL數(shù)據(jù)庫可以整合老的RDMBS和一個(gè)失敗的Hadoop項(xiàng)目來處理結(jié)構(gòu)化數(shù)據(jù)庫、文檔存儲，文件，和媒體。這對受困于過去錯(cuò)誤的軟件的IT來說有巨大的價(jià)值。

●你不了解你的數(shù)據(jù)

與任何行業(yè)一樣，一種進(jìn)化可以快速創(chuàng)建知識鴻溝：我們理解的挑戰(zhàn)和解決方案還沒有趕上任何特定的企業(yè)所面臨的那些。

一些人認(rèn)為一些人相信大數(shù)據(jù)創(chuàng)造了對新角色的需要。最近，我看到首席數(shù)據(jù)官（CDO）和數(shù)據(jù)科學(xué)家的出現(xiàn)。很多人嘲笑需要新的專家進(jìn)入企業(yè)的成本，但企業(yè)沒有適當(dāng)?shù)膶I(yè)知識很難理解自己的數(shù)據(jù)，這些數(shù)據(jù)意味著什么，如何最好地使用它。據(jù)Gartner的數(shù)據(jù), 全球有25%的大型企業(yè)在2015年將任命了一個(gè)CDO。

但坦率地說，你不需要一個(gè)數(shù)據(jù)科學(xué)家。你需要更好的軟件。

●貪多嚼不爛

也許最容易避免在你進(jìn)入大數(shù)據(jù)的錯(cuò)誤是避免獲取的太多的。大多數(shù)情況下，這是由于技術(shù)的原因。奇怪的是，從大數(shù)據(jù)的角度解決整個(gè)企業(yè)的問題幾乎是不可能的。為什么不從容易的事開始并且快速讓項(xiàng)目成功發(fā)展。使用靈活的技術(shù),如企業(yè)NoSQL、迭代倉庫開發(fā)可以在少返工和更少的前期工程成本下迅速開展。

在公司能成功迅速果斷地使用可用的數(shù)據(jù)的基礎(chǔ)上，再增加每個(gè)公司的競爭優(yōu)勢。太多的企業(yè)獲得的數(shù)據(jù)超過他們成功處理的能力。有一個(gè)概念是不妥的，認(rèn)為所有大數(shù)據(jù)問題必須以某種方式一起解決，像一個(gè)巨大的整體問題需要一個(gè)整體的解決方案。要以最終結(jié)果為主要的考慮，IT經(jīng)理和首席信息官應(yīng)該問他們試圖影響的業(yè)務(wù)決策是什么，而不是如何將新技術(shù)集成到現(xiàn)有的技術(shù)。提出正確的問題關(guān)乎任何數(shù)據(jù)項(xiàng)目的成功或失敗。

從小處著手再快速擴(kuò)展，一旦團(tuán)隊(duì)熟悉了相關(guān)的解決方案和提出的模式，將使未來的項(xiàng)目在預(yù)算內(nèi)及時(shí)達(dá)成。最重要的是，產(chǎn)生預(yù)期的結(jié)果。

不論你處理的是財(cái)務(wù)數(shù)據(jù)、針對保健的信息、購物分析、發(fā)布工作，還是政府情報(bào)，數(shù)據(jù)都一樣的有不斷變化的復(fù)雜性和多樣性，而且它的數(shù)量和需求在日益增長。要處理這些大量和持續(xù)涌入的數(shù)據(jù)，推動業(yè)務(wù)價(jià)值，企業(yè)需要了解很多大數(shù)據(jù)項(xiàng)目失敗的原因，然后才能避免這些缺點(diǎn)。知道不該做和知道要做什么一樣重要。有了這些知識，企業(yè)可以快速實(shí)現(xiàn)自己的短期和長期的目標(biāo)。