避免大數(shù)據(jù)實現(xiàn)的5大錯誤

近年來，很少有術語像“大數(shù)據(jù)”那樣被過度使用和誤解。從利用流感趨勢的解決方案對大規(guī)模流感的爆發(fā)進行預測，到跟蹤購物趨勢，提供商品打折給客戶，以及影響企業(yè)和個人利益的實時交易決策，數(shù)據(jù)已成為在今天的全球經(jīng)濟保持競爭力的關鍵。要了解大數(shù)據(jù)行業(yè)的意義，和為什么大數(shù)據(jù)引起了很多人的關注，我們需要打破數(shù)據(jù)庫行業(yè)的觀念，它們導致我們今天在管理和分析數(shù)據(jù)時面臨一些挑戰(zhàn)。

要理解本文所說的大數(shù)據(jù)，我將以幫助企業(yè)認識到大數(shù)據(jù)對他們意味著什么的一位執(zhí)行官的角度來定義它。大數(shù)據(jù)只是當前對數(shù)據(jù)庫管理的需求和用來滿足數(shù)據(jù)庫市場需求所需要的技術。今天符合Gartner和其他人的定義為：數(shù)量、品種、速度、和復雜性在大數(shù)據(jù)討論中的不同。

這些數(shù)據(jù)包括復雜的文本，視頻和音頻文件，實時回饋，和不斷變化的業(yè)務流程，需要靈活的不同數(shù)據(jù)源的數(shù)據(jù)模式。技術人員意識到遺留系統(tǒng)或傳統(tǒng)的關系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）解決方案不能夠處理真正帶來業(yè)務成果的數(shù)據(jù)類型時，問題出現(xiàn)了。它不再僅僅是存儲的信息。技術人員和商界領袖需要更好地利用可用的數(shù)據(jù)，能夠訪問它，實時管理和使用它。要達到新要求，新出現(xiàn)的一些供應商似乎正在解決不斷增長的數(shù)據(jù)帶來的挑戰(zhàn)，但卻創(chuàng)建了新的問題。

所以，當企業(yè)在實施計劃使用大數(shù)據(jù)卻失敗的時候，哪些錯誤我們常見的？最近的一項調(diào)查表明，超過75%的大數(shù)據(jù)/ IT項目在更廣泛的行業(yè)是不完整的。顯然，最有效地利用大數(shù)據(jù)為我們工作的解決方案仍有挑戰(zhàn)和障礙。

讓我們來分析失敗的原因。

●你沒有用好數(shù)據(jù)

任何企業(yè)在大數(shù)據(jù)上面臨挑戰(zhàn)最明顯的原因，是在使用可用數(shù)據(jù)來驅動

如果在線出版商更好地了解讀者何時以及為什么點擊內(nèi)容并停留更長的時間，就可以針對當前和未來的游客需求定制內(nèi)容。從現(xiàn)有的數(shù)據(jù)中獲取價值是最常見的挑戰(zhàn)之一。雖然許多技術可以幫助滿足這些挑戰(zhàn)，大多數(shù)數(shù)據(jù)庫技術不能夠快速、輕松地做到這一點又無需大量的數(shù)據(jù)轉換，使準確的商業(yè)智能的目標更加難以達到。

大多數(shù)數(shù)據(jù)庫技術需要某種形式的數(shù)據(jù)定義或模式，如果開始時對數(shù)據(jù)的一些需求不知道就會延緩項目。

NoSQL數(shù)據(jù)庫非常有效地解決這個問題。NoSQL數(shù)據(jù)庫可以（通常是） 在不需要，或者需要很少模式的情況下實現(xiàn)。這是NoSQL數(shù)據(jù)庫的一個主要價值主張，也是NoSQL 使用者流行的關鍵驅動之一。

復雜的數(shù)據(jù)建模，中間層對象映射和迭代返工，所有這些與舊的RDBMS相關聯(lián)的模型，而它們已經(jīng)為這個新的大數(shù)據(jù)管理方式打開了大門。

●你將企業(yè)下注在免費軟件上

通過過去幾年的過分宣傳,每個企業(yè)好像都必須部署最新、最好的解決方案,如Apache Hadoop或Pig，而覺得傳統(tǒng)RDBMS的解決方案是過時的。盡管關系數(shù)據(jù)庫本身無法解決NoSQL數(shù)據(jù)庫能滿足的需求是一個事實，但越來越多的開源大數(shù)據(jù)生態(tài)系統(tǒng)的失敗阻止了大數(shù)據(jù)的使用 —— 而且許多這樣的失敗的成本是昂貴的。

免費軟件運動在很大程度上成為一個被揭穿的神話，主要是由沒有經(jīng)驗的軟件開發(fā)人員共享或只有他們才能管理它。該行業(yè)在過去的十年來應對企業(yè)軟件的實體（“你永遠不會比你付出的得到的要多”,和 “如果這聽起來好得令人難以置信。。?！埃?

現(xiàn)實情況是，大多數(shù)開源數(shù)據(jù)庫軟件解決企業(yè)的需求時是不可行或不現(xiàn)實的。大多數(shù)開源包是用來吸引簡單的面向消費者的應用程序的網(wǎng)絡開發(fā)人員。這些產(chǎn)品通常擴展不佳，不安全，并且丟失數(shù)據(jù)。是的，他們丟失數(shù)據(jù)，因為交易處理器不是被設計來驗證每個自主數(shù)據(jù)的寫入的。

●你全部放棄了昂貴的舊的數(shù)據(jù)系統(tǒng)

我相信數(shù)據(jù)倉庫有很長的未來。這不是一個大膽的預測，但RDBMS的未來呢？當然我們不會看到Oracle數(shù)據(jù)庫很快消失的。

我的數(shù)據(jù)顯示了邏輯數(shù)據(jù)倉庫（LDW）有一個日益增長的趨勢：該倉庫真正建立在兩個或兩個以上的物理數(shù)據(jù)庫集成到一個單一的訪問視圖中。出于同樣的原因，行業(yè)采用NoSQL用于應用程序開發(fā)，它需要一種新的方式來構造和托管數(shù)據(jù)倉庫。使用一個RDBMS，很難第一次就讓它正確，而且要花很長時間（和太多錢）迭代。

LDW獨特地合并了索引，而且是幾乎任何數(shù)據(jù)源的數(shù)據(jù)合成，使它可以構建一個定制的視圖讓任何客戶執(zhí)行交易或分析查詢。雖然RDBMS成為舊物，放棄現(xiàn)有的實施，成本可能太大了。LDW讓企業(yè)的舊的系統(tǒng)的沉沒成本減少，搬到一個更有效率，多能的，且可伸縮的數(shù)據(jù)庫平臺。企業(yè)NoSQL數(shù)據(jù)庫可以整合老的RDMBS和一個失敗的Hadoop項目來處理結構化數(shù)據(jù)庫、文檔存儲，文件，和媒體。這對受困于過去錯誤的軟件的IT來說有巨大的價值。

●你不了解你的數(shù)據(jù)

與任何行業(yè)一樣，一種進化可以快速創(chuàng)建知識鴻溝：我們理解的挑戰(zhàn)和解決方案還沒有趕上任何特定的企業(yè)所面臨的那些。

一些人認為一些人相信大數(shù)據(jù)創(chuàng)造了對新角色的需要。最近，我看到首席數(shù)據(jù)官（CDO）和數(shù)據(jù)科學家的出現(xiàn)。很多人嘲笑需要新的專家進入企業(yè)的成本，但企業(yè)沒有適當?shù)膶I(yè)知識很難理解自己的數(shù)據(jù)，這些數(shù)據(jù)意味著什么，如何最好地使用它。據(jù)Gartner的數(shù)據(jù), 全球有25%的大型企業(yè)在2015年將任命了一個CDO。

但坦率地說，你不需要一個數(shù)據(jù)科學家。你需要更好的軟件。

●貪多嚼不爛

也許最容易避免在你進入大數(shù)據(jù)的錯誤是避免獲取的太多的。大多數(shù)情況下，這是由于技術的原因。奇怪的是，從大數(shù)據(jù)的角度解決整個企業(yè)的問題幾乎是不可能的。為什么不從容易的事開始并且快速讓項目成功發(fā)展。使用靈活的技術,如企業(yè)NoSQL、迭代倉庫開發(fā)可以在少返工和更少的前期工程成本下迅速開展。

在公司能成功迅速果斷地使用可用的數(shù)據(jù)的基礎上，再增加每個公司的競爭優(yōu)勢。太多的企業(yè)獲得的數(shù)據(jù)超過他們成功處理的能力。有一個概念是不妥的，認為所有大數(shù)據(jù)問題必須以某種方式一起解決，像一個巨大的整體問題需要一個整體的解決方案。要以最終結果為主要的考慮，IT經(jīng)理和首席信息官應該問他們試圖影響的業(yè)務決策是什么，而不是如何將新技術集成到現(xiàn)有的技術。提出正確的問題關乎任何數(shù)據(jù)項目的成功或失敗。

從小處著手再快速擴展，一旦團隊熟悉了相關的解決方案和提出的模式，將使未來的項目在預算內(nèi)及時達成。最重要的是，產(chǎn)生預期的結果。

不論你處理的是財務數(shù)據(jù)、針對保健的信息、購物分析、發(fā)布工作，還是政府情報，數(shù)據(jù)都一樣的有不斷變化的復雜性和多樣性，而且它的數(shù)量和需求在日益增長。要處理這些大量和持續(xù)涌入的數(shù)據(jù)，推動業(yè)務價值，企業(yè)需要了解很多大數(shù)據(jù)項目失敗的原因，然后才能避免這些缺點。知道不該做和知道要做什么一樣重要。有了這些知識，企業(yè)可以快速實現(xiàn)自己的短期和長期的目標。