如何利用Hadoop廉價大數(shù)據(jù)分析_數(shù)據(jù)分析師

大數(shù)據(jù)將成為本年度的云計算。這是必然發(fā)生的結(jié)果：隨著時間的推移，企業(yè)產(chǎn)生的數(shù)據(jù)集已經(jīng)越來越大了，這些數(shù)據(jù)包括客戶購買偏好趨勢、網(wǎng)站訪問和習慣、客戶審查數(shù)據(jù)等等;那么您怎樣才能把這么大量的數(shù)據(jù)整理成綜合形式呢？傳統(tǒng)的商業(yè)智能(BI)工具(關(guān)系型數(shù)據(jù)庫和桌面數(shù)學計算包)在處理企業(yè)這么大量的數(shù)據(jù)時已經(jīng)有點不夠用了。當然，數(shù)據(jù)分析行業(yè)也有開發(fā)工具和框架，支持數(shù)據(jù)研究人員和分析師們挖掘大數(shù)據(jù)集，并能承受得了信息負載。

對于較大的公司來說，海量數(shù)據(jù)處理已經(jīng)不是什么新鮮東西了。例如，Twitter和LinkedIn已經(jīng)是大數(shù)據(jù)的著名用戶了。這兩家公司已經(jīng)各自形成了一套明顯的競爭優(yōu)勢，通過挖掘他們的大規(guī)模數(shù)據(jù)倉庫來識別趨勢。那么，中型企業(yè)CIO該怎么辦呢？幸運的是，在你手邊就有可用的工具，可以讓你，或者更具體地說是你的業(yè)務(wù)分析師，可以支持大數(shù)據(jù)處理，不至于貪多嚼不爛。。

這些工具中有一款是免費的，即基于Java的Apache Hadoop編程框架。該框架在過去一年到一年半時間里在大數(shù)據(jù)領(lǐng)域獲得了極大的市場。全球的行業(yè)專家和用戶們都把Hadoop稱為事實上的數(shù)據(jù)挖掘標準?？v觀現(xiàn)存其它大數(shù)據(jù)產(chǎn)品的表現(xiàn)，再考慮到Apache Hadoop1.0版是在2011年11月底才發(fā)布的這一事實，Hadoop獲得這樣的認可確實令人驚訝。Hadoop是如此流行，以至于Hortonworks公司CEO Eric Baldeschwieler預(yù)測在2017年它將處理全世界數(shù)據(jù)的半數(shù)之多。在接下來的這一年，Hadoop將會以某種方式靠近您的組織的幾率非常大。

Hadoop主要面向開發(fā)人員。其主要框架MapReduce支持編程者處理分布式計算機群的大規(guī)模數(shù)據(jù)量。缺點是它是非常重型的產(chǎn)品。而且，Hadoop可以把直接操作數(shù)據(jù)倉庫的技術(shù)人群與數(shù)據(jù)消費人群和數(shù)據(jù)翻譯員區(qū)分開來。

考慮到中型企業(yè)CIO的預(yù)算限制，下面有一些建議可以幫助克服海量數(shù)據(jù)的挑戰(zhàn)：

不要忽略了趨勢。大數(shù)據(jù)不會消失，不能忽略大塊數(shù)據(jù)分析轉(zhuǎn)換能力和分析數(shù)據(jù)趨勢。花一些時間理解Hadoop以及其它大數(shù)據(jù)產(chǎn)品的功能和結(jié)構(gòu)。思考一下你擁有數(shù)據(jù)的方式可以為你的公司帶來改善。

為合格的數(shù)據(jù)科學家尋找預(yù)算空間。這些人是您BI交響曲的打擊樂器。市場上合格的數(shù)據(jù)科學家非常緊缺。甚至在去年11月份的Hadoop世界大會上，培訓(xùn)也成為了一個很大的話題。要使用你培訓(xùn)預(yù)算的自由額度聘請最好的人員，保持他們的數(shù)據(jù)分析技能是頂尖的。

理解大量數(shù)據(jù)集的存儲提示。大數(shù)據(jù)其實是從多個地方和多個數(shù)據(jù)庫以近乎實時的速度挖掘海量數(shù)據(jù)，而不會受到結(jié)構(gòu)的障礙。這就使得你基礎(chǔ)設(shè)施中的存儲工作方式更加復(fù)雜了。對于這些奴表，云存儲可能會更靈活和敏捷嗎？要與你的數(shù)據(jù)挖掘策略團隊一起，使其優(yōu)先理解利用Hadoop處理能力的存儲需求類型和數(shù)量。

準備好使用Hadoop的工具集。理解微軟公司在這個領(lǐng)域的登場，試驗一下Hadoop-Excel和Hadoop-SQL Server集成看看你能交付什么類型的結(jié)果。也要了解一下IBM公司的工具，看哪一款更適合您在桌面和終端用戶軟件方面的現(xiàn)有投入。

大數(shù)據(jù)的角逐已經(jīng)開始了?？赡茉?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘變革中你已經(jīng)落后了。忽略數(shù)據(jù)分析大勢的CIO們實際上是在拿自己的職業(yè)冒險。然而，對于已經(jīng)跳入大數(shù)據(jù)領(lǐng)域并提取關(guān)鍵見解的CIO們，全世界都將在他們的掌握之中。