如何利用Hadoop廉價(jià)大數(shù)據(jù)分析_數(shù)據(jù)分析師

大數(shù)據(jù)將成為本年度的云計(jì)算。這是必然發(fā)生的結(jié)果：隨著時(shí)間的推移，企業(yè)產(chǎn)生的數(shù)據(jù)集已經(jīng)越來(lái)越大了，這些數(shù)據(jù)包括客戶購(gòu)買偏好趨勢(shì)、網(wǎng)站訪問(wèn)和習(xí)慣、客戶審查數(shù)據(jù)等等;那么您怎樣才能把這么大量的數(shù)據(jù)整理成綜合形式呢？傳統(tǒng)的商業(yè)智能(BI)工具(關(guān)系型數(shù)據(jù)庫(kù)和桌面數(shù)學(xué)計(jì)算包)在處理企業(yè)這么大量的數(shù)據(jù)時(shí)已經(jīng)有點(diǎn)不夠用了。當(dāng)然，數(shù)據(jù)分析行業(yè)也有開(kāi)發(fā)工具和框架，支持?jǐn)?shù)據(jù)研究人員和分析師們挖掘大數(shù)據(jù)集，并能承受得了信息負(fù)載。

對(duì)于較大的公司來(lái)說(shuō)，海量數(shù)據(jù)處理已經(jīng)不是什么新鮮東西了。例如，Twitter和LinkedIn已經(jīng)是大數(shù)據(jù)的著名用戶了。這兩家公司已經(jīng)各自形成了一套明顯的競(jìng)爭(zhēng)優(yōu)勢(shì)，通過(guò)挖掘他們的大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)來(lái)識(shí)別趨勢(shì)。那么，中型企業(yè)CIO該怎么辦呢？幸運(yùn)的是，在你手邊就有可用的工具，可以讓你，或者更具體地說(shuō)是你的業(yè)務(wù)分析師，可以支持大數(shù)據(jù)處理，不至于貪多嚼不爛。。

這些工具中有一款是免費(fèi)的，即基于Java的Apache Hadoop編程框架。該框架在過(guò)去一年到一年半時(shí)間里在大數(shù)據(jù)領(lǐng)域獲得了極大的市場(chǎng)。全球的行業(yè)專家和用戶們都把Hadoop稱為事實(shí)上的數(shù)據(jù)挖掘標(biāo)準(zhǔn)?？v觀現(xiàn)存其它大數(shù)據(jù)產(chǎn)品的表現(xiàn)，再考慮到Apache Hadoop1.0版是在2011年11月底才發(fā)布的這一事實(shí)，Hadoop獲得這樣的認(rèn)可確實(shí)令人驚訝。Hadoop是如此流行，以至于Hortonworks公司CEO Eric Baldeschwieler預(yù)測(cè)在2017年它將處理全世界數(shù)據(jù)的半數(shù)之多。在接下來(lái)的這一年，Hadoop將會(huì)以某種方式靠近您的組織的幾率非常大。

Hadoop主要面向開(kāi)發(fā)人員。其主要框架MapReduce支持編程者處理分布式計(jì)算機(jī)群的大規(guī)模數(shù)據(jù)量。缺點(diǎn)是它是非常重型的產(chǎn)品。而且，Hadoop可以把直接操作數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)人群與數(shù)據(jù)消費(fèi)人群和數(shù)據(jù)翻譯員區(qū)分開(kāi)來(lái)。

考慮到中型企業(yè)CIO的預(yù)算限制，下面有一些建議可以幫助克服海量數(shù)據(jù)的挑戰(zhàn)：

不要忽略了趨勢(shì)。大數(shù)據(jù)不會(huì)消失，不能忽略大塊數(shù)據(jù)分析轉(zhuǎn)換能力和分析數(shù)據(jù)趨勢(shì)?；ㄒ恍r(shí)間理解Hadoop以及其它大數(shù)據(jù)產(chǎn)品的功能和結(jié)構(gòu)。思考一下你擁有數(shù)據(jù)的方式可以為你的公司帶來(lái)改善。

為合格的數(shù)據(jù)科學(xué)家尋找預(yù)算空間。這些人是您BI交響曲的打擊樂(lè)器。市場(chǎng)上合格的數(shù)據(jù)科學(xué)家非常緊缺。甚至在去年11月份的Hadoop世界大會(huì)上，培訓(xùn)也成為了一個(gè)很大的話題。要使用你培訓(xùn)預(yù)算的自由額度聘請(qǐng)最好的人員，保持他們的數(shù)據(jù)分析技能是頂尖的。

理解大量數(shù)據(jù)集的存儲(chǔ)提示。大數(shù)據(jù)其實(shí)是從多個(gè)地方和多個(gè)數(shù)據(jù)庫(kù)以近乎實(shí)時(shí)的速度挖掘海量數(shù)據(jù)，而不會(huì)受到結(jié)構(gòu)的障礙。這就使得你基礎(chǔ)設(shè)施中的存儲(chǔ)工作方式更加復(fù)雜了。對(duì)于這些奴表，云存儲(chǔ)可能會(huì)更靈活和敏捷嗎？要與你的數(shù)據(jù)挖掘策略團(tuán)隊(duì)一起，使其優(yōu)先理解利用Hadoop處理能力的存儲(chǔ)需求類型和數(shù)量。

準(zhǔn)備好使用Hadoop的工具集。理解微軟公司在這個(gè)領(lǐng)域的登場(chǎng)，試驗(yàn)一下Hadoop-Excel和Hadoop-SQL Server集成看看你能交付什么類型的結(jié)果。也要了解一下IBM公司的工具，看哪一款更適合您在桌面和終端用戶軟件方面的現(xiàn)有投入。

大數(shù)據(jù)的角逐已經(jīng)開(kāi)始了?？赡茉?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘變革中你已經(jīng)落后了。忽略數(shù)據(jù)分析大勢(shì)的CIO們實(shí)際上是在拿自己的職業(yè)冒險(xiǎn)。然而，對(duì)于已經(jīng)跳入大數(shù)據(jù)領(lǐng)域并提取關(guān)鍵見(jiàn)解的CIO們，全世界都將在他們的掌握之中。