大數(shù)據(jù)隱藏的商機_數(shù)據(jù)分析師培訓(xùn)

對于很多人來說，術(shù)語“大數(shù)據(jù)”指的是某一種算法或軟件程序，它能夠幫助企業(yè)或者研究人員發(fā)現(xiàn)隱藏的趨勢，進而可以幫助他們做出更好的可視化數(shù)據(jù)分析。

但其實，它還另有一層含義。大數(shù)據(jù)的字面含義更強調(diào)巨大的數(shù)據(jù)量,令人眼花繚亂的海量客戶信息、錄音記錄、圖像、文字信息、f a c e b o o k的留言及對已存儲的技術(shù)信息的檢索，并為任何用戶根據(jù)他們各自的需求進行適當(dāng)?shù)姆治觥?/span>

你無法拋開第二層含義而只考慮第一層。事實上，如何檢索數(shù)據(jù)，已成為最大的挑戰(zhàn)，與此同時，也是高科技行業(yè)最大的機會。

信息管理問題日益突出“我們所面臨的問題并不是簡單的數(shù)據(jù)計算問題，而是信息管理的問題?！盜BM公司Almaden研究中心主任Mark Dean在2008年提出，“計算問題已經(jīng)不再是難題了?！?/span>

對于很多人來說，碳粉復(fù)印似乎像灰板和抄寫員一樣古老，但數(shù)字存儲成為主流確實是最近才發(fā)生的事情。根據(jù)去年發(fā)表在《科學(xué)》雜志上由M a r t i nHilbert和Priscila Lopez撰寫的論文，在1993年，全球只有3%的信息是存儲在像硬盤或光盤類的數(shù)字化設(shè)備上的。18年以前，磁帶和硅膠盤則承擔(dān)了存儲當(dāng)時的信息的更主要角色（大約6%）。根據(jù)Hilbert與Priscila的論文，在2000年第一次互聯(lián)網(wǎng)浪潮時代，數(shù)字化存儲也僅僅占據(jù)當(dāng)時全球信息存儲量的25%；2002年是數(shù)字化存儲量首次超過存儲在傳統(tǒng)紙張、老式錄像帶和其它模擬存儲設(shè)備上的第一個年頭。

但到2007年，DV D、C D、存儲卡和其它數(shù)字存儲設(shè)備已占全球信息存儲份額的94%。僅硬盤存儲就從7年前占總額的5%躍升至52%。2007年，全球的總存儲容量達到295艾字節(jié)(E B)。想象一下，每一封電子郵件或文本信息都會在多臺電腦上同時創(chuàng)建成數(shù)據(jù)文件。

那已是5年前了，而到了2012年，全球的數(shù)字信息總?cè)萘窟_到了2.7澤字節(jié)（Z B）,即2.7后面跟著21個零。根據(jù)IDC的報告，比2011年增長了48%，其中90%的數(shù)據(jù)都是非結(jié)構(gòu)化數(shù)據(jù)，例如數(shù)字視頻、聲音和圖像文件，如何對其查詢與檢索，已構(gòu)成了很大的挑戰(zhàn)。

新應(yīng)用層出不窮

那么如何處理那些由傳感器、電話和電腦產(chǎn)生的信息化浪潮呢？與之相應(yīng)的一些應(yīng)用涌現(xiàn)出來。天氣預(yù)報人員通過空氣中細微顆粒數(shù)量更好地預(yù)測天氣。風(fēng)力或太陽能發(fā)電廠也將充分利用準(zhǔn)確的動態(tài)數(shù)

據(jù)驅(qū)動預(yù)測系統(tǒng)，估計未來電力輸出量，因而可以最大化他們在其他能源方向投資的回報率。一下子，風(fēng)力變得可以預(yù)測了。

另外，從各個汽車收集的包括巡航速度、位置、啟動、停車等方面的數(shù)據(jù)可以為交通規(guī)劃人員及公眾提供實時的路況信息。久而久之，通過對大量積累的每日交通信息規(guī)律的挖掘，可以為將來的高速公路和停車場的規(guī)劃提供決策支持，以減少潛在的擁堵。為此，你的汽車將會擁有自己的移動電話，并持續(xù)地與外界通訊。

還有一些更通俗的應(yīng)用，有些零售商想通過對他們的保安監(jiān)控錄像和移動傳感器進行數(shù)據(jù)挖掘。這其實并不是為了捉賊，而是希望通過對不同特征群組的購物者進行分析，尋找出為什么某些貨架對于客戶有吸引力，而另外一些則無人光顧。

企業(yè)和客戶們正在變得越來越不耐心。在銀行排隊等候8秒鐘，算是很幸運的，但是在網(wǎng)絡(luò)上同樣等待8秒鐘卻顯得漫長無比。

存儲需要建立全局觀

為了滿足這方面的需求，存儲行業(yè)需要改變將存儲僅僅作為一個收集設(shè)備的看法，應(yīng)該開始把硬盤、閃存、磁帶存儲器、數(shù)據(jù)中心存儲系統(tǒng)當(dāng)成一個存儲的整體來看。

從某種角度來看，對于數(shù)據(jù)結(jié)構(gòu)的設(shè)想，客戶已經(jīng)走到了存儲企業(yè)的前面。例如，大型的網(wǎng)站資產(chǎn)、電子商務(wù)網(wǎng)絡(luò)，已經(jīng)開始在后端運營方面采用混合了的閃存、磁帶D R A M存儲器的組合，以優(yōu)化速度、數(shù)據(jù)檢索或者綜合效率。不同行業(yè)或不同公司的存儲結(jié)構(gòu)的特點是不同的。存儲結(jié)構(gòu)的動態(tài)性變得更容易理解，數(shù)據(jù)檢索架構(gòu)將會成為樹立競爭優(yōu)勢的工具。

移動技術(shù)將成為應(yīng)用開發(fā)的溫床。用戶希望使用不需大量電池容量、但又可存儲海量的數(shù)據(jù)的輕型設(shè)備。這本是一個悖論，但是采用了正確的存儲結(jié)構(gòu)，這一載體得以精心設(shè)計出集本地存儲和云存儲數(shù)據(jù)服務(wù)的混合服務(wù)，從而優(yōu)化數(shù)據(jù)的傳輸。同樣，制造商們不得不投資更多的存儲容量。很少有投資者和企業(yè)喜歡品味在地上鋪水泥的過程，但這又是必需的。硬盤行業(yè)每個季度硬盤發(fā)貨量達到1.6億～1.7億，可以存儲100拍字節(jié)（PB）。當(dāng)然，這還是不夠的。

去年12月，泰國發(fā)洪水時，分析師和PC廠商們都被迫重新調(diào)整了他們的預(yù)測。

閃存生產(chǎn)商們也必須要投入大約1950億美元創(chuàng)建新工廠，以滿足全球存儲容量總需要的50%。當(dāng)然，這幾乎不可能發(fā)生，存儲行業(yè)需要提升芯片的密度。

哪一種方法都不容易。數(shù)據(jù)存儲一直以來都是一個最具挑戰(zhàn)性的高科技領(lǐng)域。但是，如果處理得當(dāng)，將會使數(shù)據(jù)存儲行業(yè)成為未來數(shù)年內(nèi)持續(xù)增長的行業(yè)之一。