迎接大數(shù)據(jù)，這里的黎明真熱鬧（SAP篇）

SAP不久前才收了Sybase，實力充盈了不少。經(jīng)過幾輪收購整合，BI場上的真正玩家越來越少了。不知道那些產(chǎn)品線單一的刺客們還能獨(dú)行多久。
一個新的時代已然披紅掛彩鞭炮齊鳴地揭開了序幕。

這里的黎明真熱鬧

信息時代圓滿落幕，智能時代破曉而出。寬帶通信、智能終端、社交網(wǎng)絡(luò)、量化分析重新定義了生產(chǎn)商、分銷商和消費(fèi)者之間的關(guān)系。數(shù)據(jù)在容量、種類、速度方面的增長帶來了新的挑戰(zhàn)，而這挑戰(zhàn)中蘊(yùn)藏著巨大的商機(jī)。

信息的獲取、分析和管理是智能時代的主要任務(wù)。那些還在沉睡的組織，它們可能馬上就會被數(shù)據(jù)壓住，然后從噩夢中驚醒，不堪重負(fù)，氣喘吁吁。而那些天還沒亮就行動起來的勤勞小鳥，不僅能抓住數(shù)據(jù)，還會進(jìn)化出量化分析能力，并由此做出正確決策，取得競爭優(yōu)勢。在又一次商業(yè)大潮來臨之際占得先機(jī)，有效分配資源，進(jìn)行可持續(xù)、安全的管理，為自己的社區(qū)提供更好的產(chǎn)品或服務(wù)。

大數(shù)據(jù)的動力

為什么是現(xiàn)在？它有什么新鮮玩意兒？

商業(yè)和公共組織要在全業(yè)務(wù)流程上投資大數(shù)據(jù)解決方案有各種各樣的原因。盡管在各種大數(shù)據(jù)會議和與大數(shù)據(jù)相關(guān)的文章中最引人注目的是社交網(wǎng)站產(chǎn)生的數(shù)據(jù)，但經(jīng)過調(diào)查，業(yè)務(wù)數(shù)據(jù)分析才是推動組織采用大數(shù)據(jù)解決方案的根本原因。

圖1 使用BI、量化分析和大數(shù)據(jù)技術(shù)主要動力的調(diào)查反饋占比

然而，不管上圖中反饋結(jié)果的評級如何，我們都必須意識到，大數(shù)據(jù)所涉及的業(yè)務(wù)流程、技術(shù)和專業(yè)知識范圍都很廣泛。正因如此，大數(shù)據(jù)幾乎帶來了無限的機(jī)遇，但因為天地太過廣闊，指望著大有可為的青年們也會覺得有點找不著北。

大數(shù)據(jù)解決方案的終極目標(biāo)，是為組織中所有層面的決策者提供更強(qiáng)大、更快速、更全面的洞察力，從而讓他們做出更好的決策。

IDC 決策管理框架

IDC 決策管理框架是一個評估這些機(jī)遇的工具。這個框架可以應(yīng)用到大數(shù)據(jù)用例上，并能描繪三種決策類型和每種決策類型的四個主要變量，如圖所示：

圖2 IDC 決策管理框架

戰(zhàn)略決策因為其周期長，未知因素多，所以范圍最廣、風(fēng)險最高。戰(zhàn)略決策的數(shù)量相對來說也很少；它們要求內(nèi)部決策者和外部決策者之間要有較高的協(xié)作水平，而且實現(xiàn)自動化的可能性也很低。而另一端的戰(zhàn)術(shù)決策可能是由一線員工或系統(tǒng)完成的。在一個時間周期內(nèi)會有很多這種決策，并且所有決策幾乎都沒什么風(fēng)險，也易于自動化。這些決定都是在現(xiàn)場，在工作流當(dāng)中做出的，因此決策過程中發(fā)生協(xié)作的可能性很小。在IDC 決策管理框架中，運(yùn)營決策介于兩者之間。

每個決策類型相關(guān)的人群也不同。運(yùn)營決策是由業(yè)務(wù)分析師或定量分析師跟管理層一起做的，戰(zhàn)略決策是高管做的，戰(zhàn)術(shù)決策是一線員工或自動化系統(tǒng)、應(yīng)用程序或機(jī)器做的。某一級決策的輸出會變成下一級決策的輸入。除了要考慮人員、資金和業(yè)務(wù)流程之外，理解組織的決策需求是邁向創(chuàng)建業(yè)務(wù)分析戰(zhàn)略的重要一步，而業(yè)務(wù)分析戰(zhàn)略是考慮所有相關(guān)技術(shù)的根本。

最后，不同的決策類型和決策者可能會要求不同的數(shù)據(jù)和數(shù)據(jù)技術(shù)支持。這些技術(shù)包括數(shù)據(jù)收集、數(shù)據(jù)監(jiān)測、數(shù)據(jù)管理、數(shù)據(jù)分析和數(shù)據(jù)傳播等。戰(zhàn)術(shù)決策通常都是基于對實時數(shù)據(jù)流的監(jiān)測，所采取的行動也是遵照預(yù)先定義好的規(guī)則。運(yùn)營決策可能需要對海量的多種結(jié)構(gòu)數(shù)據(jù)進(jìn)行深入分析。戰(zhàn)略決策可能需要對即時系統(tǒng)根據(jù)情景所作出的響應(yīng)進(jìn)行快速評估，以便能夠改善風(fēng)險管理。

滿足所有決策者的需求是一項艱巨的任務(wù)，不可能僅憑一種技術(shù)或一個項目就可以完成。

大數(shù)據(jù)的挑戰(zhàn)

決定哪些數(shù)據(jù)相關(guān)是個難題。

2012年初IDC發(fā)起的一項調(diào)查表明，被提到最多的困難是決定哪些數(shù)據(jù)相關(guān)。IT和業(yè)務(wù)部門都聲稱他們需要重新評估組織內(nèi)部為支持決策過程所評測的數(shù)據(jù)。很多組織都在重新思考如何分析現(xiàn)有數(shù)據(jù)和新的數(shù)據(jù)源，以改變或改善決策支持、決策自動化和績效管理流程。量化的思想或許會對解決這個難題有所幫助。

此外，技術(shù)基礎(chǔ)設(shè)施的成本，缺乏合適的分析人員和IT人員，缺乏業(yè)務(wù)支持，或理解不了大數(shù)據(jù)所能帶來的好處，這些挑戰(zhàn)都在阻礙著他們抓住智能時代帶來的機(jī)遇。

這些挑戰(zhàn)表明許多大數(shù)據(jù)應(yīng)用都缺乏公認(rèn)的最佳實踐。你有數(shù)據(jù)可以收集、分析，并按分析結(jié)果所做的決策采取行動。然而能否實現(xiàn)目標(biāo)卻取決于：

• 組織是否具備確定新指標(biāo)的能力；
• 組織雇傭的員工是否有稱職的分析技能、信息管理和系統(tǒng)管理技能；
• 組織的文化是否由分析驅(qū)動，能把分析結(jié)果當(dāng)做可信的輸入來做出決策；
• 組織是否有合適的技術(shù)可用。

大數(shù)據(jù)對技術(shù)的需求

什么是大數(shù)據(jù)

IDC對大數(shù)據(jù)技術(shù)的定義：為了能用經(jīng)濟(jì)有效的辦法從各式各樣的海量數(shù)據(jù)里提煉價值而開發(fā)出來的新技術(shù)，包括硬件、軟件，和服務(wù)。它們能高速地完成數(shù)據(jù)捕獲，發(fā)現(xiàn)和分析任務(wù)，對符合“4V”特性的數(shù)據(jù)進(jìn)行整合、組織、管理、分析和呈現(xiàn)。

4V指數(shù)據(jù)量（volume）, 數(shù)據(jù)種類（variety）,數(shù)據(jù)產(chǎn)生和處理的速度（ velocity）, 數(shù)據(jù)的價值（value）

數(shù)據(jù)量：大小并不是特別重要

盡管大數(shù)據(jù)里的“大”暗指數(shù)據(jù)的量大，但我們必須明白“大”是一個相對的概念。某些行業(yè)和組織可能連GB或TB的數(shù)據(jù)都很少見，而社交網(wǎng)站的數(shù)據(jù)則動輒就達(dá)到了PB或EB的級別。不管怎樣，那些看起來不大的應(yīng)用程序進(jìn)行信息處理和分析的緊張復(fù)雜程度可能完全符合我們對大數(shù)據(jù)應(yīng)用的定義。金融服務(wù)業(yè)就能很好地說明這個問題。在某些大數(shù)據(jù)處理活動中，所涉及的記錄數(shù)可能有上百萬甚至上億行，但每條記錄的長度可能只有幾個字節(jié)（比如股票行情信息）。相反，email歸檔累計起來可能有幾個PB的數(shù)據(jù)，其中包含著高端客戶的建議或抱怨，項目的記錄，法務(wù)記錄，合同和提案等各種數(shù)據(jù)。郵件歸檔通常能最準(zhǔn)確地反映出未決的及當(dāng)前的業(yè)務(wù)狀況，但只有經(jīng)過排序和挖掘之后，才能發(fā)現(xiàn)其中的價值。產(chǎn)品設(shè)計制造也是這樣，比如在汽車和航空公司里，要對成百上千個虛擬原型進(jìn)行評估，以便找出最佳的車輛(飛行器)設(shè)計。還有大型科學(xué)實驗，每天要產(chǎn)生PB級的混合數(shù)據(jù)，作為復(fù)雜的模擬數(shù)據(jù)輸入計算模型中。

數(shù)據(jù)種類：重要的是數(shù)據(jù)源和數(shù)據(jù)格式

多樣性是大數(shù)據(jù)的關(guān)鍵屬性。是否從多種數(shù)據(jù)源對多種格式的數(shù)據(jù)進(jìn)行整合，是判斷一個應(yīng)用程序能否被稱為大數(shù)據(jù)應(yīng)用的決定性條件。

大數(shù)據(jù)應(yīng)用通常都會從多個數(shù)據(jù)源（既有內(nèi)部數(shù)據(jù)源，也有外部數(shù)據(jù)源）抽取類型不同的數(shù)據(jù)（結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化）。無論從技術(shù)上，還是從潛在影響來看，這都是大數(shù)據(jù)中很重要的一個方面。對不同類型的信息進(jìn)行組合是一個復(fù)雜的技術(shù)難題：一條客戶記錄跟一條微博哪個比較重要？怎么才能把大量不斷變化的病人記錄跟公開發(fā)表的醫(yī)療研究報告和基因組數(shù)據(jù)結(jié)合起來，以便為某個病人找出最佳治療方案？

把來自于ERP系統(tǒng)的內(nèi)部運(yùn)營數(shù)據(jù)，來自于web日志文件的半結(jié)構(gòu)化數(shù)據(jù)（識別客戶在線行為），以及來自客戶評論的非結(jié)構(gòu)化文本情感分析數(shù)據(jù)混搭在一起就是這種情況。先進(jìn)的天氣/氣候模型也屬于這種情況，借鑒100多年的天氣數(shù)據(jù)和新的海水行為物理模型，CO水平變化，結(jié)合衛(wèi)星數(shù)據(jù)進(jìn)行實時天氣狀況模擬。

速度：信息到達(dá)、分析和交付的速度

組織內(nèi)部有各種不同的系統(tǒng)，數(shù)據(jù)移動的速度可以分為批量整合定期加載和實時數(shù)據(jù)流兩種。傳統(tǒng)的數(shù)據(jù)倉庫，也是現(xiàn)在使用Hadoop的主流數(shù)據(jù)處理方法用的就是批量整合、定期加載。而采用實時數(shù)據(jù)流的技術(shù)領(lǐng)域一般包括復(fù)雜事件處理（ECP），規(guī)則引擎，文本分析和搜索，推理，機(jī)器學(xué)習(xí)和基于事件的架構(gòu)。

評估大數(shù)據(jù)速度需求的關(guān)鍵是搞懂業(yè)務(wù)流程和最終用戶的需求。比如說，對于應(yīng)急響應(yīng)組織或證券交易公司而言，每一秒（甚至毫秒）產(chǎn)生的數(shù)據(jù)都很寶貴。還有機(jī)場，為了在罪犯進(jìn)入機(jī)場時就能發(fā)現(xiàn)，需要進(jìn)行實時的面部識別。然而作為MapReduce和Hadoop發(fā)祥地的搜索引擎，為確定算法的準(zhǔn)確性或廣告的匹配度時而對十幾億的查詢數(shù)據(jù)進(jìn)行處理和挖掘時，并不需要實時分析。換句話說，用恰當(dāng)?shù)臅r間獲取準(zhǔn)確度合適的恰當(dāng)信息才是我們所需要的。

不同的用例適用的技術(shù)架構(gòu)也不同。在架構(gòu)界流傳著一句老話，“只要扔進(jìn)去足夠多的硬件，任何問題都能解決”。業(yè)界已經(jīng)為解決特定問題搭建過大型超級計算機(jī)和大規(guī)模集群了，這句話的正確性毋庸置疑。

然而現(xiàn)在需要用專門的硬件來滿足的高性能需求越來越少了。高可用集群，可擴(kuò)展的文件系統(tǒng)，多CPU，多核處理器的出現(xiàn)意味著利用現(xiàn)成的商業(yè)組件進(jìn)行組合就能輕松滿足性能要求?，F(xiàn)在社會化應(yīng)用甚至大多選擇部署在云服務(wù)上，根本就不專門考慮硬件。

價值：資金，運(yùn)營，業(yè)務(wù)優(yōu)勢一個都不能少

在大數(shù)據(jù)里談到價值，既指使用大數(shù)據(jù)所需技術(shù)成本的降低，也指使用大數(shù)據(jù)創(chuàng)造的價值。成本是大數(shù)據(jù)問題在智能時代得以解決的決定性因素。在金融服務(wù)，電信，零售，研發(fā)和政府組織中的大型數(shù)據(jù)倉庫已經(jīng)存在好多年了。在交易、天氣監(jiān)測或欺詐檢測應(yīng)用里的實時數(shù)據(jù)管理也存在好多年了。以文本挖掘的形式出現(xiàn)的非結(jié)構(gòu)化內(nèi)容分析也存在好多年了。用于科學(xué)研究的高性能計算系統(tǒng)也存在好多年了。然而自從進(jìn)入智能時代，那些曾經(jīng)只有政府機(jī)構(gòu)或某些行業(yè)少數(shù)幾個大公司才負(fù)擔(dān)得起的系統(tǒng)，現(xiàn)在也擺上了“尋常百姓家”的餐桌。更多可用軟件的出現(xiàn)和不斷降價的硬件，讓更多的組織可以在預(yù)算中hold住這些大數(shù)據(jù)技術(shù)。

從大數(shù)據(jù)項目中得到的好處大致可以分為：

• 資金成本降低 ：軟硬件和其它基礎(chǔ)設(shè)施的成本降低了
• 運(yùn)營效率提高：由于數(shù)據(jù)整合、管理、分析和交付的方法更加高效，人力成本也降低了
• 業(yè)務(wù)流程改進(jìn) : 因為采用新辦法（或更好的辦法）來開展業(yè)務(wù)，包括商業(yè)交易的改善，社區(qū)的可持續(xù)管理，社會資源、醫(yī)療保健和教育服務(wù)的恰當(dāng)分配，使回報或者說利潤得到了增長。

大數(shù)據(jù)所代表的并不是企業(yè)范圍內(nèi)單一、同質(zhì)的需求。然而大多數(shù)人并沒有認(rèn)識到這一點，普遍的看法是只有那些要用Hadoop處理的海量數(shù)據(jù)才是大數(shù)據(jù)。比如在IDC得到的調(diào)查反饋報告中，40％的受訪者認(rèn)為大數(shù)據(jù)是指海量數(shù)據(jù)，26％認(rèn)為是指各種各樣的數(shù)據(jù)，24％認(rèn)為是指實時流數(shù)據(jù)，10％認(rèn)為它是指高性能計算。

對大數(shù)據(jù)的誤解

大數(shù)據(jù)技術(shù)所呈現(xiàn)出來的機(jī)遇持續(xù)增長，越來越大。改善現(xiàn)有業(yè)務(wù)流程和大數(shù)據(jù)技術(shù)有關(guān)，推出新業(yè)務(wù)和大數(shù)據(jù)技術(shù)有關(guān)，改變跟客戶的交互方式跟大數(shù)據(jù)技術(shù)有關(guān)，為了支持范圍更加廣泛的決策過程，要對為什么分析數(shù)據(jù)，以及怎么分析數(shù)據(jù)進(jìn)行重新評估，這還和大數(shù)據(jù)技術(shù)有關(guān)。

哪里有需求，哪里就有市場。大數(shù)據(jù)解決方案的市場雛形剛具，各路英雄豪杰各顯其能，打破了頭也想要擠上這趟車，場面一片混亂。對于什么是大數(shù)據(jù)，以及大數(shù)據(jù)技術(shù)能干什么，無論用戶還是供應(yīng)商，都有諸多誤解。

• 大數(shù)據(jù)分析就是用最新開發(fā)出來的技術(shù)做些新穎的，不同以往的事情。大數(shù)據(jù)就是做些新東西的思想是錯的。大數(shù)據(jù)的概念已經(jīng)出現(xiàn)幾年了。真正發(fā)生變化的，是現(xiàn)在的經(jīng)濟(jì)條件允許我們使用大數(shù)據(jù)了，是我們現(xiàn)在有能力用計算機(jī)輔助發(fā)現(xiàn)那些從各種數(shù)據(jù)源匯聚而成的超大數(shù)據(jù)集之間的關(guān)系了，是我們已經(jīng)意識到，如果能用正確的工具在正確的時間向正確的決策者提供正確的信息，量化分析是可以形成競爭優(yōu)勢的。
• 大數(shù)據(jù)技術(shù)就是跟Hadoop環(huán)境（廣義上說是MapReduce環(huán)境）有關(guān)的技術(shù)，和工作負(fù)載或應(yīng)用無關(guān)。 我們產(chǎn)生這種誤解的原因可能是因為覺得關(guān)系型數(shù)據(jù)庫不能擴(kuò)展到超大規(guī)模數(shù)據(jù)容量上，所以不能算大數(shù)據(jù)技術(shù)，或者說范式化的DBMS已經(jīng)過時了，范式數(shù)據(jù)庫只是大數(shù)據(jù)部署中的數(shù)據(jù)源之一。另外一種常見的誤解是大數(shù)據(jù)是一種技術(shù)，比如Hadoop，能滿足所有的大數(shù)據(jù)處理需求。而事實是完成這項任務(wù)的技術(shù)必須經(jīng)過精挑細(xì)選。就像沒有一把鑰匙能開所有的鎖，沒有哪種大數(shù)據(jù)技術(shù)可以滿足所有的大數(shù)據(jù)需求。盡管NoSQL數(shù)據(jù)庫在大數(shù)據(jù)應(yīng)用中越來越流行，關(guān)系型數(shù)據(jù)庫也仍然在發(fā)揮著重要作用。盡管Hadoop在市場上越來越受青睞，但它既不是數(shù)據(jù)管理的唯一之選，也不是僅有MapReduce的實現(xiàn)。
• 大數(shù)據(jù)僅僅跟超大量的數(shù)據(jù)有關(guān)，引申來說，主要是跟數(shù)據(jù)有關(guān)。 大數(shù)據(jù)集肯定是大數(shù)據(jù)市場趨勢的關(guān)鍵部分。實際上，40%的組織認(rèn)為大數(shù)據(jù)就是超大量的數(shù)據(jù)。但它還有其他特性，比如實時或流數(shù)據(jù)、類型或格式繁多的數(shù)據(jù)。有些大數(shù)據(jù)技術(shù)針對的是三種特性的其中之一，有些針對其中兩個或全部三個特性。
• 大數(shù)據(jù)就是數(shù)據(jù)挖掘的時髦叫法。 數(shù)據(jù)挖掘是指可以用來分析大數(shù)據(jù)集的一組分析技術(shù)。其中的一些技術(shù)已經(jīng)用了幾個世紀(jì)了；也有一些是最近才出現(xiàn)的。然而，大數(shù)據(jù)，按照IDC和大多數(shù)市場觀察和參與者的定義，是個范圍更廣泛的主題，包括數(shù)據(jù)收集，數(shù)據(jù)管理和組織，數(shù)據(jù)分析，信息訪問以及運(yùn)營負(fù)載，還有用到一些新的和已有的大數(shù)據(jù)技術(shù)的應(yīng)用。
• 大數(shù)據(jù)是個挑戰(zhàn)。可能現(xiàn)在對大數(shù)據(jù)最嚴(yán)重的誤解就是只要采用了大數(shù)據(jù)技術(shù)，就能解決業(yè)務(wù)問題，就能增加收入，降低成本，還能吸引客戶。把大量數(shù)據(jù)保存下來，不管是在關(guān)系型數(shù)據(jù)庫中還是在Hadoop集群中，都不是最終的目的。搭上就好的技術(shù)部署方式從來就沒有成功過，在大數(shù)據(jù)這兒也不靈。分析數(shù)據(jù)也不是最終目的。到不了決策者手里，或被決策者忽略的分析結(jié)果非常多，其中不乏由鼎鼎大名的數(shù)據(jù)科學(xué)家做出來的偉大的、有見地的，并且及時的分析，還有些分析因為沒考慮到人類在交互過程中的行為變化而適得其反。最近就有個非常有名的例子，一家大型零售商為確定客戶群開發(fā)了一套非常精確的分值預(yù)測系統(tǒng)，但在向選定客戶進(jìn)行營銷時卻失敗了，因為它對受眾對個人隱私保護(hù)的敏感程度考慮的不夠充分。

理解這些誤解非常重要，不然你很可能會陷入毫無意義的技術(shù)對比優(yōu)劣之爭。實際上，對于大多數(shù)有一定規(guī)模的組織來說，為了對工作負(fù)載和應(yīng)用進(jìn)行改善，需要多種大數(shù)據(jù)技術(shù)共存。

大數(shù)據(jù)技術(shù)

根據(jù)所處理數(shù)據(jù)的不同，IDC認(rèn)為大數(shù)據(jù)技術(shù)可以分為兩類：處理運(yùn)動中的大數(shù)據(jù)，處理空閑期的大數(shù)據(jù)。

運(yùn)動中的大數(shù)據(jù)

運(yùn)動的大數(shù)據(jù)是指快速流動的大量數(shù)據(jù)，這些數(shù)據(jù)一經(jīng)收到就要馬上處理。這樣的數(shù)據(jù)包括股票交易數(shù)據(jù)，智能電表數(shù)據(jù)，實時庫存管理系統(tǒng)中的RFID數(shù)據(jù)等等。與數(shù)據(jù)相關(guān)的操作可以分為三類。

對于運(yùn)動中的大數(shù)據(jù)，在收到之后會對它們進(jìn)行過濾，并做正規(guī)化處理（變成統(tǒng)一的或可讀的格式）。這通常是由接收程序完成的。系統(tǒng)會決定是否需要進(jìn)行響應(yīng)。這可能會牽涉到一個復(fù)雜的事件處理引擎，得到新數(shù)據(jù)，根據(jù)保留的數(shù)據(jù)（包括來自數(shù)據(jù)流的緩存數(shù)據(jù)和保存在快速存儲【一般是內(nèi)存】數(shù)據(jù)庫中的數(shù)據(jù)）應(yīng)用新的數(shù)據(jù)，并確定發(fā)生的是否為已定義的事件。如果發(fā)生的是已定義的事件，CEP引擎會觸發(fā)一個動作，也就是程序?qū)υ撌录捻憫?yīng)。

運(yùn)動中的大數(shù)據(jù)對技術(shù)的要求是數(shù)據(jù)接收，格式化和響應(yīng)的速度能跟上數(shù)據(jù)到達(dá)的速度。相關(guān)的技術(shù)包括智能高速數(shù)據(jù)遷移和轉(zhuǎn)換技術(shù)，內(nèi)存數(shù)據(jù)庫和CEP技術(shù)。

空閑期的大數(shù)據(jù)

目前所討論的大數(shù)據(jù)大部分是指空閑期的大數(shù)據(jù)，處于空閑期的大數(shù)據(jù)包括“機(jī)構(gòu)化”和“非結(jié)構(gòu)化”的數(shù)據(jù)。后來，很多專家對這些術(shù)語提出了異議，指出我們所說的“非結(jié)構(gòu)化”數(shù)據(jù)實際上也有結(jié)構(gòu)，只是它們的結(jié)構(gòu)不是由范式或程序代碼確定的。要處理這個問題，我們可以考慮下表中的分類：

對于空閑期的大數(shù)據(jù)，相應(yīng)的技術(shù)應(yīng)該具備盡快采集數(shù)據(jù)的能力，整理和轉(zhuǎn)換數(shù)據(jù)的能力，分析數(shù)據(jù)的能力，還有將數(shù)據(jù)置于待處理狀態(tài)的能力，從而可以對它們進(jìn)行有意義的搜索、挖掘、探索、查詢，和產(chǎn)生報告。

NoSQL和SQL數(shù)據(jù)庫技術(shù)在大數(shù)據(jù)中都有重要作用。NoSQL數(shù)據(jù)庫非常善于支持大數(shù)據(jù)的“多樣性”，能夠接受來自多種數(shù)據(jù)源的多種格式的數(shù)據(jù)，然后程序代碼可以對這些數(shù)據(jù)進(jìn)行篩選，過濾，和組織。很多Hadoop程序都是這么干的。SQL數(shù)據(jù)庫非常善于處理大量結(jié)構(gòu)一致的數(shù)據(jù)，可以在這樣的數(shù)據(jù)上產(chǎn)生常規(guī)報告、挖掘和重復(fù)進(jìn)行分析。

具備動態(tài)擴(kuò)展能力的RDBMS能處理非常大的數(shù)據(jù)庫，而且作為大數(shù)據(jù)SQL DBMS能快速處理這種數(shù)據(jù)庫請求。

NoSQL是另一回事。這個隨處可見的詞實際上是很多種DBMS的統(tǒng)稱，每種DBMS都有特殊的用途，而且多種數(shù)據(jù)庫可能會一起出現(xiàn)在同一系統(tǒng)中，作為大數(shù)據(jù)操作流的有效組成部分。如下表所示：

大數(shù)據(jù)應(yīng)用

大數(shù)據(jù)解決方案的使用范圍非常廣泛。目前市面上能見到的基本如下圖所示：

我們可以從活動、業(yè)務(wù)流程和行業(yè)三個維度來對這些用例進(jìn)行評估。

活動

并不是所有使用大數(shù)據(jù)技術(shù)的應(yīng)用都是為了分析數(shù)據(jù)。有一些是為了部署社交網(wǎng)站或游戲應(yīng)用，還有一些是為了存儲大型內(nèi)容，提供海量文檔的信息訪問。

• 分析（比如數(shù)據(jù)挖掘，多維分析，數(shù)據(jù)可視化）
• 運(yùn)營（比如運(yùn)行網(wǎng)站，處理在線訂單）
• 信息訪問（比如基于搜索的信息訪問，規(guī)范化，以及跨內(nèi)容和數(shù)據(jù)源的訪問）

業(yè)務(wù)流程

大數(shù)據(jù)技術(shù)被部署在商業(yè)組織、非盈利組織和政府組織內(nèi)部以支持他們的工作流程。組織所面臨的問題和困難不是大數(shù)據(jù)挑戰(zhàn)，而是受大數(shù)據(jù)影響的業(yè)務(wù)或組織問題。部署大數(shù)據(jù)技術(shù)的業(yè)務(wù)流程有：

• 客戶關(guān)系管理（銷售，營銷，客服等）
• 供應(yīng)鏈和運(yùn)營
• 管理（集中在財務(wù)及會計，人力資源，法務(wù)等方面）
• 研發(fā)
• 信息技術(shù)管理
• 風(fēng)險管理
• 行業(yè)

除了財務(wù)、營銷和信息技術(shù)管理這樣跨行業(yè)的業(yè)務(wù)流程，還有多種特定行業(yè)的應(yīng)用。這樣的例子包括：

• 運(yùn)輸行業(yè)中的物流優(yōu)化
• 零售行業(yè)的價格優(yōu)化
• 媒體和娛樂行業(yè)的知識產(chǎn)權(quán)管理
• 石油和天然氣行業(yè)的自然資源勘探
• 制造業(yè)的質(zhì)保期管理
• 當(dāng)?shù)貓?zhí)法部門的預(yù)防犯罪和調(diào)查
• 保險行業(yè)的預(yù)測性損失評估
• 銀行業(yè)的欺詐檢測
• 醫(yī)療保健行業(yè)的病人治療和欺詐檢測

面對如此廣闊的市場前景，提供大數(shù)據(jù)技術(shù)解決方案的供應(yīng)商既有小型的專業(yè)化公司，也有產(chǎn)品線豐富，生態(tài)系統(tǒng)完備的大型公司。SAP屬于后者。