消費大數(shù)據(jù)的智慧之路

甲骨文公司全球副總裁、大中華區(qū)技術總經(jīng)理喻思成表示，在過去的一年中，Oracle公司開始進入大數(shù)據(jù)的時代，提供了一些處理大數(shù)據(jù)的技術和平臺。前不久剛剛發(fā)布了大數(shù)據(jù)一體機平臺，把大數(shù)據(jù)的存儲、處理和商業(yè)智能展現(xiàn)在一臺機器中全部融合進去，同時Oracle公司提供了Analytics一體化機，提供了一體化BI的產(chǎn)品，把軟件、硬件、存儲、網(wǎng)絡交換全部集合在一臺機器中去。Oracle公司有這樣一個完整的解決方案，從后端的數(shù)據(jù)源、數(shù)據(jù)存儲、數(shù)據(jù)倉庫處理、前端中間件、前端BI展現(xiàn)，大數(shù)據(jù)本身只是數(shù)據(jù)藍圖的補充，這就使得無論是關系型的數(shù)據(jù)庫還是非關系型的大數(shù)據(jù)產(chǎn)品，最后為企業(yè)真正提供完整的解決方案。

 喻思成：各位好!我接下來想花半個小時給大家匯報一下Oracle公司在大數(shù)據(jù)方面的策略。講大數(shù)據(jù)這樣的話題，我們實際上在數(shù)據(jù)面前了一個“大”字，我想用更廣泛的議題向看大數(shù)據(jù)在整個數(shù)據(jù)策略中，它實際上是一個更小的話題。Oracle公司實際上是一個數(shù)據(jù)庫，我們公司是一個平臺性的公司，在這樣數(shù)據(jù)的概念之下講一講整體Oracle對數(shù)據(jù)的策略，以及大數(shù)據(jù)只是作為其中的一部分。 今天所有人都同意大數(shù)據(jù)很熱門，也很困擾，所有的CIO、CEO都在關注大數(shù)據(jù)，如何利用大數(shù)據(jù)、大數(shù)據(jù)的成本、大數(shù)據(jù)的回報，以及看到大數(shù)據(jù)的結(jié)果。Oracle和很多友商在過去的很多年中建立起了數(shù)據(jù)的應用、數(shù)據(jù)的技術、數(shù)據(jù)的產(chǎn)品。在談論大數(shù)據(jù)的時候我們不要忘了都是基于以前已經(jīng)有的東西，所有大數(shù)據(jù)產(chǎn)生的結(jié)果都要和今天所有關系型的平臺都連接起來。 

熟悉的數(shù)據(jù)和系統(tǒng)。 我們現(xiàn)在已經(jīng)有的一些平臺是大家耳熟能詳?shù)?，你有很多?shù)據(jù)源，在數(shù)據(jù)源中你可以抽取起來，把它放到數(shù)據(jù)庫或者數(shù)據(jù)倉庫，前面有數(shù)據(jù)分析平臺，有很多公司部門級的應用、公司級應用對數(shù)據(jù)進行消費和使用，這是在我們過去二三十年里已經(jīng)建立起的傳統(tǒng)關系型的數(shù)據(jù)庫，三重的架構(gòu)、中間件平臺、前面建立起大型的應用。 成熟的數(shù)據(jù)管理和處理體系。 如何使用現(xiàn)有的新的大數(shù)據(jù)，把有價值的部分抽取出來，融合到已經(jīng)現(xiàn)有的成熟數(shù)據(jù)管理和分析體系中。如果把這樣成熟的數(shù)據(jù)管理和分析體系用各個層次解開的話，我們需要有一個最底下的數(shù)據(jù)源層，比如關系型數(shù)據(jù)庫的數(shù)據(jù)源。我們有一個數(shù)據(jù)收集層次，我們通過數(shù)據(jù)采集交換的平臺，把它存儲下來，這是我們第一步需要做的。

然后我們有一個數(shù)據(jù)計算層，在數(shù)據(jù)計算層對數(shù)據(jù)進行處理和計算，無論是哪種數(shù)據(jù)源過來，無論是哪種數(shù)據(jù)存儲的方式，到最后要把數(shù)據(jù)整合起來。 以前有很多數(shù)據(jù)整合的工具，這些數(shù)據(jù)整合的工具可以在某一個時間的切面或者一段時間長度里或者整體的數(shù)據(jù)，把它進行一個切片，把它進行一個展示。所以，它更多是一個數(shù)據(jù)整合和展示的方式。在數(shù)據(jù)整合完了以后，人們對后端的數(shù)據(jù)源可能已經(jīng)不在乎它從哪個源頭來了以后，我們在之上才真正開始談智慧的層面。在這個層面可能有數(shù)據(jù)庫，有數(shù)據(jù)倉庫，可能有文件系統(tǒng)，然后把它真正遞交給數(shù)據(jù)消費層。 在這個數(shù)據(jù)消費層有應用系統(tǒng)平臺，有數(shù)據(jù)平臺，有數(shù)據(jù)服務。

然后在底層討論怎么用BI最漂亮的方式、最可見的方式、最快速的方式、最可調(diào)整的方式，把數(shù)據(jù)洞察出來，把數(shù)據(jù)通過BI的方式展現(xiàn)出來。我們有報表系統(tǒng)，有交互式分析。 在大數(shù)據(jù)時代我們發(fā)現(xiàn)，我們的數(shù)據(jù)源不僅僅有傳統(tǒng)的結(jié)構(gòu)化數(shù)據(jù)，還有很多非結(jié)構(gòu)化的數(shù)據(jù)。比如說，我們的Splunk有機器產(chǎn)生的數(shù)據(jù)，有很多非結(jié)構(gòu)化的數(shù)據(jù)。用傳統(tǒng)的數(shù)據(jù)存儲方式已經(jīng)不符合要求，而且本身的要求也是有變化的，對于結(jié)構(gòu)化的數(shù)據(jù)處理方式的要求和現(xiàn)在大數(shù)據(jù)處理方式的要求不完全一樣。但是不管怎么樣，我們今天并不是要完全顛覆這張圖，而是在這里面要加進很多新的處理方式，然后形成一個更完善、更完整的數(shù)據(jù)管理和處理體系。 Oracle公司是一個數(shù)據(jù)庫公司之家，后來它成為一個中間件公司，成為ERP公司，成為完整的軟硬件一體化的IT處理廠商，IT工具的廠商。

我們最重要的最自己的定位是IT平臺廠商，我們提供的是這樣的一個平臺，我們要和很多廠商一起合作，尤其是一些做工具的廠商，尤其是一些實施的廠商，做深度挖掘的廠商進行合作，為每一個客戶提供最全面的解決方案。 Oracle公司更專注的是結(jié)構(gòu)化的工具，RDBMS平臺，或者是ERP平臺等。在過去的一年中，Oracle公司也走入了大數(shù)據(jù)的時代，也提供了一些處理大數(shù)據(jù)的技術和平臺。前不久剛剛發(fā)布了自己的大數(shù)據(jù)一體機平臺，把大數(shù)據(jù)的存儲、大數(shù)據(jù)的處理、大數(shù)據(jù)的BI展現(xiàn)在一臺機器中全部融合進去，同時Oracle公司提供了自己的一體化機器，這是在Analytics方面的產(chǎn)品，提供了一體化BI的產(chǎn)品，它是把軟件、硬件、存儲、網(wǎng)絡交換全部集合在一臺機器中去。 我們想要做的是什么呢? 加上我們以前有的關系化、關系型的、結(jié)構(gòu)性存儲的所有平臺，把大數(shù)據(jù)存儲的非關系型、非結(jié)構(gòu)化的數(shù)據(jù)都融入到這個大的平臺里面。這個大的平臺里怎么樣處理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)到一個平臺里呢? 大數(shù)據(jù)來自何方? 這些數(shù)據(jù)來于泛互聯(lián)網(wǎng)數(shù)據(jù)，機器產(chǎn)生的數(shù)據(jù)，以及行業(yè)內(nèi)容的數(shù)據(jù)。

這些數(shù)據(jù)有4個V，數(shù)據(jù)量非常大，有很多種不同的結(jié)構(gòu)，爆發(fā)也非常大，增長速度很快，價值非常大。其中最核心的兩個技術，比如Hadoop、NoSQL，它們實際上并不是Oracle數(shù)據(jù)庫的對立或者競爭，而是Oracle數(shù)據(jù)庫的一個補充，今天Oracle公司也擁抱這些技術，使得我們能夠擁有更大數(shù)據(jù)庫平臺。 不僅僅只是Hadoop和NoSQL。 首先，對于流數(shù)據(jù)的處理，Oracle提出了Oracle的CEP，它對流量數(shù)據(jù)的高速處理，怎樣快速地處理數(shù)據(jù)流。Oracle公司現(xiàn)在已經(jīng)有現(xiàn)存的內(nèi)存數(shù)據(jù)庫產(chǎn)品，也將融入到更大的數(shù)據(jù)庫處理平臺中。同時，Oracle公司走向軟件應一體化的公司，我們不斷地提供新的軟硬件一體化的產(chǎn)品，與此同時我們推出一體機產(chǎn)品，剛剛展示的是我們針對BI的一體機的產(chǎn)品，在大數(shù)據(jù)時代最后所有的數(shù)據(jù)出來最后必須要在BI平臺上表達，Oracle公司提供軟硬件一體的BI平臺。 

大數(shù)據(jù)所有的數(shù)據(jù)出來以后，最后非結(jié)構(gòu)化的數(shù)據(jù)還要導到結(jié)構(gòu)化倉庫、平臺、數(shù)據(jù)庫中。那么，如果提供這樣一個連接把非結(jié)構(gòu)化數(shù)據(jù)導入結(jié)構(gòu)化的數(shù)據(jù)中?Oracle公司根據(jù)以前做結(jié)構(gòu)化數(shù)的優(yōu)勢來提供。 還有存儲方式的問題，Oracle公司提供一整套的一攬子的解決方案，包括云存儲、存儲技術產(chǎn)品，我們現(xiàn)在有了這些技術。 基于時間窗口的數(shù)據(jù)計算模式。 我們在以前處理大批量數(shù)據(jù)、結(jié)構(gòu)化處理數(shù)據(jù)的基礎之上，今天我們擴展視野，今天能夠做更多的持續(xù)性的流量數(shù)據(jù)，能夠做大海撈針的實時計算。比如說我們有一個電表，在這個電表里面不是時時刻刻產(chǎn)生電表的數(shù)據(jù)，這樣機器產(chǎn)生的數(shù)據(jù)有很多種，但是它有一個特征是持續(xù)產(chǎn)生流量的數(shù)據(jù)。

那么，我們可能要在一個時間段或者整體時間段把所有的數(shù)據(jù)截持下來分析。要不停地消費這個數(shù)據(jù)，它也是一個流量處理的過程，這樣才會產(chǎn)生實時或者半實時的流量數(shù)據(jù)分析的結(jié)果。所以，它是一個流式計算的方式。 第二種方式是以前耳熟能詳?shù)男畔⒑Ａ坑嬎?，我們?a href='/map/shujucangku/' style='color:#000;font-size:inherit;'>數(shù)據(jù)倉庫，在數(shù)據(jù)倉庫中進行大規(guī)模的數(shù)據(jù)計算。但是同時現(xiàn)在還有一種大海撈針的新的計算方式，比如當一輛車開過收費站的時候，拍一張照片，看車牌以后，立即在全國的照片中分析它是不是有犯罪記錄，在桿子提高之前就得到一個結(jié)果是否要把這輛車作為一個犯罪車輛截下來。應該說，這都是屬于數(shù)據(jù)的范疇，但是很多時候處理的方式是不一樣的。

 大數(shù)據(jù)計算模式組合。 Oracle希望把所有的計算手段都融通結(jié)合起來，我們希望使大數(shù)據(jù)計算成為我們計算方式的一種。無論是今天的大數(shù)據(jù)，還是以前擁有的數(shù)據(jù)，還是我們所說的流式計算，都希望能夠把它融通結(jié)合起來。 完備的數(shù)據(jù)管理和處理體系――多結(jié)構(gòu)化 它能夠處理文件的數(shù)據(jù)源，也能夠處理事件的數(shù)據(jù)源，比如說微博，比如泛互聯(lián)網(wǎng)的數(shù)據(jù)源，再比如說行業(yè)的數(shù)據(jù)源。Oracle公司希望能夠提供這些數(shù)據(jù)源的處理方式，在一個數(shù)據(jù)收集層里有數(shù)據(jù)采集交換系統(tǒng)，才存儲的時候希望能夠提供原來的集中式的文件系統(tǒng)，結(jié)構(gòu)化地存儲。同時，也能夠提供分布式的文件存儲的方式，以及靈活存儲的方式。比如說，非結(jié)構(gòu)化存儲的方式等我們都能夠提供。 在數(shù)據(jù)計算層，我們不僅能夠處理原來大量數(shù)據(jù)的批量計算，也能夠處理剛才所說的流式計算和實時計算。在數(shù)據(jù)整合層次，我們能夠提供一攬子的整合方案。我們有原來傳統(tǒng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫，但是同時也提供靈活的數(shù)據(jù)存儲系統(tǒng)。

在數(shù)據(jù)消費層，我們提供一攬子數(shù)據(jù)應用消費平臺和數(shù)據(jù)共享服務平臺，最后在洞察層提供交互分析。 最全面最強的Oracle數(shù)據(jù)管理和處理體系。 Oracle公司有自己原來的產(chǎn)品，在非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)整合方案中，Oracle剛剛發(fā)布了BDA產(chǎn)品，它提供最底層的存儲、上面的硬件，使得我們所有使用Hadoop的應用程序的開發(fā)人員可以在這個平臺上繼續(xù)使用Hadoop，你可以有平臺，你可以有數(shù)據(jù)庫，我們提供存儲平臺，Oracle公司提供全面的技術支持。也就是說，你可以在里面節(jié)省大量的時間，沒有必要從存儲到Hadoop的平臺、數(shù)據(jù)庫語言優(yōu)化、后端產(chǎn)生的數(shù)據(jù)，轉(zhuǎn)化成關系型數(shù)據(jù)以后，把它存儲到關系型數(shù)據(jù)庫中自己去書寫，完全由Oracle去做，而且它的價格并不是很昂貴。

而且在之上Oracle公司給你提供最好的保障，因為Oracle公司并不是簡簡單單地把軟硬件加在一起，我們有加速的過程，我們提供軟件和硬件的同時，使得它的運算速度提高十倍甚至上百倍以上，對于某些計算倉庫的運算速度甚至提高上千倍。在傳輸、軟硬件結(jié)合方面我們都做了很多優(yōu)化。 同時，在流量處理方面，Oracle公司有自己的CEP產(chǎn)品，專門對于這種事件型或者流量型的數(shù)據(jù)進行非常快的處理。在數(shù)據(jù)存儲層，有了ZFS技術，同時支持NoSQL，完全由用戶自己選擇。在數(shù)據(jù)計算層來說，Oracle公司有自己傳統(tǒng)的數(shù)據(jù)庫產(chǎn)品，它可以非?？焖俚貪M足傳統(tǒng)的批量處理的數(shù)據(jù)能力。但是同時如果說我們要進行實時地計算，Oracle公司也業(yè)界最優(yōu)秀的內(nèi)存數(shù)據(jù)庫的產(chǎn)品Times Ten，使得計算速度非常快，在落桿之前計算出這個車牌是不是犯罪車輛。如果對流量計算有要求的話，我們有自己的CEP技術。

 在數(shù)據(jù)整合層，Oracle公司也Big Data Connector，最后落下來都成為一個關系型數(shù)據(jù)，把它導入傳統(tǒng)關系型數(shù)據(jù)庫。在數(shù)據(jù)智慧層來說，Oracle公司的產(chǎn)品完全融合在一起，無論是關系型數(shù)據(jù)庫產(chǎn)品，還是非關系型數(shù)據(jù)庫產(chǎn)品都可以融合在一起，到最后我們還要把它消費，數(shù)據(jù)是拿來用的，不是為了存儲。所以，在這之上需要一個中間件平臺，我們推出了Exalogic推出來，把硬件和帶寬的產(chǎn)品全部融合在一起，成為一個一體機，使得原來JAVA的應用整合在一臺機器。

所以，我們可以提供完整的、非常強壯的中間件處理平臺。 到最后前端你要表達出來，BI產(chǎn)品Oracle公司有最好的EPM產(chǎn)品，再加上前端BI已經(jīng)擁有的產(chǎn)品，Oracle公司的BI產(chǎn)品包括原來的OBIEE，以及展現(xiàn)報表的工具，現(xiàn)在都展現(xiàn)在Analytics這個平臺上，使用Oracle原來的一些軟件同時加上Oracle公司公司的硬件，徹底一個一體機，把數(shù)據(jù)導到Analytics里面進行運算，幾個T的數(shù)據(jù)庫可以讓它在內(nèi)存中進行實時的內(nèi)存運算，速度非?？?。 Oracle公司有這樣一個完整的解決方案，從后端的數(shù)據(jù)源、數(shù)據(jù)存儲、數(shù)據(jù)倉庫處理、前端中間件、前端BI展現(xiàn)，大數(shù)據(jù)本身只是數(shù)據(jù)藍圖的補充，這就使得無論是關系型的數(shù)據(jù)庫還是非關系型的大數(shù)據(jù)產(chǎn)品，最后為企業(yè)真正提供完整的解決方案。在解決方案旁邊，Oracle公司還提供管理，Oracle公司全部同步以一個產(chǎn)品發(fā)布，數(shù)據(jù)庫到了12，中間件也到了12，我們所有的產(chǎn)品到12個版本，Oracle所有的產(chǎn)品為云而準備。整體的這張大圖都可以以云的方式進行管理，包括從內(nèi)存的CPU到帶寬的數(shù)據(jù)、IO吞吐量，以及內(nèi)存的使用率、CPU的使用率、存儲的使用率，一直再到中間件處理平臺、數(shù)據(jù)庫起和落、前端BI的展現(xiàn)，全部都是在一個大的Oracle提供的EM平臺中展現(xiàn)，而不需要從不同的廠家不同的產(chǎn)品找一個方案進行整合。

同時，我們也有安全，有統(tǒng)一的控制和前端的展現(xiàn)方案。 軟硬件優(yōu)化集成的Oracle大數(shù)據(jù)綜合解決方案。 我們提供Big Data Appliance、OracleExadata、Oracle Exalogic、Oracle Exalytics。我們希望我們的有商在我們的平臺之上開發(fā)，為我們的客戶提供完整的應用。