Kylin正式發(fā)布：面向大數(shù)據(jù)的終極OLAP引擎方案

日前，eBay公司隆重宣布已經(jīng)正式向開源業(yè)界推出分布式分析引擎：Kylin（http://kylin.io）。作為一套旨在對Hadoop環(huán)境下分析流程進行加速、且能夠與SQL兼容性工具順利協(xié)作的解決方案，Kylin成功將SQL接口與多維分析機制（OLAP）引入Hadoop，旨在對規(guī)模極為龐大的數(shù)據(jù)集加以支持。

背景信息

eBay公司當前面臨的主要挑戰(zhàn)在于，數(shù)據(jù)規(guī)模正隨著用戶群體的多樣化拓展而水漲船高。我們的用戶——比如在分析與業(yè)務部門當中希望能在保持最低延遲水平的前提下繼續(xù)使用自己所熟悉的工具方案，例如Tableau與Excel。 
 
有鑒于此，我們與公司內(nèi)部的分析部門進行緊密合作，并勾勒出eBay眼中足以構成成功產(chǎn)品的基本要求：
1.數(shù)百億數(shù)據(jù)行的查詢延遲需要保持在次秒級別。  
2.能夠為使用SQL兼容性工具的用戶提供ANSI SQL。  
3.完整的OLAP方案以實現(xiàn)各類高級功能。  
4.擁有對高基數(shù)與超大規(guī)模業(yè)務體系的支持能力。  
5.面向成千上萬用戶的高并發(fā)性處理能力。  
6.能夠處理TB乃至PB級別分析任務的分布式橫向擴展架構。 

我們很快意識到，沒有任何一種外部解決方案能夠切實滿足我們的具體要求——特別是在開源Hadoop社區(qū)當中。為了解決企業(yè)業(yè)務面臨的這一系列緊急狀況，我們決定從零開始自主打造一套平臺。在優(yōu)秀的技術團隊與部分試點客戶的通力配合之下，我們已經(jīng)能夠在將Kylin平臺引入生產(chǎn)環(huán)境的同時、為其發(fā)布一套開源版本。 

重點特性概述

Kylin 是一套卓越的平臺方案，能夠在大數(shù)據(jù)分析領域?qū)崿F(xiàn)以下各項特性： 

?  規(guī)?；h(huán)境下的極速OLAP引擎: Kylin的設計目的在于削減Hadoop環(huán)境中處理超過百億行數(shù)據(jù)時的查詢延遲時間。  
? Hadoop上的ANSI SQL接口:Kylin能夠在Hadoop之上提供ANSI SQL并支持大部分ANSI SQL查詢功能。  
?交互式查詢功能:用戶可以通過Kylin以秒級以下延遲水平實現(xiàn)與Hadoop數(shù)據(jù)的交互——在面對同一套數(shù)據(jù)集時，其性能表現(xiàn)優(yōu)于Hive查詢機制。  
?  利用MOLAP cube（立方體）對數(shù)百億行數(shù)據(jù)進行查詢: 用戶能夠在Kylin當中定義一套數(shù)據(jù)模型對其進行預構建，其中所能包含的原始數(shù)據(jù)記錄可超過百億行。  
?  與商務智能工具進行無縫化集成:Kylin目前能夠與多種商務智能工具相集成，包括Tableau以及其它第三方應用程序。  
?  開源ODBC驅(qū)動程序: Kylin的ODBC驅(qū)動程序從零開始逐步構建而成，而且能夠與Tableau實現(xiàn)良好的協(xié)作效果。我們也已經(jīng)對這部分驅(qū)動程序進行開源處理并發(fā)布至技術社區(qū)當中。  

其它特性：

• 任務管理與監(jiān)控機制
• 通過壓縮與編碼機制降低存儲容量需求 
• cube的增量式更新 
• 利用HBase協(xié)處理器實現(xiàn)查詢延遲控制 
•  對不同計數(shù)進行近似查詢的能力（HyperLogLog） 
• 提供易于使用的Web界面，旨在對cube進行管理、構建、監(jiān)控與查詢
• cube/項目層面對ACL進行設置的安全功能 
• 支持LDAP集成 

基本設計思路

Kylin平臺的設計思路其實并非全新產(chǎn)生。在過去三十年當中，已經(jīng)有很多技術方案使用到同樣的理論依據(jù)來實現(xiàn)分析流程加速。具體而言，此類技術包括將預先計算完成的結果保存起來以備分析查詢、利用所有可能的維度組合為每個層級生成cuboid（基本方體）、或者是在不同層級上對全部指數(shù)進行計算。 
 
下面這幅圖片所示為cuboid的拓撲結構，供大家用作參考： 

當數(shù)據(jù)規(guī)模變得越來越大時，預計算處理機制就會變得無法實現(xiàn)——即使硬件性能再強大也于事無補。不過在Hadoop強大的分布式計算能力支持下，計算任務能夠借助成百上千個計算節(jié)點的總體資源。這就保證了Kylin能夠以并發(fā)方式對這些計算任務進行處理，并通過合并生成最終結果——這能夠顯著降低整體處理時間。 

從關系型到鍵-值型 

下面舉一個實例，假設Hive表當中所保存的幾條記錄代表著一套關系型結構。當其數(shù)據(jù)規(guī)模增長到極其巨大的水平時——例如上百億甚至過萬億行數(shù)據(jù)——那么像“2010年我們在美國本土售出了多少套技術類方案”這樣的簡單問題也將帶來涵蓋巨大數(shù)據(jù)量的表內(nèi)容掃描，給出應答的延時狀況也會變得無法接受。由于每一次運行查詢時所需要的值是固定的，因此我們完全可以預先進行計算并對結果加以存儲、以備日后隨時調(diào)用。這項技術被稱為從關系型到鍵-值型（Relational to Key—Value，簡稱KV）處理。處理過程將生成所有維度組合并如下圖所示將測得值顯示出來——圖片右側為計算結果。圖片的中間一列內(nèi)容由左至右表示的是這類大規(guī)模數(shù)據(jù)處理流程中數(shù)據(jù)是如何由Map Reduce進行計算的。  
                 
Kylin的構建正是以這套理論為基礎，而且在對大規(guī)模數(shù)據(jù)進行處理時充分發(fā)揮了Hadoop生態(tài)系統(tǒng)的強大能力:

1. 從Hive當中讀取數(shù)據(jù)（這些數(shù)據(jù)被保存在HDFS之上）  
2. 運行Map Reduce任務以實現(xiàn)預計算  
3. 將cuba數(shù)據(jù)保存在HBase當中  
4. 利用Zookeeper進行任務協(xié)調(diào) 

架構
以下圖表所示為Kylin的高層架構。  
                    

以上圖表勾勒出Cube構建引擎（Cube Build Engine）是如何以離線處理方式將關系型數(shù)據(jù)轉化成鍵-值型數(shù)據(jù)的。其中的黃線部分還表現(xiàn)出在線分析數(shù)據(jù)的處理流程。數(shù)據(jù)請求可以利用基于SQL的工具由SQL提交而產(chǎn)生，或者利用第三方應用程序通過Kylin的RESTful服務來實現(xiàn)。RESTful服務會調(diào)用Query Engine，后者則檢測對應的目標數(shù)據(jù)集是否真實存在。如果確實存在，該引擎會直接訪問目標數(shù)據(jù)并以次秒級延遲返回結果。如果目標數(shù)據(jù)集并不存在，該引擎則會根據(jù)設計將無匹配數(shù)據(jù)集的查詢路由至Hadoop上的SQL處、即交由Hive等Hadoop集群負責處理。 

以下為關于Kylin平臺內(nèi)所有組件的詳細描述。 
 
?元數(shù)據(jù)管理工具（Metadata Manager）: Kylin是一款元數(shù)據(jù)驅(qū)動型應用程序。元數(shù)據(jù)管理工具是一大關鍵性組件，用于對保存在Kylin當中的所有元數(shù)據(jù)進行管理，其中包括最為重要的cube元數(shù)據(jù)。其它全部組件的正常運作都需以元數(shù)據(jù)管理工具為基礎。  
?任務引擎（Job Engine）: 這套引擎的設計目的在于處理所有離線任務，其中包括shell腳本、Java API以及Map Reduce任務等等。任務引擎對Kylin當中的全部任務加以管理與協(xié)調(diào)，從而確保每一項任務都能得到切實執(zhí)行并解決其間出現(xiàn)的故障。  
?存儲引擎（Storage Engine）: 這套引擎負責管理底層存儲——特別是cuboid，其以鍵-值對的形式進行保存。存儲引擎使用的是HBase——這是目前Hadoop生態(tài)系統(tǒng)當中最理想的鍵-值系統(tǒng)使用方案。Kylin還能夠通過擴展實現(xiàn)對其它鍵-值系統(tǒng)的支持，例如Redis。  
?REST Server:  REST Server是一套面向應用程序開發(fā)的入口點，旨在實現(xiàn)針對Kylin平臺的應用開發(fā)工作。 此類應用程序可以提供查詢、獲取結果、觸發(fā)cube構建任務、獲取元數(shù)據(jù)以及獲取用戶權限等等。  
?ODBC驅(qū)動程序:為了支持第三方工具與應用程序——例如Tableau——我們構建起了一套ODBC驅(qū)動程序并對其進行了開源。我們的目標是讓用戶能夠更為順暢地采用這套Kylin平臺。  
?查詢引擎（Query Engine）:當cube準備就緒后，查詢引擎就能夠獲取并解析用戶查詢。它隨后會與系統(tǒng)中的其它組件進行交互，從而向用戶返回對應的結果。  
在Kylin當中，我們使用一套名為Apache Calcite的開源動態(tài)數(shù)據(jù)管理框架對代碼內(nèi)的SQL以及其它插入內(nèi)容進行解析。Calcite架構如下圖所示。（Calcite最初被命名為Optiq，由Julian Hyde所編寫，但如今已經(jīng)成為Apache孵化器項目之一。） 

Kylin在eBay公司中的應用

在對Kylin進行開源化處理的同時，我們已經(jīng)在eBay公司的多個業(yè)務部門當中將其應用于生產(chǎn)實踐。其中規(guī)模最大的用例就是對由120多億條源記錄所生成的超過14TB cube數(shù)據(jù)進行分析。90%的查詢請求都能在5秒鐘之內(nèi)獲取到返回結果?，F(xiàn)在，我們擁有更多面向分析師以及業(yè)務用戶的用例，他們能夠訪問這些分析機制并輕松通過Tableau儀表板獲取相關結果——而不再需要借助Hive查詢或者shell命令等復雜機制。 

下一步發(fā)展規(guī)劃

?  在高基數(shù)維度上支持TopN算法（即對大量對象進行排序并從中選取前N位結果）:目前的MOLAP技術在高基數(shù)維度上進行查詢時的表現(xiàn)尚算不上完美——例如對單一列中的數(shù)百萬個不同值進行TopN運算。 

與各類搜索引擎類似（正如眾多研究人員所指出），倒排索引是此類預構建結果的理想匹配機制。  
?  支持混合OLAP(簡稱HOLAP):MOLAP在歷史數(shù)據(jù)查詢領域擁有出色的實際表現(xiàn)，但由于越來越多數(shù)據(jù)需要以實時方式加以處理，因此我們需要盡快將實時/近實時處理結果與歷史結果結合起來、以作為業(yè)務決策中的參考信息。很多內(nèi)存內(nèi)技術方案已經(jīng)能夠以關系型OLAP（簡稱ROLAP）的方式滿足上述需求。而Kylin的下一代版本將成為混合OLAP（簡稱HOLAP），即結合MOLAP與ROLAP雙方的優(yōu)勢以帶來單一一套面向前端查詢的入口點方案。