大數(shù)據(jù)進入企業(yè) 應如何繼承傳統(tǒng)的數(shù)據(jù)處理方式-CDA數(shù)據(jù)分析師

當Hadoop進入企業(yè)，必須面對一個問題，那就是怎樣解決和應對傳統(tǒng)并成熟的IT信息架構。業(yè)內部，如何處理原有的結構化數(shù)據(jù)是企業(yè)進入大數(shù)據(jù)領域所面對的難題。

當Hadoop進入企業(yè)，必須面對一個問題，那就是怎樣解決和應對傳統(tǒng)并成熟的IT信息架構。以往MapReduce主要用來解決日志文件分析、互聯(lián)網(wǎng)點擊流、互聯(lián)網(wǎng)索引、機器學習、金融分析、科學模擬、影像存儲、矩陣計算等非結構化數(shù)據(jù)。但在企業(yè)內部，如何處理原有的結構化數(shù)據(jù)是企業(yè)進入大數(shù)據(jù)領域所面對的難題。企業(yè)需要既能處理非結構化數(shù)據(jù)，又能處理結構化數(shù)據(jù)的大數(shù)據(jù)技術。

在大數(shù)據(jù)時代，Hadoop主要用來處理非結構化數(shù)據(jù)，而如何處理傳統(tǒng)IOE架構的結構化數(shù)據(jù)則成為企業(yè)面臨的一個難題。在此背景下，既能處理結構化數(shù)據(jù)又能處理非結構化數(shù)據(jù)的SQL on Hadoop應運而生。

SQL on Hadoop是2013年最熱門的話題，它由Cloudera Impala的發(fā)布版推到熱議。目前，SQL on Hadoop正處于起步階段，其技術實踐方式很多樣。而企業(yè)由于已經(jīng)適應了在小數(shù)據(jù)上的靈活處理方式，轉到Hadoop一下子變得無所適從,所以對SQL on Hadoop的呼聲越來越大。SQL on Hadoop既要保證Hadoop性能，又要保證SQL的靈活性。關于SQL on Hadoop，業(yè)界有不同的看法，業(yè)內專業(yè)大數(shù)據(jù)公司也在積極的研究。

1.傳統(tǒng)方式的DB on TOP

一些北美廠商采用傳統(tǒng)方式的DB on TOP來解決SQL on Hadoop，即組合利用不同的計算框架面向不同的數(shù)據(jù)操作。其中以EMC Greenplum、Hadapt、Citus Data為代表。Hadapt以PostgreSQL架接在Hadoop上,來完成對結構化數(shù)據(jù)的查詢。它提供了統(tǒng)一的數(shù)據(jù)處理環(huán)境，利用Hadoop的高擴展性和關系數(shù)據(jù)庫的高速性，分開執(zhí)行Hadoop和關系數(shù)據(jù)庫之間的查詢。Citus Data通過把多種數(shù)據(jù)類型轉化成數(shù)據(jù)庫的原生類型，運用分布式處理技術來完成查詢。

圖1、Hadapt

DB on Top 方式是業(yè)內同事解決結構化與非結構化數(shù)據(jù)的最初嘗試，最早由Hadapt公司在2010年提出，也就緒了能夠跑在Amazon EMR上的社區(qū)版。但是，其本質是數(shù)據(jù)在兩種計算框架中分別存放，如圖1所示，結構化數(shù)據(jù)存儲于高性能關系型數(shù)據(jù)引擎(High-Performance Relational Engine for Structured Data),非結構化數(shù)據(jù)存儲于Hadoop分布文件系統(tǒng)(Hadoop Distributed File System for Unstructured Data)，對兩種類型的數(shù)據(jù)交互依靠查詢的切片執(zhí)行，元數(shù)據(jù)的組織控制必然是系統(tǒng)擴展演變中的過度技術。

2.原生態(tài)Hive的優(yōu)化

在開源社區(qū)方面，以Hortonworks的Stinger、Apache Drill為例。Hortonworks的Stinger通過對原生態(tài)Hive做改造，優(yōu)化SQL查詢速度，使其達到5-30秒，完成對SQL查詢。Apache Drill通過對原生態(tài)的Hive做優(yōu)化，完成對SQL的查詢。

圖2、Hortonworks Stinger

開源社區(qū)原生態(tài)的改造，目標是建立共同的計算框架和接口，目前各個開源項目雖然還只是孵化階段，也還是獲得了業(yè)內的支持，例如Apache的Drill項目，因開放的數(shù)據(jù)格式和查詢語言，就獲得了專業(yè)的Hadoop商業(yè)發(fā)行版供應商MapR的支持。

開源社區(qū)的發(fā)展和貢獻，將成為推動SQL on Hadoop大規(guī)模落地行業(yè)的主要力量。

3.人機流程交互

在國內，對于SQL on Hadoop，主要是從SQL的數(shù)據(jù)處理流程和即席分析兩方面來進行。在SQL的數(shù)據(jù)處理流程方面，很多操作是可以通過對數(shù)據(jù)處理流程進行預定義，然后對MapReduce作業(yè)進行批處理。例如ETL流程處理。ETL流程處理是對數(shù)據(jù)進行抽取、清洗、轉換、加載的階段。在此階段，通過對數(shù)據(jù)流程進行預定義，在一個人機交互的友好界面上把MapReduce作業(yè)預先組裝好，進行拖拽等操作形成工作流，來解決傳統(tǒng)的SQL。

4.多級索引結構的即席查詢

大數(shù)據(jù)的即席查詢是大數(shù)據(jù)所面臨的一個難題。在PB級別的數(shù)據(jù)，其查詢效率和查詢性能都不盡如意。在傳統(tǒng)DW環(huán)境下，企業(yè)多采用OLAP cube。OLAP cube通過對數(shù)據(jù)進行預處理，將數(shù)據(jù)根據(jù)維度進行最大限度的聚類運算，通過對維度的配置，可以完成對小數(shù)據(jù)即席分析。但是對于PB級別的大數(shù)據(jù)環(huán)境，如何建立大數(shù)據(jù)的cube來兼顧前端應用的靈活性和查詢效率呢? HBase自帶的哈希快速定位功能可以實現(xiàn)即席查詢的毫秒級響應和高并發(fā)。天云大數(shù)據(jù)通過在HBase上構建多級索引以及引用MPP方式基于統(tǒng)計分析的分區(qū)設計，不僅解決了HBase查詢不靈活的特點，還能滿足對PB級別大數(shù)據(jù)的即席查詢。

5.操作型SQL on Hadoop

對于操作型Hadoop，其對SQL on Hadoop 數(shù)據(jù)查詢、響應等已經(jīng)由存儲磁盤級轉移到內存上。由于其分布內存一致性要求，使得其發(fā)展比較緩慢，目前還不能達到企業(yè)應用級別。目前，分布式內存計算已漸趨繁榮，比較有代表的技術先鋒如Splice Machine、SQLstream等。目前對于操作型Hadoop，業(yè)界正在積極探索中。

面對企業(yè)多年運營所積累的大量結構化數(shù)據(jù)，SQL on Hadoop無疑成為了分布式計算框架進入企業(yè)傳統(tǒng)計算市場的敲門磚，但我們更清楚的認識到，Hadoop等主流分布式計算的舞臺遠不如此，它為企業(yè)計算定義了一個更為廣闊的零消費市場(White Space)解決SQL之外的計算。

紛繁復雜的世界不可能簡單地由平面展開的表結構來描述，SQL能夠勝任查詢和數(shù)值計算工作。但大量碎片的文字信息、影像圖片如何計算?“買入”+“大漲”等于什么?“女性”+“Dior”等于“優(yōu)雅”還是“性感”?能否用Sum、Group By、Join SQL來做非結構化信息的主題縮略、分類、聚類，我們將在后續(xù)文章中探討這些話題。