大數(shù)據(jù)峰會：技術(shù)熱點與應(yīng)用實踐的融合

本次大會雖然只有短短一天，但是卻以更加國際化的視野，幫助與會者了解全球大數(shù)據(jù)技術(shù)的發(fā)展趨勢；從行業(yè)應(yīng)用出發(fā)，探討大數(shù)據(jù)領(lǐng)域的實踐經(jīng)驗，深度剖析大數(shù)據(jù)的核心技術(shù)。

eBay總經(jīng)理，eBay China Center of Excellence田衛(wèi)做了開場致辭，在感謝各位來賓的同時，對1500位報名但由于場地限制，未能來參會的朋友們也表示了歉意。大數(shù)據(jù)以迅雷不及掩耳之勢，迅速的擴展到金融、娛樂、工作和生活中來。以打橋牌的經(jīng)歷為例，她介紹了自己如何通過一個”小數(shù)據(jù)“實現(xiàn)了價值?！贝驑蚺?，不僅牌要打得好，還要運氣好，失誤少。我將大數(shù)據(jù)技術(shù)融入到橋牌中來，通過對大量數(shù)據(jù)的積累與分析，最終以新人身份沖入第14屆世界橋牌競標賽。這足以說明數(shù)據(jù)分析的魅力。未來，eBay會開源幾個大數(shù)據(jù)平臺工具，將頂尖的大數(shù)據(jù)技術(shù)分享給世界?！?/span>

eBay全球數(shù)據(jù)架構(gòu)副總裁Debashis Saha則發(fā)表了題為“大數(shù)據(jù)基礎(chǔ)架構(gòu)的未來”的演講。如今有五分之一的美元是花費在網(wǎng)上，eBay已經(jīng)不僅僅是一家連接買家和賣家的電子商務(wù)公司。eBay目前有1.28億的活躍用戶，Paypal有1.43億活躍賬戶，200PB以上的數(shù)據(jù)。幾年前，Hadoop的出現(xiàn)為這些大數(shù)據(jù)的處理提供了可能。Debashis首先介紹了eBay如何在Hadoop的基礎(chǔ)上，擴展平臺和工具，來適應(yīng)大數(shù)據(jù)商業(yè)的需求，在eBay的生態(tài)系統(tǒng)中，分為三層：Infrastructure，Platform和Services。接下來，Debashis介紹了eBay在深度數(shù)據(jù)分析和快速、實時分析方面所做的工作，包括對開源社區(qū)的貢獻。

國立臺灣大學(xué)卓越教授林智仁，作為作為機器學(xué)習(xí)的研究者，帶來了“大規(guī)模分布式機器學(xué)習(xí)”的分享。分布式機器學(xué)習(xí)還在很初期的階段，其帶來的最大挑戰(zhàn)是：以前在一臺機器上的算法、工具等都已經(jīng)基本失效，要考慮算法、系統(tǒng)和應(yīng)用等各個方面，但也有人說大量的數(shù)據(jù)中能夠更容易挖掘出有效數(shù)據(jù)。從技術(shù)角度來說，分布式機器學(xué)習(xí)的優(yōu)點是：1.可實現(xiàn)并行數(shù)據(jù)加載，提高加載效率；2.容錯機制。但分布式機器學(xué)習(xí)也有缺點：深度分析使流程更加復(fù)雜。如果真的要采用分布式機器學(xué)習(xí)，就要考慮數(shù)據(jù)的計算時間，加載時間和同步時間，而在過去的機器學(xué)習(xí)中，大部分場景中卻只考慮了計算時間。最后，林智仁介紹了幾個分布式機器學(xué)習(xí)的算法及其應(yīng)用場景，比如Logistic Regression問題的分布式實現(xiàn)，Google的Sibyl系統(tǒng)，并以用戶的CTR預(yù)測應(yīng)用場景進行了說明。

Druid創(chuàng)始人Eric Tschetter接下來發(fā)表演講“Druid之旅，大數(shù)據(jù)實時分析數(shù)據(jù)存儲框架”的演講。Eric以一個Demo開場介紹了Druid。Druid是一個開源的、實時處理數(shù)據(jù)庫，主要用于數(shù)據(jù)量較大、多維度數(shù)據(jù)的場景，滿足不宕機的數(shù)據(jù)分析需求，在Druid之前，他們嘗試過RDBMS（加載速度過慢）、NoSQL存儲（隨著維度的增加，效率降低），由于各種缺陷開始了Druid的開發(fā)。Druid將歷史數(shù)據(jù)和實時數(shù)據(jù)分開，Realtime Nodes、Historical Nodes，還有Broker Nodes，再將兩者進行合并處理。接下來Eric詳細介紹了Druid的數(shù)據(jù)存儲形式和處理方式。

eBay全球平臺架構(gòu)資深架構(gòu)師Sami Ben-romdhane詳細介紹了“Eagle：Hadoop平臺監(jiān)控、預(yù)警及自動化”的實踐經(jīng)驗。eBay的Hadoop平臺團隊，包括9位中國工程師和11位美國工程師，Eagle完全由中國的團隊開發(fā)。eBay的Hadoop節(jié)點從2007年的幾個，發(fā)展到2014年的10000個，Hadoop集群的管理成為難點，Eagle應(yīng)運而生。Eagle的應(yīng)用場景包括監(jiān)控M/R作業(yè)，作業(yè)性能的分析，服務(wù)器異常檢測，管理SLA作業(yè)，監(jiān)控節(jié)點審計日志，監(jiān)控HDFS鏡像，監(jiān)控進程GC日志等。Eagle的主要組件包括Eagle Data Feeder，Eagle Logstash Integration，Eagle Data Storage，Eagle Query Service，Eagle Anomaly Detection，Sami分別對其做了詳細解說，并介紹了Eagle完全由中國團隊開發(fā)完成。

EV Analysis Corporation首席數(shù)據(jù)科學(xué)家Ying Li則分享了數(shù)據(jù)科學(xué)的實踐。Ying Li首先介紹了數(shù)據(jù)科學(xué)的定義和自己多年積累的實踐原則：Question，用問題指引工作；Unknowns，知道你的盲點；Explore，從不同角度看數(shù)據(jù)；Scrupulous vs. Speed, Science vs. Scrappiness；Truth，數(shù)據(jù)和現(xiàn)實的關(guān)聯(lián)。認為數(shù)據(jù)科學(xué)的一個重要性質(zhì)是可重復(fù)性，而評價數(shù)據(jù)科學(xué)家的一個重要指標則是其代表作。

CSDN云計算日前翻譯的《Kylin正式發(fā)布：面向大數(shù)據(jù)的終極OLAP引擎方案》引發(fā)了開發(fā)者對麒麟（Kyllin）極大的興趣。eBay資深架構(gòu)師蔣旭對剛剛開源的技術(shù)Kylin——基于Hadoop的大規(guī)模聯(lián)機分析引擎，進行了深入的分析。隨著eBay大量數(shù)據(jù)都遷移到Hadoop上，如何讀取數(shù)據(jù)？如何達到百億數(shù)量級的數(shù)據(jù)，秒級時間內(nèi)就能收到數(shù)據(jù)分析結(jié)果？而Hive又太慢了，eBay開發(fā)了Kylin來完成這個任務(wù)。對于開發(fā)者關(guān)心的“現(xiàn)在已經(jīng)有很多SQL-on-Hadoop技術(shù)了，為什么還要重復(fù)造車輪？”這個問題，蔣旭詳細分析了現(xiàn)有系統(tǒng)的問題，多數(shù)選擇ROLAP的模式，數(shù)據(jù)集一大，查詢延遲特別長。為此，eBay選擇了MOLAP和ROLAP的混合模式，并堅持盡量使用Hadoop已有功能的原則，Kylin支持ANSI SQL查詢。并能與現(xiàn)有商業(yè)智能工具無縫的整合，比如Tableau。 支持TB到PB級別的快速查詢能力。麒麟（Kylin）是完全由中國團隊研發(fā)并貢獻到開源社區(qū)的產(chǎn)品，目前正在提交到Apache孵化器項目。