eBay上海大數(shù)據(jù)峰會(huì)：技術(shù)熱點(diǎn)與應(yīng)用實(shí)踐的融合

2014年10月25日，由eBay、CSDN共同舉辦的“大數(shù)據(jù)峰會(huì)”在上海豫園萬麗酒店成功舉辦。本次活動(dòng)由CSDN&《程序員》總編劉江主持，eBay全球數(shù)據(jù)架構(gòu)副總裁Debashis Saha，eBay全球平臺(tái)架構(gòu)資深架構(gòu)師Sami Ben-romdhane，eBay資深架構(gòu)師蔣旭，Druid創(chuàng)始人Eric Tschetter，EV Analysis Corporation首席數(shù)據(jù)科學(xué)家Ying Li，騰訊數(shù)據(jù)平臺(tái)部精準(zhǔn)推薦中心總監(jiān)李勇等嘉賓為大家奉上一場(chǎng)大數(shù)據(jù)的技術(shù)盛宴。

eBay上海大數(shù)據(jù)峰會(huì)2014  參會(huì)嘉賓

本次大會(huì)雖然只有短短一天，但是卻以更加國(guó)際化的視野，幫助與會(huì)者了解全球大數(shù)據(jù)技術(shù)的發(fā)展趨勢(shì)；從行業(yè)應(yīng)用出發(fā)，探討大數(shù)據(jù)領(lǐng)域的實(shí)踐經(jīng)驗(yàn)，深度剖析大數(shù)據(jù)的核心技術(shù)。

eBay上海大數(shù)據(jù)峰會(huì)2014 大會(huì)現(xiàn)場(chǎng)

eBay總經(jīng)理，eBay China Center of Excellence田衛(wèi)做了開場(chǎng)致辭，在感謝各位來賓的同時(shí)，對(duì)1500位報(bào)名但由于場(chǎng)地限制，未能來參會(huì)的朋友們也表示了歉意。大數(shù)據(jù)以迅雷不及掩耳之勢(shì)，迅速的擴(kuò)展到金融、娛樂、工作和生活中來。以打橋牌的經(jīng)歷為例，她介紹了自己如何通過一個(gè)”小數(shù)據(jù)“實(shí)現(xiàn)了價(jià)值?！贝驑蚺?，不僅牌要打得好，還要運(yùn)氣好，失誤少。我將大數(shù)據(jù)技術(shù)融入到橋牌中來，通過對(duì)大量數(shù)據(jù)的積累與分析，最終以新人身份沖入第14屆世界橋牌競(jìng)標(biāo)賽。這足以說明數(shù)據(jù)分析的魅力。未來，eBay會(huì)開源幾個(gè)大數(shù)據(jù)平臺(tái)工具，將頂尖的大數(shù)據(jù)技術(shù)分享給世界?！?/span>

eBay全球數(shù)據(jù)架構(gòu)副總裁Debashis Saha則發(fā)表了題為“大數(shù)據(jù)基礎(chǔ)架構(gòu)的未來”的演講。如今有五分之一的美元是花費(fèi)在網(wǎng)上，eBay已經(jīng)不僅僅是一家連接買家和賣家的電子商務(wù)公司。eBay目前有1.28億的活躍用戶，Paypal有1.43億活躍賬戶，200PB以上的數(shù)據(jù)。幾年前，Hadoop的出現(xiàn)為這些大數(shù)據(jù)的處理提供了可能。Debashis首先介紹了eBay如何在Hadoop的基礎(chǔ)上，擴(kuò)展平臺(tái)和工具，來適應(yīng)大數(shù)據(jù)商業(yè)的需求，在eBay的生態(tài)系統(tǒng)中，分為三層：Infrastructure，Platform和Services。接下來，Debashis介紹了eBay在深度數(shù)據(jù)分析和快速、實(shí)時(shí)分析方面所做的工作，包括對(duì)開源社區(qū)的貢獻(xiàn)。

國(guó)立臺(tái)灣大學(xué)卓越教授林智仁，作為作為機(jī)器學(xué)習(xí)的研究者，帶來了“大規(guī)模分布式機(jī)器學(xué)習(xí)”的分享。分布式機(jī)器學(xué)習(xí)還在很初期的階段，其帶來的最大挑戰(zhàn)是：以前在一臺(tái)機(jī)器上的算法、工具等都已經(jīng)基本失效，要考慮算法、系統(tǒng)和應(yīng)用等各個(gè)方面，但也有人說大量的數(shù)據(jù)中能夠更容易挖掘出有效數(shù)據(jù)。從技術(shù)角度來說，分布式機(jī)器學(xué)習(xí)的優(yōu)點(diǎn)是：1.可實(shí)現(xiàn)并行數(shù)據(jù)加載，提高加載效率；2.容錯(cuò)機(jī)制。但分布式機(jī)器學(xué)習(xí)也有缺點(diǎn)：深度分析使流程更加復(fù)雜。如果真的要采用分布式機(jī)器學(xué)習(xí)，就要考慮數(shù)據(jù)的計(jì)算時(shí)間，加載時(shí)間和同步時(shí)間，而在過去的機(jī)器學(xué)習(xí)中，大部分場(chǎng)景中卻只考慮了計(jì)算時(shí)間。最后，林智仁介紹了幾個(gè)分布式機(jī)器學(xué)習(xí)的算法及其應(yīng)用場(chǎng)景，比如Logistic Regression問題的分布式實(shí)現(xiàn)，Google的Sibyl系統(tǒng)，并以用戶的CTR預(yù)測(cè)應(yīng)用場(chǎng)景進(jìn)行了說明。

Druid創(chuàng)始人Eric Tschetter接下來發(fā)表演講“Druid之旅，大數(shù)據(jù)實(shí)時(shí)分析數(shù)據(jù)存儲(chǔ)框架”的演講。Eric以一個(gè)Demo開場(chǎng)介紹了Druid。Druid是一個(gè)開源的、實(shí)時(shí)處理數(shù)據(jù)庫，主要用于數(shù)據(jù)量較大、多維度數(shù)據(jù)的場(chǎng)景，滿足不宕機(jī)的數(shù)據(jù)分析需求，在Druid之前，他們嘗試過RDBMS（加載速度過慢）、NoSQL存儲(chǔ)（隨著維度的增加，效率降低），由于各種缺陷開始了Druid的開發(fā)。Druid將歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)分開，Realtime Nodes、Historical Nodes，還有Broker Nodes，再將兩者進(jìn)行合并處理。接下來Eric詳細(xì)介紹了Druid的數(shù)據(jù)存儲(chǔ)形式和處理方式。

eBay全球平臺(tái)架構(gòu)資深架構(gòu)師Sami Ben-romdhane詳細(xì)介紹了“Eagle：Hadoop平臺(tái)監(jiān)控、預(yù)警及自動(dòng)化”的實(shí)踐經(jīng)驗(yàn)。eBay的Hadoop平臺(tái)團(tuán)隊(duì)，包括9位中國(guó)工程師和11位美國(guó)工程師，Eagle完全由中國(guó)的團(tuán)隊(duì)開發(fā)。eBay的Hadoop節(jié)點(diǎn)從2007年的幾個(gè)，發(fā)展到2014年的10000個(gè)，Hadoop集群的管理成為難點(diǎn)，Eagle應(yīng)運(yùn)而生。Eagle的應(yīng)用場(chǎng)景包括監(jiān)控M/R作業(yè)，作業(yè)性能的分析，服務(wù)器異常檢測(cè)，管理SLA作業(yè)，監(jiān)控節(jié)點(diǎn)審計(jì)日志，監(jiān)控HDFS鏡像，監(jiān)控進(jìn)程GC日志等。Eagle的主要組件包括Eagle Data Feeder，Eagle Logstash Integration，Eagle Data Storage，Eagle Query Service，Eagle Anomaly Detection，Sami分別對(duì)其做了詳細(xì)解說，并介紹了Eagle完全由中國(guó)團(tuán)隊(duì)開發(fā)完成。

EV Analysis Corporation首席數(shù)據(jù)科學(xué)家Ying Li則分享了數(shù)據(jù)科學(xué)的實(shí)踐。Ying Li首先介紹了數(shù)據(jù)科學(xué)的定義和自己多年積累的實(shí)踐原則：Question，用問題指引工作；Unknowns，知道你的盲點(diǎn)；Explore，從不同角度看數(shù)據(jù)；Scrupulous vs. Speed, Science vs. Scrappiness；Truth，數(shù)據(jù)和現(xiàn)實(shí)的關(guān)聯(lián)。認(rèn)為數(shù)據(jù)科學(xué)的一個(gè)重要性質(zhì)是可重復(fù)性，而評(píng)價(jià)數(shù)據(jù)科學(xué)家的一個(gè)重要指標(biāo)則是其代表作。

CSDN云計(jì)算日前翻譯的《Kylin正式發(fā)布：面向大數(shù)據(jù)的終極OLAP引擎方案》引發(fā)了開發(fā)者對(duì)麒麟（Kyllin）極大的興趣。eBay資深架構(gòu)師蔣旭對(duì)剛剛開源的技術(shù)Kylin——基于Hadoop的大規(guī)模聯(lián)機(jī)分析引擎，進(jìn)行了深入的分析。隨著eBay大量數(shù)據(jù)都遷移到Hadoop上，如何讀取數(shù)據(jù)？如何達(dá)到百億數(shù)量級(jí)的數(shù)據(jù)，秒級(jí)時(shí)間內(nèi)就能收到數(shù)據(jù)分析結(jié)果？而Hive又太慢了，eBay開發(fā)了Kylin來完成這個(gè)任務(wù)。對(duì)于開發(fā)者關(guān)心的“現(xiàn)在已經(jīng)有很多SQL-on-Hadoop技術(shù)了，為什么還要重復(fù)造車輪？”這個(gè)問題，蔣旭詳細(xì)分析了現(xiàn)有系統(tǒng)的問題，多數(shù)選擇ROLAP的模式，數(shù)據(jù)集一大，查詢延遲特別長(zhǎng)。為此，eBay選擇了MOLAP和ROLAP的混合模式，并堅(jiān)持盡量使用Hadoop已有功能的原則，Kylin支持ANSI SQL查詢。并能與現(xiàn)有商業(yè)智能工具無縫的整合，比如Tableau。 支持TB到PB級(jí)別的快速查詢能力。麒麟（Kylin）是完全由中國(guó)團(tuán)隊(duì)研發(fā)并貢獻(xiàn)到開源社區(qū)的產(chǎn)品，目前正在提交到Apache孵化器項(xiàng)目。