大數(shù)據(jù)技術(shù)論壇（上）：Spark、Hadoop技術(shù)成主角

2014年12月12-14日，由中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）主辦，CCF大數(shù)據(jù)專家委員會(huì)承辦，中科院計(jì)算所與CSDN共同協(xié)辦，以推進(jìn)大數(shù)據(jù)科研、應(yīng)用與產(chǎn)業(yè)發(fā)展為主旨的2014中國(guó)大數(shù)據(jù)技術(shù)大會(huì)（Big Data Tec就hnology Conference 2014，BDTC 2014）暨第二屆CCF大數(shù)據(jù)學(xué)術(shù)會(huì)議在北京新云南皇冠假日酒店盛大開幕。

2014中國(guó)大數(shù)據(jù)技術(shù)大會(huì)第二日上午大數(shù)據(jù)技術(shù)論壇上，百度大數(shù)據(jù)部副總監(jiān)薛正華和中國(guó)移動(dòng)集團(tuán)公司業(yè)務(wù)支撐系統(tǒng)部項(xiàng)目經(jīng)理何鴻凌共同主持了上午的論壇。網(wǎng)易NTSE／TNT引擎負(fù)責(zé)人胡煒、英特爾大數(shù)據(jù)首席架構(gòu)師戴金權(quán)，VMware資深業(yè)務(wù)解決方案架構(gòu)師介文清，搜狐移動(dòng)研發(fā)部經(jīng)理劉佳， Admaster技術(shù)副總裁盧億雷5位專家主要專注于大數(shù)據(jù)技術(shù)展開演講。

大數(shù)據(jù)技術(shù)論壇主持人：百度大數(shù)據(jù)部副總監(jiān) 薛正華

大數(shù)據(jù)技術(shù)論壇主持人：中國(guó)移動(dòng)集團(tuán)公司業(yè)務(wù)支撐系統(tǒng)部項(xiàng)目經(jīng)理 何鴻凌

胡煒：網(wǎng)易數(shù)據(jù)庫(kù)壓縮技術(shù)

12月14日，在大數(shù)據(jù)技術(shù)論壇上午的演講中，網(wǎng)易NTSE／TNT引擎負(fù)責(zé)人胡煒發(fā)表主題為“網(wǎng)易數(shù)據(jù)庫(kù)壓縮技術(shù)”的演講。胡煒認(rèn)為理想中的壓縮技術(shù)應(yīng)該是無(wú)論你提供哪種壓縮技術(shù)，它都應(yīng)該是智能化的、在數(shù)據(jù)的壓縮、解壓以及在壓縮數(shù)據(jù)訪問(wèn)達(dá)到高效率、無(wú)論用什么方式去壓縮和解壓，都要保持靈活性。

網(wǎng)易NTSE／TNT引擎負(fù)責(zé)人 胡煒

對(duì)于數(shù)據(jù)庫(kù)壓縮特點(diǎn)，胡煒總結(jié)出五點(diǎn)：

1. 無(wú)損壓縮技術(shù)。一般來(lái)說(shuō)數(shù)據(jù)庫(kù)壓縮一般會(huì)采用通用算法；
2. 數(shù)據(jù)分布影響。它代表內(nèi)容的隨機(jī)性，代表了所謂壓縮的極限，其實(shí)不同的數(shù)據(jù)對(duì)采用不同的壓縮算法，可能會(huì)導(dǎo)致它的數(shù)據(jù)最后壓縮效果會(huì)有很大的差別。如果我是一個(gè)非常非常冗余的數(shù)據(jù)，最后可能會(huì)得到非常好的壓縮效果；
3. 硬件影響。硬件對(duì)于壓縮來(lái)說(shuō)，也是一個(gè)非常重要的影響因素。因?yàn)闊o(wú)論是存儲(chǔ)，還是CPU，還是內(nèi)存，隨著日新月異的發(fā)展，它其實(shí)對(duì)壓縮算法的選擇來(lái)說(shuō)，會(huì)有一個(gè)非常大的導(dǎo)向性。
4. 壓縮單位。壓縮單位對(duì)數(shù)據(jù)庫(kù)壓縮有非常大的影響，它可以做到像整個(gè)文件級(jí)的壓縮，或者說(shuō)是一個(gè)數(shù)據(jù)表級(jí)別的壓縮，或者是做到像塊級(jí)別，頁(yè)面級(jí)別的壓縮。甚至更小到行級(jí)的，到一個(gè)屬性級(jí)別的壓縮。采用不同的壓縮單位，也相當(dāng)來(lái)說(shuō)對(duì)于這樣的壓縮來(lái)說(shuō)，會(huì)產(chǎn)生比較大的不同。
5. 吞吐率要求。數(shù)據(jù)庫(kù)壓縮對(duì)吞吐率要求非常高，無(wú)論選擇哪種算法，都不能過(guò)多地犧牲吞吐率。如果你采用文件壓縮的策略，如果每次訪問(wèn)都要去解壓整個(gè)文件，那可能是一個(gè)得不償失的做法。 

最后，胡煒介紹網(wǎng)易大數(shù)據(jù)壓縮方式是在全局建立字典上，通過(guò)區(qū)分?jǐn)?shù)據(jù)屬性進(jìn)行靈活的在線壓縮、解壓，訪問(wèn)效率相比傳統(tǒng)壓縮提高2倍到10倍左右。接下來(lái)，胡煒計(jì)劃通過(guò)更多的統(tǒng)計(jì)信息，實(shí)現(xiàn)采集字典的自動(dòng)劃分功能。

戴金權(quán)：基于Spark軟件棧的下一代大數(shù)據(jù)分析

英特爾大數(shù)據(jù)首席架構(gòu)師 戴金權(quán)

英特爾大數(shù)據(jù)首席架構(gòu)師戴金權(quán)表示，大數(shù)據(jù)深入分析大致分為兩類：類似SQL數(shù)據(jù)分析，進(jìn)行關(guān)系型云運(yùn)算；達(dá)到實(shí)時(shí)、快速的數(shù)據(jù)分析速度。他認(rèn)為，利用Spark構(gòu)建下一代大數(shù)據(jù)分析，能夠?yàn)橛脩魳?gòu)建新的應(yīng)用場(chǎng)景及新的分析應(yīng)用，并舉例說(shuō)明Spark與SQL結(jié)構(gòu)式數(shù)據(jù)結(jié)合的方式，對(duì)

Hive和Parquat進(jìn)行數(shù)據(jù)處理。

介文清：12306：改變傳統(tǒng)思路解決問(wèn)題的NoSQL實(shí)踐

介文清以12306為例展開演講，介紹如何運(yùn)用NoSQL建設(shè)余票查詢系統(tǒng)、訂單查詢系統(tǒng)，并且，實(shí)現(xiàn)每秒1萬(wàn)次訂單查詢、余票10分鐘更新一次的頻率。

VMware資深業(yè)務(wù)解決方案架構(gòu)師 介文清

介文清表示傳統(tǒng)設(shè)計(jì)的系統(tǒng)架構(gòu)無(wú)法解決，12306網(wǎng)站數(shù)據(jù)流量問(wèn)題。系統(tǒng)切換時(shí)，將SQL數(shù)據(jù)庫(kù)進(jìn)行抽取，送到NoSQL集群中，數(shù)據(jù)量進(jìn)行并行運(yùn)算，開始新舊系統(tǒng)工作負(fù)載在90%—10%之間，運(yùn)行正常之后可完全放在新系統(tǒng)中運(yùn)行。

劉佳：基于全網(wǎng)內(nèi)容的新聞客戶端推薦系統(tǒng)

劉佳針對(duì)新聞客戶端遇到的內(nèi)容分類質(zhì)量識(shí)別圖文、視頻、音頻、游戲、數(shù)據(jù)稀疏、內(nèi)容冷啟動(dòng)、用戶冷啟動(dòng)、噪音處理：三俗內(nèi)容等棘手問(wèn)題的處理方式展開演講。

搜狐移動(dòng)研發(fā)部經(jīng)理 劉佳

首先，劉佳介紹搜狐移動(dòng)端新聞推薦的兩個(gè)特點(diǎn)：

1. 廣告系統(tǒng)。廣告系統(tǒng)，搜狐追求轉(zhuǎn)化率、輔助指標(biāo)ROI、用戶效果。
2. 搜索系統(tǒng)。搜索引擎中，追求對(duì)內(nèi)容理解、內(nèi)容爬取、文本關(guān)鍵詞主題提取、文本分類、主題分類、內(nèi)容索引、垃圾過(guò)濾、page rank、反作弊等等。

隨后，劉佳介紹新聞推薦系統(tǒng)中三俗內(nèi)容的處理方式，他說(shuō)：“推薦系統(tǒng)出現(xiàn)三俗內(nèi)容，可以提高18%-20%的轉(zhuǎn)化率，雖然可以暫時(shí)提高點(diǎn)擊率，但是對(duì)用戶的粘性有很大的影響。我們會(huì)通用戶閱讀分布、用戶屬性分布統(tǒng)計(jì)性和精細(xì)化的分類進(jìn)行篩選三俗內(nèi)容。整體處理后，轉(zhuǎn)化率下降到15%，推薦總量提升20%，用戶使用頻次也有20%的提升。”

盧億雷：Hadoop在廣告監(jiān)測(cè)技術(shù)的實(shí)踐

盧億雷圍繞廣告營(yíng)銷數(shù)據(jù)流程、廣告監(jiān)測(cè)技術(shù)特點(diǎn)、廣告監(jiān)測(cè)數(shù)據(jù)差異、廣告數(shù)據(jù)挖掘平臺(tái)架構(gòu)、ADH在廣告營(yíng)銷數(shù)據(jù)挖掘的特、AdMaster數(shù)據(jù)分析平臺(tái)六點(diǎn)展開演講。

Admaster技術(shù)副總裁 盧億雷

演講中，盧億雷表示，ADH是針對(duì)廣告行業(yè)做出來(lái)的Hadoop，他有以下五個(gè)特點(diǎn)：

1. 日志信息或數(shù)據(jù)放在Hadoop里，會(huì)自動(dòng)生成所需要的數(shù)據(jù)格式；
2. 內(nèi)置廣告算法，MR可以提供Hadoop服務(wù)；
3. 對(duì)于HBase做出改造，例如項(xiàng)目排序、項(xiàng)目索引等做出相應(yīng)優(yōu)化；
4. 優(yōu)化Hadoop調(diào)度系統(tǒng)；
5. 集成Spark。

在廣告監(jiān)測(cè)數(shù)據(jù)中，盧億雷總結(jié)出：不同IP庫(kù)系統(tǒng)導(dǎo)致出現(xiàn)不同地域結(jié)論；監(jiān)測(cè)代碼部署時(shí)點(diǎn)的不同；監(jiān)測(cè)機(jī)制和指標(biāo)定義的差異；移動(dòng)APP較不穩(wěn)定的網(wǎng)絡(luò)環(huán)境等是導(dǎo)致數(shù)據(jù)差異的主要因素。