原來在線廣告公司都是這樣使用Spark處理流數(shù)據(jù)的

在Hadoop集群上部署Spark處理引擎，每天處理14TB的交易數(shù)據(jù)，這就是在線廣告平臺Altitude Digital最近的實(shí)踐，它主要追蹤用戶的社交媒體數(shù)據(jù)。

AltitudeDigital首席技術(shù)官Manny Puentes透露，Spark部署會在今年四月中旬上線，公司為了成功在Hadoop系統(tǒng)中應(yīng)用Spark Streaming模型，特地將計(jì)算節(jié)點(diǎn)從30擴(kuò)展到50。

目前，Altitude Digital使用的是Hive數(shù)據(jù)倉庫軟件，這是Apache另一個開源技術(shù)，用于查詢存儲在集群中的數(shù)據(jù)，基于MapR Hadoop發(fā)行版。Puentes表示：“Hive是長時間運(yùn)行的報(bào)表，一旦崩潰，要返回TB級別數(shù)據(jù)就得花費(fèi)幾個小時的時間。”在測試中，Spark Streaming查詢速度是Hive的4到20倍，處理的數(shù)據(jù)集的規(guī)模和復(fù)雜度會對查詢速度產(chǎn)生影響。

查詢速度的提高對公司來講意義重大，因?yàn)楣镜姆治鰬?yīng)用程序，比如通過視頻廣告瀏覽數(shù)據(jù)優(yōu)化廣告位置，經(jīng)常需要運(yùn)行查詢、等待結(jié)果、根據(jù)結(jié)果優(yōu)化查詢，然后再次運(yùn)行。如果實(shí)踐中能獲得測試的性能，分析團(tuán)隊(duì)可能在一天之內(nèi)得到復(fù)雜查詢的答案，不需要再花上四五天的時間了。Puentes介紹到：“這對我們的業(yè)務(wù)來講是很有意義的。”

流數(shù)據(jù)的多種應(yīng)用方式

AltitudeDigital正在嘗試集成來自多種不同的數(shù)據(jù)源的數(shù)據(jù)流，通過一定的算法，基于瀏覽cookie了解用戶的行為。公司的另一個目標(biāo)是給線上廣告商更快的儀表盤訪問。Puentes表示：“我們也希望能夠?qū)崟r反饋數(shù)據(jù)洞察力給廣告商。”

Spark還只是Altitude Digital應(yīng)用的技術(shù)之一，公司每天通過Spark Streaming處理交易數(shù)據(jù)的同時，也在使用Concurrent提供的開源Cascading軟件來運(yùn)行MapReduce批處理任務(wù)。Spark也支持批處理，而且生成處理速度是MapReduce的一百倍。但Puentes表示，他還是希望使用MapReduce容錯技術(shù)確保任務(wù)完成。

Sharethrough是另一個采用了Spark Streaming的在線廣告公司，它用來支持運(yùn)行在AWS上的基于Cloudera的Hadoop集群。Sharethrough在2013年中期開始使用Databricks公司的Spark云部署，目前通過流處理模塊每天運(yùn)行500GB的互聯(lián)網(wǎng)點(diǎn)擊和廣告可視數(shù)據(jù)。

Spark系統(tǒng)搭載機(jī)器學(xué)習(xí)應(yīng)用程序，分析原生廣告的效果。Sharethrough系統(tǒng)集成副總裁Rob Slifka表示，Hadoop集群部署兩年以后，很明顯，批導(dǎo)向的系統(tǒng)不能滿足企業(yè)實(shí)時分析的需求。廣告商和發(fā)行商不得不使用幾小時以前的數(shù)據(jù)決定在哪里做廣告，這就給廣告優(yōu)化帶來了挑戰(zhàn)。Slifka表示，因?yàn)?/span>Sharethrough平臺支持的廣告的本質(zhì)決定的，這樣做會很復(fù)雜。頭條和觸屏文本可以形成不同的組合。

數(shù)據(jù)流和點(diǎn)擊率

這種頭條-文本的方式更有效。在一次Sharethrough；進(jìn)行的測試中，內(nèi)部廣告點(diǎn)擊率從不足1%增長到7%，這在廣告界是很大的進(jìn)步。之所以采用Spark Streaming就是考慮到它能夠快速識別那版廣告最有效。Slifka表示：“如果你有十種組合，其中五種都不好，你一定想要快速地了解到哪五種不好。”

多虧了數(shù)據(jù)流技術(shù)，公司才能夠用不同的網(wǎng)站用戶測試不同的廣告，然后快速分析結(jié)果，識別哪個廣告最有效。Slifka表示：“我們從來不會選擇一個單獨(dú)的贏家，通過Spark Streaming，我們會采用一對組合，使其成為最好的廣告。”

Russell Cardullo領(lǐng)導(dǎo)了Spark技術(shù)部署，他表示，流處理讓性能檢測更重要，也更有挑戰(zhàn)性。“你需要認(rèn)識到，這是要7*24小時不間斷運(yùn)行的。數(shù)據(jù)無時無刻不在產(chǎn)生，你需要及時掌握數(shù)據(jù)情況，而不是等發(fā)生問題了再去解決。”

他補(bǔ)充道，公司運(yùn)行Spark Streaming，到目前只遇到一個處理問題，而且該問題不是由軟件本身引發(fā)的，而是公司使用的為Spark提供數(shù)據(jù)的亞馬遜Kinesis和RabbitMQ技術(shù)引發(fā)的。

Gartner分析師Nick Heudecker和McKnight咨詢公司總裁William McKnight也指出了企業(yè)在融合大數(shù)據(jù)和流處理技術(shù)時面臨的其他挑戰(zhàn)。包括構(gòu)建高可用的技術(shù)架構(gòu)以應(yīng)對數(shù)據(jù)處理工作負(fù)載，同時能夠滿足公司分析和業(yè)務(wù)處理的需求，使其能夠利用流數(shù)據(jù)。Heudecker表示：“如果只加速業(yè)務(wù)流程的5%，其他95%都沒有變，那就沒有什么意義了。”