三大案例告訴你互聯(lián)網新興企業(yè)為什么需要實時流數據分析

亞馬遜AWS的Kinesis是一款實時流數據捕獲和分析系統(tǒng)，是典型的亞馬遜強調的更成熟的、非商品化的服務。Kinesis用戶可以創(chuàng)建應用程序分析數據流，像EC2云上的其他數據捕獲工具一樣，數據被復制到三個設施上，任何基于Kinesis的系統(tǒng)都具有持久性和強大的彈性。

Kinesis以一小時之內擴展TB級數據見長，因此，它可以用于任務繁忙的大型網站，來分析事件和點擊流，在金融和大型零售領域可以一展拳腳。因為Kinesis是一項管理服務，所以可以同步復制數據，不是像一個分析應用程序一樣一次只能應用于一股數據流。而且，Kinesis是免費的，用戶需要付出的只是用于捕獲、處理和存儲大數據流的服務器和存儲成本。

所有這些特性，使得Kinesis成為AWS一項重要組成部分，也是測試新型云服務能否滿足企業(yè)需求的先行軍。在最近在美國拉斯維加斯舉辦的一年一度的第三屆Re:Invent大會上，三家用戶介紹了Kinesis的使用情況。

在線廣告競價公司DataXu

DataXu是一家美國市場云公司，他提供網絡廣告競價的新機制。企業(yè)、尤其是電商的廣告逐漸開始個性化地在用戶上網的時候呈現在用戶面前。這背后有一套實時響應的競價流程在支撐。DataXu做的就是處理不同公司發(fā)來的競價，最后決定在用戶停留的網站推動什么廣告內容。要推送什么廣告和要拒絕什么廣告都要在很短的時間內處理完畢。

通常來講，完成一個競價流程只需要幾毫秒，DataXu的競價引擎運行在IBM SoftLayer云上。但對于決定有哪些媒體機會和有哪些潛在買者的背景分析系統(tǒng)則是通過DataXu在AWS Kinesis服務上的應用程序實現的。

DataXu的應用程序需要不斷收集廣告生成的點擊流和它位于網頁上的位置，以及展現形式。DataXu以推送用戶喜歡的內容見長。這需要對用戶需求和廣告推送有很多智能化處理。

DataXu三年前成立于波士頓，是由MIT校友創(chuàng)立的，經過三年發(fā)展，已經有300名員工，在50個國家有500多客戶。

公司聯(lián)合創(chuàng)始人兼CTO Bill Simmons表示：“我認為大數據技術的重點在于對數據的利用，而不是簡單的數據收集、數據分析。”

他介紹道：“亞馬遜對自動化系統(tǒng)支持能力很強，如果一個服務器宕機，或者一個硬盤壞掉，新的服務器或硬盤能馬上補充上來。這對運營來講十分重要。”

DataXu在亞馬遜Kinesis上構建系統(tǒng)，盡可能了解用戶性格和廣告投放商特點，最終做到向正確的客戶投遞正確的廣告。它從客戶瀏覽網站中收集數據流，了解潛在客戶。競價引擎應用了Kinesis智能處理，引擎需要在10毫秒之內決定廣告位的價格。廣告的類型包括網站主頁廣告位、網站展示頁和文本中的廣告位、移動應用程序中的廣告、視頻中的廣告和社交網絡系統(tǒng)中的廣告。

Simmons介紹到，和競爭對手相比，DataXu的優(yōu)勢很明顯，競爭對手選擇潛在買者的計算時間是100毫秒，而DataXu只需要10毫秒。

researcher 在線市場調研機構ReportsnReports.com預測，實時競價市場會以每年41%的概率增長，到2018年，會增加到420億美元。

DataXu自然不會錯過市場的增長，它對Kinesis的依賴會更重。數據流經過分析之后，會存儲到AWS的S3、AWS NoSQL系統(tǒng)DyanamoDB或AWS Redshift數據倉庫中，以備之后的復雜分析。

Simmons表示：“所有的服務器日志和實時數據流都會下載到Kinesis?！绷硗?，競價引擎的數據流允許Kinesis應用程序查看哪些廣告成功了，哪些廣告失敗了，這能改善服務質量，幫助DataXu在下一輪競爭中占據有利位置。

Simmons再次強調，亞馬遜對持久性、數據可用性和吞吐性能的支持對我們來說很重要。

手游公司Gree

Gree是一家日本手游公司，出品了Casino, Crime City, War of Nations, and Knights and Dragons等游戲。Gree副總裁兼首席架構師Suhas Kulkani介紹了公司通過Kinesis了解玩家行為和體驗，了解數千家玩家在游戲中的行為和他們什么時候購買游戲中的設備等。

Gree在美國、加拿大和日本都設有工作室，全球有1800名員工。公司起步于電腦，但現在90%的用戶都來自于移動端。它的產品以免費或者1.99美元的低廉價格面向蘋果和安卓手機用戶。

Kulkani表示：“Gree的成功來自于對游戲的洞察和對游戲的優(yōu)化。什么時間適合下載，從電腦到移動端的體驗有什么變化，玩家對促銷的反應等等，這些都體現在我們收集的海量信息中。

Gree想要了解新用戶是如何在游戲中交易，和如何取得進步的。用戶對于游戲的新特點有什么反應。有了這些信息，公司能提供更好的體驗。

Kinesis玩家行為分析師介紹到，有了這些信息，Gree能更好地維持游戲的受歡迎度。Modern War這款游戲上線以及兩年了，但它仍然很受歡迎。要維持游戲的受歡迎度，我們必須妥善處理它的難度。不能太難，也不能太簡單。所以，我們很希望獲得玩家的輸贏比率。這對我們維系玩家很重要。

在采用AWS之前，Gree采用的是內部分析平臺，很難將它用于高可用、高彈性系統(tǒng)。另外，對玩家行為的分析結果，需要提供給市場、游戲設計等很多部門。采用了Kinesis和其他亞馬遜云服務后，這些成為了可能。

游戲崩潰經常是因為游戲設計中的潛在bug在作祟，Kinesis的近實時數據分析能夠顯示導致游戲崩潰的原因。這能夠幫助游戲開發(fā)者更好地編寫程序，測試人員做好測試。

流音樂平臺Omnifone

Omnifone是另一個Kinesis用戶，它在自己的數據中心構建了一套系統(tǒng)，為廣泛的流音樂消費者提供音樂站平臺。同時它也是B2B音樂平臺供應商，索尼、Sirius XM, Guvera, 和 Rara都是它的客戶。

Omnifone創(chuàng)始人兼首席工程師Phil Sant表示，他和合作伙伴們想要建立的是一家全球公司。索尼音樂就是Omnifone的客戶之一。如果Omnifone成為索尼流服務的供應商，它需要再建一個數據中心作為容災數據中心。這兩個數據中心要花費150億美元。

在提供流音樂服務的同時再建一個數據中心無異于在飛機飛行的時候進行修檢。2008年，Omnifone選擇了部分亞馬遜云服務作為試點，現在它使用Kinesis服務用語數據分析。它已經使用了21項亞馬遜的云服務了。

Omnifone正在收集客戶數據，了解那種類型的音樂受歡迎，人們在移動設備上喜歡聽什么歌，音樂家如何在不同的文化環(huán)境中獲得成功，什么在世界各地都受歡迎。

Sant從自身的經驗總結道，企業(yè)需要給予Kinesis這樣的可擴展的數據捕獲和分析系統(tǒng)，而不是自己構建。你不需要自己運行任何系統(tǒng)。本文來源：CDA數據分析師官網