三大案例告訴你互聯(lián)網(wǎng)新興企業(yè)為什么需要實(shí)時(shí)流數(shù)據(jù)分析

亞馬遜AWS的Kinesis是一款實(shí)時(shí)流數(shù)據(jù)捕獲和分析系統(tǒng)，是典型的亞馬遜強(qiáng)調(diào)的更成熟的、非商品化的服務(wù)。Kinesis用戶可以創(chuàng)建應(yīng)用程序分析數(shù)據(jù)流，像EC2云上的其他數(shù)據(jù)捕獲工具一樣，數(shù)據(jù)被復(fù)制到三個(gè)設(shè)施上，任何基于Kinesis的系統(tǒng)都具有持久性和強(qiáng)大的彈性。

Kinesis以一小時(shí)之內(nèi)擴(kuò)展TB級(jí)數(shù)據(jù)見(jiàn)長(zhǎng)，因此，它可以用于任務(wù)繁忙的大型網(wǎng)站，來(lái)分析事件和點(diǎn)擊流，在金融和大型零售領(lǐng)域可以一展拳腳。因?yàn)镵inesis是一項(xiàng)管理服務(wù)，所以可以同步復(fù)制數(shù)據(jù)，不是像一個(gè)分析應(yīng)用程序一樣一次只能應(yīng)用于一股數(shù)據(jù)流。而且，Kinesis是免費(fèi)的，用戶需要付出的只是用于捕獲、處理和存儲(chǔ)大數(shù)據(jù)流的服務(wù)器和存儲(chǔ)成本。

所有這些特性，使得Kinesis成為AWS一項(xiàng)重要組成部分，也是測(cè)試新型云服務(wù)能否滿足企業(yè)需求的先行軍。在最近在美國(guó)拉斯維加斯舉辦的一年一度的第三屆Re:Invent大會(huì)上，三家用戶介紹了Kinesis的使用情況。

在線廣告競(jìng)價(jià)公司DataXu

DataXu是一家美國(guó)市場(chǎng)云公司，他提供網(wǎng)絡(luò)廣告競(jìng)價(jià)的新機(jī)制。企業(yè)、尤其是電商的廣告逐漸開(kāi)始個(gè)性化地在用戶上網(wǎng)的時(shí)候呈現(xiàn)在用戶面前。這背后有一套實(shí)時(shí)響應(yīng)的競(jìng)價(jià)流程在支撐。DataXu做的就是處理不同公司發(fā)來(lái)的競(jìng)價(jià)，最后決定在用戶停留的網(wǎng)站推動(dòng)什么廣告內(nèi)容。要推送什么廣告和要拒絕什么廣告都要在很短的時(shí)間內(nèi)處理完畢。

通常來(lái)講，完成一個(gè)競(jìng)價(jià)流程只需要幾毫秒，DataXu的競(jìng)價(jià)引擎運(yùn)行在IBM SoftLayer云上。但對(duì)于決定有哪些媒體機(jī)會(huì)和有哪些潛在買(mǎi)者的背景分析系統(tǒng)則是通過(guò)DataXu在AWS Kinesis服務(wù)上的應(yīng)用程序?qū)崿F(xiàn)的。

DataXu的應(yīng)用程序需要不斷收集廣告生成的點(diǎn)擊流和它位于網(wǎng)頁(yè)上的位置，以及展現(xiàn)形式。DataXu以推送用戶喜歡的內(nèi)容見(jiàn)長(zhǎng)。這需要對(duì)用戶需求和廣告推送有很多智能化處理。

DataXu三年前成立于波士頓，是由MIT校友創(chuàng)立的，經(jīng)過(guò)三年發(fā)展，已經(jīng)有300名員工，在50個(gè)國(guó)家有500多客戶。

公司聯(lián)合創(chuàng)始人兼CTO Bill Simmons表示：“我認(rèn)為大數(shù)據(jù)技術(shù)的重點(diǎn)在于對(duì)數(shù)據(jù)的利用，而不是簡(jiǎn)單的數(shù)據(jù)收集、數(shù)據(jù)分析?！?

他介紹道：“亞馬遜對(duì)自動(dòng)化系統(tǒng)支持能力很強(qiáng)，如果一個(gè)服務(wù)器宕機(jī)，或者一個(gè)硬盤(pán)壞掉，新的服務(wù)器或硬盤(pán)能馬上補(bǔ)充上來(lái)。這對(duì)運(yùn)營(yíng)來(lái)講十分重要。”

DataXu在亞馬遜Kinesis上構(gòu)建系統(tǒng)，盡可能了解用戶性格和廣告投放商特點(diǎn)，最終做到向正確的客戶投遞正確的廣告。它從客戶瀏覽網(wǎng)站中收集數(shù)據(jù)流，了解潛在客戶。競(jìng)價(jià)引擎應(yīng)用了Kinesis智能處理，引擎需要在10毫秒之內(nèi)決定廣告位的價(jià)格。廣告的類(lèi)型包括網(wǎng)站主頁(yè)廣告位、網(wǎng)站展示頁(yè)和文本中的廣告位、移動(dòng)應(yīng)用程序中的廣告、視頻中的廣告和社交網(wǎng)絡(luò)系統(tǒng)中的廣告。

Simmons介紹到，和競(jìng)爭(zhēng)對(duì)手相比，DataXu的優(yōu)勢(shì)很明顯，競(jìng)爭(zhēng)對(duì)手選擇潛在買(mǎi)者的計(jì)算時(shí)間是100毫秒，而DataXu只需要10毫秒。

researcher 在線市場(chǎng)調(diào)研機(jī)構(gòu)ReportsnReports.com預(yù)測(cè)，實(shí)時(shí)競(jìng)價(jià)市場(chǎng)會(huì)以每年41%的概率增長(zhǎng)，到2018年，會(huì)增加到420億美元。

DataXu自然不會(huì)錯(cuò)過(guò)市場(chǎng)的增長(zhǎng)，它對(duì)Kinesis的依賴(lài)會(huì)更重。數(shù)據(jù)流經(jīng)過(guò)分析之后，會(huì)存儲(chǔ)到AWS的S3、AWS NoSQL系統(tǒng)DyanamoDB或AWS Redshift數(shù)據(jù)倉(cāng)庫(kù)中，以備之后的復(fù)雜分析。

Simmons表示：“所有的服務(wù)器日志和實(shí)時(shí)數(shù)據(jù)流都會(huì)下載到Kinesis?！绷硗?，競(jìng)價(jià)引擎的數(shù)據(jù)流允許Kinesis應(yīng)用程序查看哪些廣告成功了，哪些廣告失敗了，這能改善服務(wù)質(zhì)量，幫助DataXu在下一輪競(jìng)爭(zhēng)中占據(jù)有利位置。

Simmons再次強(qiáng)調(diào)，亞馬遜對(duì)持久性、數(shù)據(jù)可用性和吞吐性能的支持對(duì)我們來(lái)說(shuō)很重要。

手游公司Gree

Gree是一家日本手游公司，出品了Casino, Crime City, War of Nations, and Knights and Dragons等游戲。Gree副總裁兼首席架構(gòu)師Suhas Kulkani介紹了公司通過(guò)Kinesis了解玩家行為和體驗(yàn)，了解數(shù)千家玩家在游戲中的行為和他們什么時(shí)候購(gòu)買(mǎi)游戲中的設(shè)備等。

Gree在美國(guó)、加拿大和日本都設(shè)有工作室，全球有1800名員工。公司起步于電腦，但現(xiàn)在90%的用戶都來(lái)自于移動(dòng)端。它的產(chǎn)品以免費(fèi)或者1.99美元的低廉價(jià)格面向蘋(píng)果和安卓手機(jī)用戶。

Kulkani表示：“Gree的成功來(lái)自于對(duì)游戲的洞察和對(duì)游戲的優(yōu)化。什么時(shí)間適合下載，從電腦到移動(dòng)端的體驗(yàn)有什么變化，玩家對(duì)促銷(xiāo)的反應(yīng)等等，這些都體現(xiàn)在我們收集的海量信息中。

Gree想要了解新用戶是如何在游戲中交易，和如何取得進(jìn)步的。用戶對(duì)于游戲的新特點(diǎn)有什么反應(yīng)。有了這些信息，公司能提供更好的體驗(yàn)。

Kinesis玩家行為分析師介紹到，有了這些信息，Gree能更好地維持游戲的受歡迎度。Modern War這款游戲上線以及兩年了，但它仍然很受歡迎。要維持游戲的受歡迎度，我們必須妥善處理它的難度。不能太難，也不能太簡(jiǎn)單。所以，我們很希望獲得玩家的輸贏比率。這對(duì)我們維系玩家很重要。

在采用AWS之前，Gree采用的是內(nèi)部分析平臺(tái)，很難將它用于高可用、高彈性系統(tǒng)。另外，對(duì)玩家行為的分析結(jié)果，需要提供給市場(chǎng)、游戲設(shè)計(jì)等很多部門(mén)。采用了Kinesis和其他亞馬遜云服務(wù)后，這些成為了可能。

游戲崩潰經(jīng)常是因?yàn)橛螒蛟O(shè)計(jì)中的潛在bug在作祟，Kinesis的近實(shí)時(shí)數(shù)據(jù)分析能夠顯示導(dǎo)致游戲崩潰的原因。這能夠幫助游戲開(kāi)發(fā)者更好地編寫(xiě)程序，測(cè)試人員做好測(cè)試。

流音樂(lè)平臺(tái)Omnifone

Omnifone是另一個(gè)Kinesis用戶，它在自己的數(shù)據(jù)中心構(gòu)建了一套系統(tǒng)，為廣泛的流音樂(lè)消費(fèi)者提供音樂(lè)站平臺(tái)。同時(shí)它也是B2B音樂(lè)平臺(tái)供應(yīng)商，索尼、Sirius XM, Guvera, 和 Rara都是它的客戶。

Omnifone創(chuàng)始人兼首席工程師Phil Sant表示，他和合作伙伴們想要建立的是一家全球公司。索尼音樂(lè)就是Omnifone的客戶之一。如果Omnifone成為索尼流服務(wù)的供應(yīng)商，它需要再建一個(gè)數(shù)據(jù)中心作為容災(zāi)數(shù)據(jù)中心。這兩個(gè)數(shù)據(jù)中心要花費(fèi)150億美元。

在提供流音樂(lè)服務(wù)的同時(shí)再建一個(gè)數(shù)據(jù)中心無(wú)異于在飛機(jī)飛行的時(shí)候進(jìn)行修檢。2008年，Omnifone選擇了部分亞馬遜云服務(wù)作為試點(diǎn)，現(xiàn)在它使用Kinesis服務(wù)用語(yǔ)數(shù)據(jù)分析。它已經(jīng)使用了21項(xiàng)亞馬遜的云服務(wù)了。

Omnifone正在收集客戶數(shù)據(jù)，了解那種類(lèi)型的音樂(lè)受歡迎，人們?cè)谝苿?dòng)設(shè)備上喜歡聽(tīng)什么歌，音樂(lè)家如何在不同的文化環(huán)境中獲得成功，什么在世界各地都受歡迎。

Sant從自身的經(jīng)驗(yàn)總結(jié)道，企業(yè)需要給予Kinesis這樣的可擴(kuò)展的數(shù)據(jù)捕獲和分析系統(tǒng)，而不是自己構(gòu)建。你不需要自己運(yùn)行任何系統(tǒng)。本文來(lái)源：CDA數(shù)據(jù)分析師官網(wǎng)