大數(shù)據(jù)實例：高負(fù)載低延遲動態(tài)算法解析_數(shù)據(jù)分析師

通過BBVA信用卡支付的例子詳解了云計算中的低延時方案。

　　以下為文章全文：

　　使用信用卡進(jìn)行支付的款項是巨大的，但是很明顯，通過分析所有的交易，我們也可以從數(shù)據(jù)中得到內(nèi)在的價值。比如客戶忠誠度、人口統(tǒng)計數(shù)據(jù)、活動的受歡迎程度、商店的建議和許多其他的統(tǒng)計數(shù)據(jù)，這對商家和銀行來說都是非常有用的，可以改進(jìn)他們與市場的聯(lián)系。在Datasalt，我們已經(jīng)與BBVA銀行合作開發(fā)了一個系統(tǒng)，該系統(tǒng)能夠?qū)Χ嗄甑臄?shù)據(jù)進(jìn)行分析，并為網(wǎng)絡(luò)應(yīng)用程序和移動應(yīng)用程序提供不同的方案和統(tǒng)計資料。

　　我們除了需要對面處理大數(shù)據(jù)輸入這個主要挑戰(zhàn)外，還要面對大數(shù)據(jù)的輸出，甚至輸出量比輸入量還要大。并且需要在高負(fù)載下提供更快捷的輸出服務(wù)。

　　我們開發(fā)的解決方案中有一個每月只需幾千美元的基礎(chǔ)設(shè)施成本，這要感謝使用的云(AWS)、Hadoop和Voldemort。在下面的內(nèi)容中，我們將解釋所提出的架構(gòu)的主要特點。

　　數(shù)據(jù)、目標(biāo)和首要決定

　　該系統(tǒng)利用BBVA的信用卡在世界各地的商店交易信息作為輸入源的分析。很明顯，為了防止隱私問題，數(shù)據(jù)是匿名的、客觀的和分離的，信用卡號碼被切割。任何因此而產(chǎn)生的見解總是聚集，所以從中得不出任何個人信息。

　　我們計算每個店和每個不同的時間段的許多統(tǒng)計資料和數(shù)據(jù)。以下是其中的一些：

　　·每家店鋪的付款金額的直方圖

　　·客戶端的保真度

　　·客戶端人口統(tǒng)計

　　·商店的建議(在這購買的客戶還購買了……)、過濾的位置和商店類別等

　　該項目的主要目標(biāo)是通過低延遲的網(wǎng)絡(luò)和移動應(yīng)用提供所有這些信息到不同的代理(商店、客戶)。因此，一個苛刻的要求是要能夠在高負(fù)載下能夠提供亞秒級延遲的服務(wù)。因為這是一個研究項目，還需要在代碼和要求需要處理方面有一個高度的靈活性。

　　由于更新的數(shù)據(jù)只能每一次并不是一個問題，我們選擇了一個面向批處理的架構(gòu)(Hadoop)。并且我們使用Voldemort作為只讀存儲服務(wù)于Hadoop產(chǎn)生的見解，這是一個既簡單又超快的鍵/值存儲。

　　平臺

　　該系統(tǒng)以Amazon Web Services為基礎(chǔ)建立。具體地說，我們用S3來存儲原始輸入數(shù)據(jù)，用Elastic MapReduce(亞馬遜提供的Hadoop)分析，并用EC2服務(wù)于結(jié)果。使用云技術(shù)使我們能夠快速迭代和快速交付功能原型，而這正是我們需要那種項目。

　　體系架構(gòu)

　　該架構(gòu)具有三個主要部分：

　　·數(shù)據(jù)存儲：用戶保持原始數(shù)據(jù)(信用卡交易)和得到的Voldemort商店。

　　·數(shù)據(jù)處理：Hadoop的工作流程在EMR上運行，執(zhí)行所有計算并通過Voldemort創(chuàng)建所需要的數(shù)據(jù)存儲。

　　·數(shù)據(jù)服務(wù)：一個Voldemort集群從數(shù)據(jù)處理層提供預(yù)先計算好的數(shù)據(jù)。

　　每一天，銀行上傳在那一天發(fā)生的所有交易到S3上的一個文件夾中。這可以讓我們保留所有的歷史數(shù)據(jù)——每天所有的信用卡執(zhí)行的交易。所有的這些數(shù)據(jù)都被輸入處理層，所以我們每天都會重新計算一切，之后再處理這些數(shù)據(jù)，我們就能夠非常靈活。如果需求變更或如果我們找到一個愚蠢的錯誤，我們只需要在下一批中更新項目代碼和所有的固定數(shù)據(jù)就可以了。這讓我們作出了一個開發(fā)的決定：

　　·一個簡化代碼的基礎(chǔ)架構(gòu)

　　·靈活性和適應(yīng)性的變化

　　·易于操作的人為錯誤(剛剛修復(fù)的錯誤，并重新啟動的過程)

　　每天，控制器都會在EMR上啟動一個新的Hadoop集群以及啟動處理流程。這個流程由約16組MapReduce工作組成，計算各種方案。最后的一部分流程(Voldemort索引)負(fù)責(zé)構(gòu)建稍后會部署到Voldemort的數(shù)據(jù)存儲文件。一旦流程結(jié)束，得出的數(shù)據(jù)存儲文件就會上傳到S3上?？刂破麝P(guān)閉Hadoop集群，并發(fā)送一個部署請求給Voldemort。然后，Voldemort會從S3上下載新的數(shù)據(jù)存儲，并執(zhí)行一個熱交換，完全取代舊的數(shù)據(jù)。