星環(huán)大數(shù)據(jù)助銀行數(shù)據(jù)倉(cāng)庫(kù)全面升級(jí)

去年九月，銀監(jiān)會(huì)發(fā)布了39號(hào)文，中心思想要求銀行信息技術(shù)“安全可控”。它要求2015年起，各銀行業(yè)金融機(jī)構(gòu)對(duì)安全可控信息技術(shù)的應(yīng)用以不低于15%的比例逐年增加，直至2019年達(dá)到不低于75%的總體占比。雖然沒有明確指出，但是“安全可控”的要求顯然對(duì)國(guó)產(chǎn)IT產(chǎn)品更有利。事實(shí)上，39號(hào)文提出的指導(dǎo)方向，包括“優(yōu)先選擇愿意在核心知識(shí)和關(guān)鍵技術(shù)領(lǐng)域進(jìn)行合作的機(jī)構(gòu)，避免對(duì)單一產(chǎn)品或技術(shù)的依賴，”“有序推進(jìn)整體架構(gòu)自主設(shè)計(jì)、核心應(yīng)用自主研發(fā)、核心知識(shí)自主掌握、關(guān)鍵技術(shù)自主應(yīng)用”也證實(shí)了銀監(jiān)會(huì)的態(tài)度——鼓勵(lì)銀行使用國(guó)產(chǎn)技術(shù)，國(guó)外廠商要在銀行有一席之地則必須要愿意分享核心技術(shù)。

　　現(xiàn)階段，我國(guó)銀行的IT系統(tǒng)高度依賴“IOE”(以IBM為代表的小型機(jī)，以O(shè)racle為代表的數(shù)據(jù)庫(kù)軟件、以EMC為代表的高端存儲(chǔ))等國(guó)外廠商。39號(hào)文的發(fā)布讓大家認(rèn)為銀行業(yè)的信息技術(shù)立刻就要掀起國(guó)產(chǎn)化的大浪，但是今年四月，銀監(jiān)會(huì)宣布了暫緩39號(hào)文新規(guī)的決定。這個(gè)決定并不出乎意料。首先，國(guó)外IT廠商不會(huì)對(duì)39號(hào)文新規(guī)無動(dòng)于衷。事實(shí)上，包括美國(guó)商會(huì)在內(nèi)的多個(gè)國(guó)外商業(yè)團(tuán)體向我國(guó)政府提出了抗議，聲稱新規(guī)違反了WTO承諾，干涉了商業(yè)機(jī)構(gòu)的采購(gòu)活動(dòng)。然而，對(duì)39號(hào)文新規(guī)的阻力還來自于我國(guó)銀行業(yè)本身。眾所周知，銀行業(yè)對(duì)IT系統(tǒng)的可靠性和穩(wěn)定性要求極高，系統(tǒng)故障常常意味著直接的金錢損失。所以，銀行對(duì)IT產(chǎn)品的故障抱著“零容忍”的態(tài)度。我國(guó)的信息技術(shù)因?yàn)槠鸩酵恚_實(shí)和國(guó)外還存在著差距，尤其在操作系統(tǒng)和數(shù)據(jù)庫(kù)這樣的基礎(chǔ)軟件領(lǐng)域。同時(shí)，我國(guó)的銀行業(yè)正在高速發(fā)展，不斷地推出新產(chǎn)品新服務(wù)，還要應(yīng)對(duì)互聯(lián)網(wǎng)金融等各種變化，更需要穩(wěn)定可靠的IT系統(tǒng)作為業(yè)務(wù)的保障。銀行愿意使用經(jīng)過長(zhǎng)期驗(yàn)證的“IOE”配備情有可原。在政策上要求銀行冒業(yè)務(wù)風(fēng)險(xiǎn)選用在先進(jìn)性、可靠性、穩(wěn)定性以及成熟度方面還和國(guó)外有差距的自主產(chǎn)品是不現(xiàn)實(shí)的，選用什么樣的產(chǎn)品還需要銀行依據(jù)業(yè)務(wù)情況自己來決定。

　　如此看來，我國(guó)的IT廠商似乎短期內(nèi)無法得到銀行業(yè)的青睞。然而，大數(shù)據(jù)時(shí)代的到來改變了這一格局。隨著網(wǎng)上銀行、手機(jī)銀行的發(fā)展和銀行新業(yè)務(wù)、新產(chǎn)品、新用戶的增多，銀行的數(shù)據(jù)量出現(xiàn)了爆發(fā)。數(shù)據(jù)分析的規(guī)模和復(fù)雜度都超過了傳統(tǒng)數(shù)據(jù)庫(kù)的處理能力，本應(yīng)該提供堅(jiān)實(shí)后盾的“IOE”配備在海量數(shù)據(jù)面前漸漸顯得力不從心。一天一次的常規(guī)“跑批”(批量數(shù)據(jù)計(jì)算)正在花費(fèi)越來越多的時(shí)間，面臨著無法在當(dāng)天完成的可能。為了解決這樣的問題，銀行需要對(duì)數(shù)據(jù)處理系統(tǒng)進(jìn)行升級(jí)。以“IOE”為代表的架構(gòu)采用縱向擴(kuò)展(提升單機(jī)性能)的策略來升級(jí)，單機(jī)性能不可能無限提高，這樣的策略有著顯而易見的瓶頸。而銀行的數(shù)據(jù)量每天都在增長(zhǎng)，對(duì)系統(tǒng)不斷的升級(jí)是必然的?？梢灶A(yù)見的是，在高性能端，數(shù)據(jù)處理系統(tǒng)的升級(jí)將越來越困難，同等資金換來的性能將越來越少。在這樣的情形下，銀行需要采用完全不同的數(shù)據(jù)處理技術(shù)。近年來得到長(zhǎng)足發(fā)展的大數(shù)據(jù)技術(shù)就是為了體量巨大且不斷增長(zhǎng)的數(shù)據(jù)而生的，而大數(shù)據(jù)技術(shù)就是國(guó)內(nèi)IT廠商的機(jī)會(huì)。計(jì)算機(jī)技術(shù)發(fā)展時(shí)，我國(guó)遠(yuǎn)遠(yuǎn)落在國(guó)外之后，這個(gè)差距在互聯(lián)網(wǎng)發(fā)展時(shí)已經(jīng)得到了大大縮短。今天，在大數(shù)據(jù)時(shí)代的開端，我國(guó)已經(jīng)有了不輸國(guó)外的經(jīng)濟(jì)土壤、政策環(huán)境和人才儲(chǔ)備，國(guó)外的技術(shù)不再有不可望其項(xiàng)背的優(yōu)勢(shì)。事實(shí)上，我國(guó)已經(jīng)有了性能比肩甚至超越硅谷同行的大數(shù)據(jù)產(chǎn)品。

　　日前，某全國(guó)性股份制商業(yè)銀行便面臨著將數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)從傳統(tǒng)數(shù)據(jù)庫(kù)遷移到大數(shù)據(jù)平臺(tái)的任務(wù)。在大數(shù)據(jù)平臺(tái)的選擇上，該銀行進(jìn)行了多方考量。該銀行的首要目標(biāo)是解決現(xiàn)有數(shù)據(jù)庫(kù)處理能力不足的問題。所以，采購(gòu)的大數(shù)據(jù)平臺(tái)必須有極強(qiáng)的數(shù)據(jù)處理能力，它需要能夠輕松應(yīng)對(duì)涉及超寬表(寬度在幾萬字節(jié))、多張表(多達(dá)幾十張)的關(guān)聯(lián)和聚合，需要能夠快速地完成銀行每天TB級(jí)別數(shù)據(jù)量的分析。第二，該銀行原先使用Oracle數(shù)據(jù)庫(kù)，所以業(yè)務(wù)邏輯由SQL和和Oracle的過程語(yǔ)言PL/SQL寫就，這也是銀行的分析人員最熟悉的數(shù)據(jù)分析語(yǔ)言。所以，大數(shù)據(jù)平臺(tái)需要提供SQL和PL/SQL的支持，以便銀行將分析業(yè)務(wù)直接遷移到新的平臺(tái)運(yùn)行，否則，銀行將需要對(duì)業(yè)務(wù)進(jìn)行大量改寫，銀行員工也需要重新學(xué)習(xí)和適應(yīng)，遷移成本過高。第三，大數(shù)據(jù)平臺(tái)需要良好的擴(kuò)展性。銀行的數(shù)據(jù)還在快速增長(zhǎng)中，可預(yù)見的是，銀行需要對(duì)數(shù)據(jù)處理系統(tǒng)進(jìn)行進(jìn)一步的擴(kuò)容和處理能力的升級(jí)。銀行要求采購(gòu)的大數(shù)據(jù)平臺(tái)的存儲(chǔ)和計(jì)算能力能夠方便地?cái)U(kuò)展，為未來更大的數(shù)據(jù)量做好準(zhǔn)備。該銀行對(duì)市場(chǎng)上常見的大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品的可用性、架構(gòu)優(yōu)勢(shì)和平臺(tái)依賴性三個(gè)方面就銀行的數(shù)據(jù)倉(cāng)庫(kù)場(chǎng)景——數(shù)據(jù)量在TB級(jí)別的分析場(chǎng)景——進(jìn)行了調(diào)研?？捎眯缘膬?nèi)容包括對(duì)SQL和PL/SQL的支持以及是否有界面化的運(yùn)維工具。架構(gòu)優(yōu)勢(shì)的內(nèi)容包括產(chǎn)品的擴(kuò)展性、性能和容錯(cuò)性。平臺(tái)依賴性描述該產(chǎn)品是否必須在特殊的硬件設(shè)備上運(yùn)行。

　　調(diào)研中，銀行發(fā)現(xiàn)，主流大數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)各有其優(yōu)勢(shì)和劣勢(shì)，不依賴平臺(tái)(可以部署在通用商業(yè)服務(wù)器上)的產(chǎn)品可用性和架構(gòu)優(yōu)勢(shì)往往較低。而可用性高而架構(gòu)優(yōu)勢(shì)明顯的產(chǎn)品往往對(duì)平臺(tái)依賴較高，必須使用自有的小型機(jī)或者一體機(jī)，直接導(dǎo)致硬件成本高昂。經(jīng)過多方調(diào)研和全面測(cè)試，銀行選擇了具有綜合優(yōu)勢(shì)的Transwarp Inceptor，它是上海星環(huán)科技開發(fā)的Transwarp Data Hub(TDH)分布式一站式大數(shù)據(jù)處理平臺(tái)下的交互式內(nèi)存分析引擎，具有高可用性和明顯的架構(gòu)優(yōu)勢(shì)，同時(shí)不依賴特殊平臺(tái)，可以直接部署在商用服務(wù)器上。產(chǎn)品雖然年輕，但是在交通、物流、電 信、能源等行業(yè)已經(jīng)有很多落地案例，經(jīng)過了大量的驗(yàn)證，加上在測(cè)試中穩(wěn)定而出色的表現(xiàn)，打消了該銀行對(duì)國(guó)產(chǎn)IT產(chǎn)品可靠性、穩(wěn)定性方面的擔(dān)憂。

　　1. 使用TDH下的交互式SQL分析引擎Transwarp Inceptor支持銀行的數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)。Transwarp Inceptor全面支持SQL2003，且支持80%的PL/SQL語(yǔ)法，經(jīng)測(cè)試，Transwarp Inceptor 100%支持該銀行數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)，銀行的數(shù)據(jù)分析任務(wù)不需要經(jīng)過改寫便可輕松遷移至TDH平臺(tái)。

　　2. Transwarp Inceptor采用分布式內(nèi)存計(jì)算方式，將涉及海量數(shù)據(jù)的復(fù)雜任務(wù)分割成小任務(wù)交給多臺(tái)機(jī)器同時(shí)處理，加快計(jì)算速度。同時(shí)，Transwarp Inceptor將計(jì)算中間結(jié)果放在內(nèi)存中，利用內(nèi)存的高速隨機(jī)讀寫進(jìn)一步提升計(jì)算速度。TDH平臺(tái)處理銀行的數(shù)據(jù)倉(cāng)庫(kù)業(yè)務(wù)相對(duì)于銀行原系統(tǒng)速度有了十幾倍的提高，使銀行可以輕松完成每天的分析任務(wù)。

　　3. 不同于傳統(tǒng)數(shù)據(jù)庫(kù)的縱向擴(kuò)展策略，TDH采用向計(jì)算集群添加服務(wù)器的方式來橫向擴(kuò)展處理能力，這樣的策略保證投入和處理能力的提升是線性關(guān)系——多少投入就帶來多少提升。橫向擴(kuò)展的策略讓TDH的擴(kuò)展性極佳，可以無限提升存儲(chǔ)和計(jì)算能力。

　　錦上添花的是TDH計(jì)算集群無須超高性能的服務(wù)器，經(jīng)濟(jì)的通用服務(wù)器便可以用于搭建TDH集群，使得TDH解決方案具有極高的性價(jià)比。而且TDH配備的JDBC接口完美對(duì)接上層報(bào)表系統(tǒng)，銀行的數(shù)據(jù)分析人員只需按照以往的工作習(xí)慣繼續(xù)使用上層應(yīng)用，無需重新適應(yīng)新的系統(tǒng)。下面是一張貸款銷售分析截圖：

　　該銀行在業(yè)務(wù)中對(duì)一家國(guó)內(nèi)廠商產(chǎn)品的選擇無疑是對(duì)國(guó)產(chǎn)信息技術(shù)的鼓勵(lì)，更值得一提的是這個(gè)選擇并不是政策要求的，而是基于業(yè)務(wù)的需求和產(chǎn)品的先進(jìn)性做出的。幾年前，國(guó)產(chǎn)的個(gè)人IT產(chǎn)品還僅僅是“廉價(jià)低質(zhì)量”的代名詞?，F(xiàn)在，聯(lián)想、小米、華為等品牌不僅被國(guó)人青睞，還在世界范圍內(nèi)廣受歡迎。這些品牌的成功不在于政策的扶持，而是真正做出了客戶需要的產(chǎn)品。在企業(yè)級(jí)的IT產(chǎn)品上，國(guó)產(chǎn)廠商和國(guó)外廠商雖然還有一定差距，但是在技術(shù)不斷革新的今天，這個(gè)差距在不斷縮短。相信我國(guó)會(huì)有越來越多的企業(yè)級(jí)IT廠商做出客戶需要的優(yōu)秀產(chǎn)品，躋身世界一流的行列。