大數(shù)據(jù)時代對傳統(tǒng)數(shù)據(jù)倉庫的五點思考

在文思海輝金融商業(yè)智能解決方案研討會上文思海輝副總裁賈丕星表示，文思海輝的商業(yè)智能團(tuán)隊已經(jīng)發(fā)展到452人的規(guī)模，并且隨著國內(nèi)銀行商業(yè)智能領(lǐng)域發(fā)展，還在逐步完善解決方案和擴(kuò)大團(tuán)隊。

　　賈丕星指出，現(xiàn)階段銀行商業(yè)體系是基石，把數(shù)據(jù)做有效的存儲，以及好的管理，未來商業(yè)智能領(lǐng)域會發(fā)展的很好。未來三五年之內(nèi)這仍然是文思海輝解決方案的核心。

　　“小數(shù)據(jù)和大數(shù)據(jù)在銀行業(yè)里更多是互為補(bǔ)充而不是替代。小數(shù)據(jù)比較簡單，有比較成熟的技術(shù)應(yīng)對。大數(shù)據(jù)更多的是理念優(yōu)先，其一個典型特征是價值密度較低，這也是大數(shù)據(jù)帶來的思考。”

　　賈丕星認(rèn)為，銀行思考大數(shù)據(jù)更多的需要考慮你具備什么條件讓客戶產(chǎn)生的大數(shù)據(jù)自動的流向銀行。文思海輝在大數(shù)據(jù)領(lǐng)域仍然保持和合作伙伴廠商緊密接觸。像IBM、BMC、Oracle每一家對大數(shù)據(jù)的理解其實是有差異的，而且差異非常大。

　　賈丕星指出了大數(shù)據(jù)時代針對傳統(tǒng)數(shù)據(jù)倉庫的思考，其中包括不要因為大數(shù)據(jù)擾亂我們的原則、規(guī)劃、節(jié)奏;技術(shù)和平臺已經(jīng)不是我們關(guān)注的重點;原則和架構(gòu)在“以不變應(yīng)萬變”中顯得尤為重要;正確的方法論、管控的水平?jīng)Q定了質(zhì)量;引導(dǎo)客戶主動的“分析探索”是永恒的話題;

　　以下為演講實錄：

　　大家知道文思和海輝是去年年底合并的，從集團(tuán)研發(fā)對我們支持角度來說：第一點祥麟給了我們一個很好的技術(shù)規(guī)劃體系。第二個是智慧金融這個概念，把所有金融事業(yè)群解決方案有效整合在一起。形成應(yīng)對未來銀行業(yè)務(wù)發(fā)展很好的體系。從這兩個角度來說，給了整個商業(yè)智能部這邊很大的支持。

　　今天我講的是數(shù)據(jù)倉庫的概念。我們這個團(tuán)隊跟大家認(rèn)識都是從數(shù)據(jù)倉庫這個角度跟大家相識的。我們這個團(tuán)隊一直被認(rèn)為是業(yè)內(nèi)做商業(yè)智能做的比較久，相對來說比較專業(yè)的團(tuán)隊。每年我基本都講第一場，對我來說也是一個很大的挑戰(zhàn)。每年都想講一點我這一年多的新的體會和感受跟大家分享。今天講什么呢？前段時間我在外面講的更多的是從小數(shù)據(jù)角度看大數(shù)據(jù)，大數(shù)據(jù)現(xiàn)在提的越來越多，小數(shù)據(jù)從另外一個角度理解它，它種類比較單一但是業(yè)務(wù)種類并不單一;第二它量比較小，大數(shù)據(jù)量可以很大。

　　大數(shù)據(jù)的年代里，真正的數(shù)據(jù)倉庫應(yīng)該如何規(guī)劃建設(shè)？我們今年也有自己更多的思考和體會。講這個之前，我還是把團(tuán)隊的情況給大家做一個簡單回顧。在各位新老客戶支持下，我們商業(yè)智能團(tuán)隊從去年300多人，現(xiàn)在已經(jīng)發(fā)展到452人的規(guī)模。我們跟隨著國內(nèi)銀行商業(yè)智能領(lǐng)域發(fā)展，在逐步完善我們的解決方案和擴(kuò)大我們的團(tuán)隊。我們團(tuán)隊主要分布在華東、華北、華南三個區(qū)域。跟隨著客戶在成長，我們有越來越多的新的解決方案和原有解決方案的優(yōu)化在不斷的推出。

　　我們傳統(tǒng)的優(yōu)勢就是數(shù)據(jù)倉庫和數(shù)據(jù)管控，這兩個方面會放在今天上午跟大家分享?，F(xiàn)階段銀行商業(yè)智能體系的基石，還是把數(shù)據(jù)做有效的存儲和更好的管理，這個領(lǐng)域未來三五年之內(nèi)這仍然是我們解決方案的核心。

　　團(tuán)隊為什么會有所成長？跟我們自己承接了更多的項目有關(guān)。在過去兩年，所有業(yè)內(nèi)資產(chǎn)排名前20位銀行里，新啟動五個數(shù)據(jù)倉庫都是由我們團(tuán)隊承接的。正是有這樣好的項目機(jī)會讓你的團(tuán)隊有成長，解決方案不斷的優(yōu)化。

　　我今天既看到了特別支持我們的長期的老客戶，也看到我們未來有合作機(jī)會的新客戶。這是我們近期拿下來的國內(nèi)一個大型股份制銀行的數(shù)據(jù)架構(gòu)規(guī)劃和數(shù)據(jù)倉庫規(guī)劃咨詢項目。這個項目有很大的挑戰(zhàn)，客戶需要對他們管理信息類的系統(tǒng)進(jìn)行全面的梳理，我們也對過去5年我們的積累進(jìn)行總結(jié)，這是很好的結(jié)合。數(shù)據(jù)倉庫只靠一個EDW發(fā)揮不了太多的作用，更多的是規(guī)劃的角度，圍繞從數(shù)據(jù)的產(chǎn)生、交換、存儲、使用，由數(shù)據(jù)轉(zhuǎn)成業(yè)務(wù)價值的全過程。這個是我們更愿意看到的東西。我們不希望大家理解的BI僅僅是一個平臺，存儲了企業(yè)里面有效、無效所有的信息，這個沒意思。有意思是的通過價值體系的打造讓它更好的發(fā)揮價值。

　　說到這點，結(jié)合今天題目去談，就是小數(shù)據(jù)和大數(shù)據(jù)的概念。我從不覺得大數(shù)據(jù)是新的有震撼力的東西，但是它確實給我們帶來了轉(zhuǎn)變。我個人理解它們兩個沒有什么所謂替代形成，特別是銀行業(yè)里面，更多的是互為補(bǔ)充。

　　從另外一個角度來講，小數(shù)據(jù)比較簡單，有比較成熟的技術(shù)應(yīng)對它。大數(shù)據(jù)是多種類型數(shù)據(jù)的組成，需要使用多種技術(shù)對待它。比如說圖像、視頻、文檔。每一個識別和監(jiān)測它的手段和方法是不一樣的。另外大數(shù)據(jù)更多的是理念優(yōu)先，它在銀行里到底能發(fā)揮什么價值？另外大數(shù)據(jù)我們會說它一個比較典型的特征，它的價值密度很低。那么反回來思考，把大量數(shù)據(jù)存下來再去做統(tǒng)計分析有意義和價值嗎？還是通過實時處理的技術(shù)把沒價值的東西篩掉，再利用有價值的做結(jié)構(gòu)化的關(guān)聯(lián)分析？這就是大數(shù)據(jù)給我們帶來的思考。

　　銀行思考大數(shù)據(jù)，更多的需要考慮你具備什么條件讓客戶產(chǎn)生的大數(shù)據(jù)自動的流向銀行？銀行獲取大數(shù)據(jù)方式可能跟傳統(tǒng)的物聯(lián)網(wǎng)行業(yè)不太一樣。銀行對待大數(shù)據(jù)的時候更多的考慮是銀行有什么類型的大數(shù)據(jù)？從銀行統(tǒng)計應(yīng)用角度來說有什么價值？我們是實施商，我們在大數(shù)據(jù)領(lǐng)域仍然保持跟我們的合作伙伴廠商的緊密接觸。我們從去年和前年就開始跟我們合作緊密的像IBM、BMC、Oracle的大數(shù)據(jù)廠商進(jìn)行緊密的溝通和跟進(jìn)。我們看怎么更他們更好的結(jié)合去為銀行提供更好的服務(wù)。但是我們發(fā)現(xiàn)每家廠商對大數(shù)據(jù)的解讀其實是有差異的。 比如說EMC的HAWQ技術(shù)路線適合銀行嗎？因為我們知道HDFS底層數(shù)據(jù)存儲和關(guān)系數(shù)據(jù)的底層數(shù)據(jù)有本質(zhì)的區(qū)別。但是它有它的應(yīng)用場景，比如互聯(lián)網(wǎng)和電商類。Teradata的大數(shù)據(jù)技術(shù)路線中重點突出基于MR的Aster，它可能也只是適合一定的場景。所以讓我們看到一個特點是百花齊放，大家各有各的發(fā)展思路。在原有的基礎(chǔ)上在怎么更好的綁定客戶，每家策略不一樣。 但是銀行一定要選擇適合自己的。

　　銀行大數(shù)據(jù)在典型應(yīng)用場景分析有哪些呢，無非就是三種類型：外部互聯(lián)網(wǎng)信息、輿情分析;是銀行確實能夠通過各種手段找到外部的一些信息，互聯(lián)網(wǎng)的評價、社交媒體和論壇里面的發(fā)言，它關(guān)注到銀行或者關(guān)注到了銀行客戶。這種信息是一種非嚴(yán)謹(jǐn)?shù)墨@取方式，也是一種特別嚴(yán)謹(jǐn)?shù)?a href='/map/juecefenxi/' style='color:#000;font-size:inherit;'>決策分析的補(bǔ)充。

　　銀行自身非結(jié)構(gòu)化數(shù)據(jù)信息：就是銀行自身有大量非結(jié)構(gòu)化信息體現(xiàn)在網(wǎng)銀和呼叫中心的語音，這些信息是不是大規(guī)模的做分析？我建議的方式是嘗試。因為傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)或者分析技術(shù)并沒有讓你在業(yè)務(wù)決策分析里面發(fā)揮到極至。我們一定要做更多的嘗試，引導(dǎo)我們?nèi)ンw驗大數(shù)據(jù)的場景。銀行自身結(jié)構(gòu)化數(shù)據(jù)歷史歸檔和查詢訪問。這三個方面是我們跟銀行探討更多的，大數(shù)據(jù)在銀行的應(yīng)用場景。