金融大數(shù)據(jù)分析的數(shù)據(jù)分流應(yīng)用

隨著金融大數(shù)據(jù)技術(shù)應(yīng)用，以及相關(guān)業(yè)務(wù)大數(shù)據(jù)應(yīng)用不斷創(chuàng)新，金融機(jī)構(gòu)的數(shù)據(jù)分析和業(yè)務(wù)創(chuàng)新，以及數(shù)據(jù)安全如何深度融合，是當(dāng)前金融機(jī)構(gòu)信息化面臨的重要挑戰(zhàn)。

銀監(jiān)會(huì)印發(fā)《銀行業(yè)金融機(jī)構(gòu)信息系統(tǒng)風(fēng)險(xiǎn)管理指引 》(2006年)，其中第二十七條：銀行業(yè)金融機(jī)構(gòu)應(yīng)加強(qiáng)數(shù)據(jù)采集、存貯、傳輸、使用、備份、恢復(fù)、抽檢、清理、銷毀等環(huán)節(jié)的有效管理，不得脫離系統(tǒng)采集加工、傳輸、存取數(shù)據(jù);優(yōu)化系統(tǒng)和數(shù)據(jù)庫(kù)安全設(shè)置，嚴(yán)格按授權(quán)使用系統(tǒng)和數(shù)據(jù)庫(kù)，采用適當(dāng)?shù)?a href='/map/shujujiami/' style='color:#000;font-size:inherit;'>數(shù)據(jù)加密技術(shù)以保護(hù)敏感數(shù)據(jù)的傳輸和存取，保證數(shù)據(jù)的完整性、保密性。

銀監(jiān)會(huì)印發(fā)《銀行業(yè)金融機(jī)構(gòu)全面風(fēng)險(xiǎn)管理指引》(銀監(jiān)發(fā)〔2016〕44號(hào))，其中第四十三條：銀行業(yè)金融機(jī)構(gòu)應(yīng)當(dāng)建立與業(yè)務(wù)規(guī)模、風(fēng)險(xiǎn)狀況等相匹配的信息科技基礎(chǔ)設(shè)施;第四十四條 銀行業(yè)金融機(jī)構(gòu)應(yīng)當(dāng)建立健全數(shù)據(jù)質(zhì)量控制機(jī)制，積累真實(shí)、準(zhǔn)確、連續(xù)、完整的內(nèi)部和外部數(shù)據(jù)，用于風(fēng)險(xiǎn)識(shí)別、計(jì)量、評(píng)估、監(jiān)測(cè)、報(bào)告，以及資本和流動(dòng)性充足情況的評(píng)估。

從銀監(jiān)會(huì)的兩次下發(fā)指引文件要求中，我們可以看到，針對(duì)金融行業(yè)的數(shù)據(jù)分析，相對(duì)傳統(tǒng)行業(yè)，在數(shù)據(jù)的采集、存儲(chǔ)和處理過(guò)程中，在數(shù)據(jù)安全性、完整性、業(yè)務(wù)管理全面性上，有著更為嚴(yán)格的要求。

那在金融大數(shù)據(jù)技術(shù)應(yīng)用領(lǐng)域，如何更高效、安全的實(shí)現(xiàn)金融業(yè)務(wù)數(shù)據(jù)的精細(xì)化采集管理，是其中一個(gè)細(xì)分的技術(shù)領(lǐng)域，也是我們今天探討的話題。

金融業(yè)務(wù)大數(shù)據(jù)的采集管理技術(shù)需求

金融行業(yè)的信息化在眾多異構(gòu)系統(tǒng)和DT環(huán)境中，越來(lái)越重視可視化和業(yè)務(wù)關(guān)聯(lián)性，在互聯(lián)網(wǎng)化金融交易和大數(shù)據(jù)技術(shù)應(yīng)用的背景下，相關(guān)數(shù)據(jù)采集、分析的技術(shù)需求演進(jìn)出現(xiàn)了新的變化，那就是分別是分流調(diào)度管理技術(shù)和業(yè)務(wù)可視化技術(shù)。

可視化分析業(yè)務(wù)，需要采集、分析不同類別的數(shù)據(jù)，如基礎(chǔ)數(shù)據(jù)，日志數(shù)據(jù)，安全數(shù)據(jù)或特定業(yè)務(wù)數(shù)據(jù)，因此需要分門別類進(jìn)行分類調(diào)度。專業(yè)的分析應(yīng)用需要專業(yè)的設(shè)備和系統(tǒng)配合。

比如風(fēng)險(xiǎn)監(jiān)管日趨嚴(yán)謹(jǐn)，每家金融機(jī)構(gòu)對(duì)貸前風(fēng)控、貸后風(fēng)險(xiǎn)管理的重視空前提高。而通過(guò)信息化手段實(shí)現(xiàn)風(fēng)控能力上，數(shù)據(jù)準(zhǔn)確完整，算法和模型是風(fēng)控部署的核心。

現(xiàn)在的金融機(jī)構(gòu)IT架構(gòu)大多分為在線系統(tǒng)、近線系統(tǒng)與離線系統(tǒng)。在線系統(tǒng)主要面向最終用戶的交易請(qǐng)求;近線系統(tǒng)則針對(duì)一段時(shí)間內(nèi)的歷史數(shù)據(jù)進(jìn)行存放和進(jìn)行溯源查詢;而離線系統(tǒng)則對(duì)歷史時(shí)間的數(shù)據(jù)進(jìn)行歸檔，在特殊情況下會(huì)被恢復(fù)進(jìn)行使用。

隨著大數(shù)據(jù)技術(shù)的蓬勃發(fā)展，金融機(jī)構(gòu)對(duì)全量歷史數(shù)據(jù)的認(rèn)知有新的變化。如何從歷史數(shù)據(jù)中挖掘其潛在價(jià)值，如何將離線數(shù)據(jù)在線化以滿足監(jiān)管部門的需求，是很多銀行開(kāi)始利用大數(shù)據(jù)技術(shù)解決的問(wèn)題。

例如征信，銀行已經(jīng)能夠獲取社會(huì)各類有意義的信息進(jìn)行記錄，例如網(wǎng)上的各地各樓盤的房?jī)r(jià)、人行征信、法院執(zhí)行紀(jì)錄、工商局信息、企業(yè)上下游現(xiàn)金流等信息，然后通過(guò)這種信息對(duì)個(gè)人企業(yè)進(jìn)行分析對(duì)比，對(duì)超常理的數(shù)據(jù)進(jìn)行風(fēng)險(xiǎn)警告，便于審計(jì)人員快速判斷識(shí)別潛在風(fēng)險(xiǎn)。

又比如客戶的POS刷卡記錄，企業(yè)上下游流水賬單，交稅信息等等，整個(gè)可對(duì)企業(yè)進(jìn)行現(xiàn)金流測(cè)算。又或者對(duì)客戶信用卡還款時(shí)間，轉(zhuǎn)賬時(shí)間等等來(lái)判斷客戶手中現(xiàn)金或者回款時(shí)間，把推薦的理財(cái)營(yíng)銷時(shí)間推送給其客戶經(jīng)理等，實(shí)現(xiàn)真正的精準(zhǔn)營(yíng)銷。

總體來(lái)說(shuō)，金融現(xiàn)有的業(yè)務(wù)需要把數(shù)據(jù)的有效分析和靈活應(yīng)用到金融體系中去，而非空談大數(shù)據(jù)應(yīng)用。

那在大數(shù)據(jù)業(yè)務(wù)分析、內(nèi)容安全審計(jì)和業(yè)務(wù)應(yīng)用可視化的應(yīng)用中，面臨最核心問(wèn)題，那就是如何把業(yè)務(wù)流量正確、按需的方式傳遞給所需的數(shù)據(jù)分析系統(tǒng)。筆者認(rèn)為需要專業(yè)的業(yè)務(wù)流數(shù)據(jù)管理系統(tǒng)才能夠精準(zhǔn)的識(shí)別、分類和分發(fā)傳遞。

比如很多運(yùn)維日志數(shù)據(jù)是通過(guò)UDP 514傳遞的，那日志服務(wù)器不需要接受其他內(nèi)容，針對(duì)性采集即可。如交易或征信業(yè)務(wù)只需要采集數(shù)據(jù)庫(kù)的Mysql TCP 3306 和Oracle TCP 1521端口往返數(shù)據(jù)，那分析系統(tǒng)也可降低性能負(fù)載，摘取所需數(shù)據(jù)是當(dāng)前數(shù)據(jù)分析的必要措施。

另外不得不說(shuō)的是流量不少是無(wú)用的數(shù)據(jù)載荷。而常見(jiàn)的分析系統(tǒng)平臺(tái)大多為千兆速率，那么網(wǎng)絡(luò)單接口流量在萬(wàn)兆或更高流量時(shí)候，是增強(qiáng)系統(tǒng)分析系統(tǒng)的硬件配置還是通過(guò)數(shù)據(jù)裁剪方式來(lái)部署，那選擇顯而易見(jiàn)是裁剪優(yōu)化而不是升級(jí)分析平臺(tái)的硬件平臺(tái)，因?yàn)槟菍⑹歉甙旱挠布備N成本。

比如交易數(shù)據(jù)或征信數(shù)據(jù)等，可以進(jìn)行剝離掉幀頭幀尾和部分封裝協(xié)議。數(shù)據(jù)分析服務(wù)器(比如性能分析類)吞吐量較低，無(wú)法承載大流量分析能力，需要將分發(fā)流量進(jìn)行載荷截短，降低數(shù)據(jù)流量帶寬，提升服務(wù)器分析效率。

金融大數(shù)據(jù)采集分析應(yīng)用建議使用專業(yè)分流技術(shù)

上述的金融業(yè)務(wù)可視化分析以及IT系統(tǒng)環(huán)境運(yùn)維過(guò)程中問(wèn)題，是我們常見(jiàn)的數(shù)據(jù)采集、歸類、提取再分發(fā)分析的技術(shù)需求和環(huán)境。

因此在金融大數(shù)據(jù)識(shí)別、分類采集、分發(fā)存儲(chǔ)等應(yīng)用方面建議使用專業(yè)數(shù)據(jù)分流技術(shù)，因?yàn)槠湎到y(tǒng)的精細(xì)化數(shù)據(jù)流管理功能為相關(guān)業(yè)務(wù)應(yīng)用提供專業(yè)能力的保障，而這個(gè)數(shù)據(jù)分流應(yīng)用并已在諸多的行業(yè)的運(yùn)維和業(yè)務(wù)應(yīng)用可視化領(lǐng)域成熟應(yīng)用。