大數(shù)據(jù)在金融行業(yè)的應(yīng)用與挑戰(zhàn)

A    具有四大基本特征

金融業(yè)基本是全世界各個(gè)行業(yè)中最依賴于數(shù)據(jù)的，而且最容易實(shí)現(xiàn)數(shù)據(jù)的變現(xiàn)。全球最大的金融數(shù)據(jù)公司Bloomberg在1981年成立時(shí)“大數(shù)據(jù)”概念還沒有出現(xiàn)。Bloomberg的最初產(chǎn)品是投資市場(chǎng)系統(tǒng)（IMS），主要向各類投資者提供實(shí)時(shí)數(shù)據(jù)、財(cái)務(wù)分析等。

隨著信息時(shí)代降臨，1983年估值僅1億美元的Bloomberg以30%股份的代價(jià)換取美林3000萬美元投資，先后推出Bloomberg Terminal、News、Radio、TV等各類產(chǎn)品。1996年Bloomberg身價(jià)已達(dá)20億美元，并以2億美元從美林回購了10%的股份。2004年Bloomberg在紐約曼哈頓中心建成246米摩天高樓。到2008年次貸危機(jī)，美林面臨崩盤，其剩余20%的Bloomberg股份成為救命稻草。Bloomberg趁美林之危贖回所有股份，估值躍升至225億美元。2016年Bloomberg全球布局192個(gè)辦公室，擁有1.5萬名員工，年收入約100億美元，估值約1000億美元，超過同年市值為650億美元的華爾街標(biāo)桿高盛。

大數(shù)據(jù)概念形成于2000年前后，最初被定義為海量數(shù)據(jù)的集合。2011年，美國麥肯錫公司在《大數(shù)據(jù)的下一個(gè)前沿：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力》報(bào)告中最早提出：大數(shù)據(jù)指大小超出典型數(shù)據(jù)庫軟件工具收集、存儲(chǔ)、管理和分析能力的數(shù)據(jù)集。

具體來說，大數(shù)據(jù)具有四大基本特征：

一是數(shù)據(jù)體量大，指代大型數(shù)據(jù)集，一般在10TB規(guī)模左右，但在實(shí)際應(yīng)用中，很多企業(yè)用戶把多個(gè)數(shù)據(jù)集放在一起，已經(jīng)形成了PB級(jí)的數(shù)據(jù)量。

二是數(shù)據(jù)類別大，數(shù)據(jù)來自多種數(shù)據(jù)源，數(shù)據(jù)種類和格式日漸豐富，已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)?，F(xiàn)在的數(shù)據(jù)類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數(shù)據(jù)。

三是處理速度快，在數(shù)據(jù)量非常龐大的情況下，也能夠做到數(shù)據(jù)的實(shí)時(shí)處理。數(shù)據(jù)處理遵循“1秒定律”，可從各種類型的數(shù)據(jù)中快速獲得高價(jià)值的信息。

四是數(shù)據(jù)的真實(shí)性高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起，傳統(tǒng)數(shù)據(jù)源的局限被打破，信息的真實(shí)性和安全性顯得極其重要。

而相比其他行業(yè)，金融數(shù)據(jù)邏輯關(guān)系緊密，安全性、穩(wěn)定性和實(shí)時(shí)性要求更高，通常包含以下關(guān)鍵技術(shù)：數(shù)據(jù)分析，包括數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能等，主要用于客戶信用、聚類、特征、營銷、產(chǎn)品關(guān)聯(lián)分析等；數(shù)據(jù)管理，包括關(guān)系型和非關(guān)系型數(shù)據(jù)、融合集成、數(shù)據(jù)抽取、數(shù)據(jù)清洗和轉(zhuǎn)換等；數(shù)據(jù)使用，包括分布式計(jì)算、內(nèi)存計(jì)算、云計(jì)算、流處理、任務(wù)配置等；數(shù)據(jù)展示，包括可視化、歷史流及空間信息流展示等，主要應(yīng)用于對(duì)金融產(chǎn)品健康度、產(chǎn)品發(fā)展趨勢(shì)、客戶價(jià)值變化、反洗錢反欺詐等監(jiān)控和預(yù)警。

B    重塑金融行業(yè)競(jìng)爭(zhēng)新格局

“互聯(lián)網(wǎng)+”之后，隨著世界正快速興起“大數(shù)據(jù)+”，金融行業(yè)悄然出現(xiàn)以下變化：

大數(shù)據(jù)特征從傳統(tǒng)數(shù)據(jù)的“3個(gè)V”增加到“5個(gè)V”。在數(shù)量（Volume）、速度（Velocity）、種類（Variety）基礎(chǔ)上，進(jìn)一步完善了價(jià)值（Value）和真實(shí)性（Veracity），真實(shí)性包括數(shù)據(jù)的可信性、來源和信譽(yù)、有效性和可審計(jì)性等。

金融業(yè)按經(jīng)營產(chǎn)品分類變?yōu)榘催\(yùn)營模式分類。傳統(tǒng)金融業(yè)按經(jīng)營產(chǎn)品劃分為銀行、證券、期貨、保險(xiǎn)、基金五類，隨著大數(shù)據(jù)產(chǎn)業(yè)興起和混業(yè)經(jīng)營的發(fā)展，現(xiàn)代金融業(yè)按運(yùn)營模式劃分為存貸款類、投資類、保險(xiǎn)類三大類別。

大數(shù)據(jù)市場(chǎng)從壟斷演變?yōu)槌浞质袌?chǎng)競(jìng)爭(zhēng)。全球大數(shù)據(jù)市場(chǎng)企業(yè)數(shù)量迅速增多，產(chǎn)品和服務(wù)的差異增大，技術(shù)門檻逐步降低，市場(chǎng)競(jìng)爭(zhēng)日益激烈。行業(yè)解決方案、計(jì)算分析服務(wù)、存儲(chǔ)服務(wù)、數(shù)據(jù)庫服務(wù)和大數(shù)據(jù)應(yīng)用成為市場(chǎng)份額排名最靠前的五大細(xì)分市場(chǎng)。

大數(shù)據(jù)形成新的經(jīng)濟(jì)增長點(diǎn)。Wikibon數(shù)據(jù)顯示，2016年，全球大數(shù)據(jù)硬件、軟件和服務(wù)整體市場(chǎng)增長22%達(dá)到281億美元，預(yù)計(jì)到2027年，全球在大數(shù)據(jù)硬件、軟件和服務(wù)上的整體開支的復(fù)合年增長率為12%，將達(dá)到大約970億美元。

數(shù)據(jù)和IT技術(shù)替代“重復(fù)性”業(yè)務(wù)崗位。數(shù)據(jù)服務(wù)公司Eurekahedge通過追蹤23家對(duì)沖基金，發(fā)現(xiàn)5位對(duì)沖基金經(jīng)理薪金總額為10億美元甚至更高。過去10年，靠數(shù)學(xué)模型分析金融市場(chǎng)的物理學(xué)家和數(shù)學(xué)家“寬客”一直是對(duì)沖基金的寵兒，其實(shí)大數(shù)據(jù)+人工智能更精于此道。高盛的紐約股票現(xiàn)金交易部門2000年有600名交易員而如今只剩兩人，其任務(wù)全由機(jī)器包辦，專家稱10年后高盛員工肯定比今天還要少。

美國大數(shù)據(jù)發(fā)展走在全球前列。美國政府宣稱：“數(shù)據(jù)是一項(xiàng)有價(jià)值的國家資本，應(yīng)對(duì)公眾開放，而不是將其禁錮在政府體制內(nèi)?！弊鳛榇髷?shù)據(jù)的策源地和創(chuàng)新引領(lǐng)者，美國大數(shù)據(jù)發(fā)展一直走在全球最前列。自20世紀(jì)以來，美國先后出臺(tái)系列法規(guī)，對(duì)數(shù)據(jù)的收集、發(fā)布、使用和管理等做出具體的規(guī)定。2009年，美國政府推出Data.gov政府?dāng)?shù)據(jù)開放平臺(tái)，方便應(yīng)用領(lǐng)域的開發(fā)者利用平臺(tái)開發(fā)應(yīng)用程序，滿足公共需求或創(chuàng)新創(chuàng)業(yè)。2010年，美國國會(huì)通過更新法案，進(jìn)一步提高了數(shù)據(jù)采集精度和上報(bào)頻度。2012年3月，奧巴馬政府推出《大數(shù)據(jù)研究與開發(fā)計(jì)劃》，大數(shù)據(jù)迎來新一輪高速發(fā)展。

英國是歐洲金融中心，大數(shù)據(jù)成為其領(lǐng)先科技之一。2013年，英國投資1.89億英鎊發(fā)展大數(shù)據(jù)。2015年，新增7300萬英鎊，創(chuàng)建了“英國數(shù)據(jù)銀行”data.gov.uk網(wǎng)站。2016年，倫敦舉辦了超過22000場(chǎng)科技活動(dòng)，同年，英國數(shù)字科技投資逾68億英鎊，而收入則超過1700億英鎊。另外，英國統(tǒng)計(jì)局利用政府資源開展“虛擬人口普查”，僅此一項(xiàng)每年節(jié)省5億英鎊經(jīng)費(fèi)。

C    打造高效金融監(jiān)管體系

大數(shù)據(jù)用已發(fā)生的總體行為模式和關(guān)聯(lián)邏輯預(yù)測(cè)未來，決策未來,作為現(xiàn)代數(shù)字科技的核心，其靈魂就是——預(yù)測(cè)。

偵測(cè)、打擊逃稅、洗錢與金融詐騙

全球每年因欺詐造成的經(jīng)濟(jì)損失約3.7萬億美元，企業(yè)因欺詐受損通常為年?duì)I收額的5%。全球最大軟件公司之一美國SAS公司與稅務(wù)、海關(guān)等政府部門和全球各國銀行、保險(xiǎn)、醫(yī)療保健等機(jī)構(gòu)合作，有效應(yīng)對(duì)日益復(fù)雜化的金融犯罪行為。如在發(fā)放許可之前，通過預(yù)先的數(shù)據(jù)分析檢測(cè)客戶是否有過行受賄、欺詐等前科，再確定是否發(fā)放借貸或海關(guān)通關(guān)。SAS開發(fā)的系統(tǒng)已被國際公認(rèn)為統(tǒng)計(jì)分析的標(biāo)準(zhǔn)軟件，在各領(lǐng)域廣泛應(yīng)用。英國政府利用大數(shù)據(jù)檢測(cè)行為模式檢索出200億英鎊的逃稅與詐騙，追回了數(shù)十億美元損失。被福布斯評(píng)為美國最佳銀行的德克薩斯資本銀行（TCBank），不斷投資大數(shù)據(jù)技術(shù)，反金融犯罪系統(tǒng)與銀行發(fā)展同步，近3年資產(chǎn)從90億美元增至210億美元。荷蘭第三大人壽保險(xiǎn)公司CZ依靠大數(shù)據(jù)對(duì)騙保和虛假索賠行為進(jìn)行偵測(cè)，在支付賠償金之前先期阻斷，有效減少了欺詐發(fā)生后的司法補(bǔ)救。

大數(shù)據(jù)風(fēng)控建立客戶信用評(píng)分、監(jiān)測(cè)對(duì)照體系

美國注冊(cè)舞弊審核師協(xié)會(huì)（ACFE）統(tǒng)計(jì)發(fā)現(xiàn)，缺乏反欺詐控制的企業(yè)會(huì)遭受高額損失。美國主流個(gè)人信用評(píng)分工具FICO能自動(dòng)將借款人的歷史資料與數(shù)據(jù)庫中全體借款人總體信用習(xí)慣相比較，預(yù)測(cè)借款人行為趨勢(shì)，評(píng)估其與各類不良借款人之間的相似度。美國SAS公司則通過集中瀏覽和分析評(píng)估客戶銀行賬戶的基本信息、歷史行為模式、正在發(fā)生行為模式（如轉(zhuǎn)賬）等，結(jié)合智能規(guī)則引擎（如搜索到該客戶從新出現(xiàn)的國家為特有用戶轉(zhuǎn)賬，或在新位置在線交易等），進(jìn)行實(shí)時(shí)反欺詐分析。

美國一家互聯(lián)網(wǎng)信用評(píng)估機(jī)構(gòu)通過分析客戶在Facebook、Twitter等社交平臺(tái)留下的信息，對(duì)銀行的信貸和投保申請(qǐng)客戶進(jìn)行風(fēng)險(xiǎn)評(píng)估，并將結(jié)果出售給銀行、保險(xiǎn)公司等，成為多家金融機(jī)構(gòu)的合作伙伴。

D    數(shù)據(jù)整合困難

應(yīng)用經(jīng)濟(jì)指標(biāo)預(yù)測(cè)系統(tǒng)分析市場(chǎng)走勢(shì)

IBM使用大數(shù)據(jù)信息技術(shù)成功開發(fā)了“經(jīng)濟(jì)指標(biāo)預(yù)測(cè)系統(tǒng)”，該系統(tǒng)基于單體數(shù)據(jù)進(jìn)行提煉整合，通過搜索、統(tǒng)計(jì)、分析新聞中出現(xiàn)的“新訂單”等與股價(jià)指標(biāo)有關(guān)的單詞來預(yù)測(cè)走勢(shì)，然后結(jié)合其他相關(guān)經(jīng)濟(jì)數(shù)據(jù)、歷史數(shù)據(jù)分析其與股價(jià)的關(guān)系，從而得出行情預(yù)測(cè)結(jié)果。

追蹤社交媒體上的海量信息評(píng)估行情變化

當(dāng)今搜索引擎、社交網(wǎng)絡(luò)和智能手機(jī)上的微博、微信、論壇、新聞評(píng)論、電商平臺(tái)等每天生成幾百億甚至千億條文本、音像、視頻、數(shù)據(jù)等，涵蓋廠商動(dòng)態(tài)、個(gè)人情緒、行業(yè)資訊、產(chǎn)品體驗(yàn)、商品瀏覽和成交記錄、價(jià)格走勢(shì)等，蘊(yùn)含巨大財(cái)富價(jià)值。

2011年5月，規(guī)模為4000萬美元的英國對(duì)沖基金DC Markets，通過大數(shù)據(jù)分析Twitter的信息內(nèi)容來感知市場(chǎng)情緒指導(dǎo)投資，首月盈利并以1.85%的收益率一舉戰(zhàn)勝其他對(duì)沖基金僅0.76%的平均收益率。

美國佩斯大學(xué)一位博士則利用大數(shù)據(jù)追蹤星巴克、可口可樂和耐克公司在社交媒體的圍觀程度對(duì)比其股價(jià)，證明Facebook、Twitter和 Youtube上的粉絲數(shù)與股價(jià)密切相關(guān)。

提供廣泛的投資選擇和交易切換

日本個(gè)人投資理財(cái)產(chǎn)品Money Design在應(yīng)用程序Theo中使用算法+人工智能，最低門檻924美元，用戶只需回答風(fēng)險(xiǎn)承受水平、退休計(jì)劃等9個(gè)問題，就可使用35種不同貨幣對(duì)65個(gè)國家的1.19萬只股票進(jìn)行交易和切換，年度管理費(fèi)僅1%。Money Design還能根據(jù)用戶投資目標(biāo)自動(dòng)平衡其賬戶金額，預(yù)計(jì)2020年將超過2萬億美元投資該類產(chǎn)品。

利用云端數(shù)據(jù)庫為客戶提供記賬服務(wù)

日本財(cái)富管理工具商Money Forward提供云基礎(chǔ)記賬服務(wù)，可管理工資、收付款、寄送發(fā)票賬單、針對(duì)性推送理財(cái)新項(xiàng)目等，其軟件系統(tǒng)連接并整合了2580家各類金融機(jī)構(gòu)的各類型帳戶，運(yùn)用大數(shù)據(jù)分析的智能儀表盤顯示用戶當(dāng)前財(cái)富狀況，還能分析用戶以往的數(shù)據(jù)以預(yù)測(cè)未來的金融軌跡。目前其已擁有50萬商家和350萬個(gè)體用戶，并與市值2.5萬億美元的山口金融集團(tuán)聯(lián)合開發(fā)新一款A(yù)PP。

為客戶定制差異化產(chǎn)品和營銷方案

金融機(jī)構(gòu)迫切需要掌握更多用戶信息，繼而構(gòu)建用戶360度立體畫像，從而對(duì)細(xì)分客戶進(jìn)行精準(zhǔn)營銷、實(shí)時(shí)營銷、智慧營銷。

一些海外銀行圍繞客戶“人生大事”，分析推算出大致生活節(jié)點(diǎn)，有效激發(fā)其對(duì)高價(jià)值金融產(chǎn)品的購買意愿。如一家澳大利亞銀行通過大數(shù)據(jù)分析發(fā)現(xiàn)，家中即將誕生嬰兒的客戶對(duì)壽險(xiǎn)產(chǎn)品的潛在需求最大，于是通過銀行卡數(shù)據(jù)監(jiān)控準(zhǔn)媽媽開始購買保胎藥品和嬰兒相關(guān)產(chǎn)品等現(xiàn)象，識(shí)別出即將添丁的家庭，精準(zhǔn)推出定制化金融產(chǎn)品套餐，受到了客戶的積極響應(yīng)，相比傳統(tǒng)的短信群發(fā)模式大幅提高了成功率。

催生并支撐人工智能交易

“量化投資之王”西蒙斯被公認(rèn)為是最能賺錢的基金經(jīng)理人，自1988年創(chuàng)立文藝復(fù)興科技公司的旗艦產(chǎn)品——大獎(jiǎng)?wù)禄鹨詠恚鋺{借不斷更新完善的大數(shù)據(jù)分析系統(tǒng)，20年中創(chuàng)造出35%的年均凈回報(bào)率，比索羅斯同期高10%，比股神巴菲特同期高18%，成為有史以來最成功的對(duì)沖基金，并于1993年基金規(guī)模達(dá)2.7億美元時(shí)停止接受新投資。在美國《Alpha》雜志每年公布的對(duì)沖基金經(jīng)理排行榜上，西蒙斯2005年、2006年分別以15億美元、17億美元凈收入穩(wěn)居全球之冠，2007年以13億美元位列第五，2008年再以25億美元重返榜首。

推動(dòng)金融產(chǎn)品和服務(wù)創(chuàng)新

E    面臨三大挑戰(zhàn)

目前，全球各行業(yè)數(shù)據(jù)量的增長速度驚人，在我國尤其集中在金融、交通、電信、制造業(yè)等重點(diǎn)行業(yè)，信息化的不斷深入正在進(jìn)一步催生更多新的海量數(shù)據(jù)。

據(jù)統(tǒng)計(jì)，2015年中國的數(shù)據(jù)總量達(dá)到1700EB以上，同比增長90%，預(yù)計(jì)到2020年這一數(shù)值將超過8000EB。以銀行業(yè)為例，每創(chuàng)收100萬元，銀行業(yè)平均產(chǎn)生130GB的數(shù)據(jù)，數(shù)據(jù)強(qiáng)度高踞各行業(yè)之首。但在金融企業(yè)內(nèi)部數(shù)據(jù)處于割裂狀態(tài)，業(yè)務(wù)條線、職能部門、渠道部門、風(fēng)險(xiǎn)部門等各個(gè)分支機(jī)構(gòu)往往是數(shù)據(jù)的真正擁有者，缺乏順暢的共享機(jī)制，導(dǎo)致海量數(shù)據(jù)往往處于分散和“睡眠”狀態(tài)，雖然金融行業(yè)擁有的數(shù)據(jù)量“富可敵國”，但真正利用時(shí)卻“捉襟見肘”。

數(shù)據(jù)安全暗藏隱患

大數(shù)據(jù)本質(zhì)是開放與共享，但如何界定、保護(hù)個(gè)人隱私權(quán)卻成為法律難題。大數(shù)據(jù)存儲(chǔ)、處理、傳輸、共享過程中也存在多種風(fēng)險(xiǎn)，不僅需要技術(shù)手段保護(hù)，還需相關(guān)法律法規(guī)規(guī)范和金融機(jī)構(gòu)自律。多項(xiàng)實(shí)際案例表明，即使無害的數(shù)據(jù)大量囤積也會(huì)滋生各種隱患。安全保護(hù)對(duì)象不僅包括大數(shù)據(jù)自身，也包含通過大數(shù)據(jù)分析得出的知識(shí)和結(jié)論。在線市場(chǎng)平臺(tái)英國Handshake.uk.com就嘗試允許用戶協(xié)商個(gè)人數(shù)據(jù)被品牌分享所得的報(bào)酬。

人才梯隊(duì)建設(shè)任重道遠(yuǎn)

人才是大數(shù)據(jù)之本。與信息技術(shù)其他細(xì)分領(lǐng)域人才相比，大數(shù)據(jù)發(fā)展對(duì)人才的復(fù)合型能力要求更高，需要掌握計(jì)算機(jī)軟件技術(shù)，并具備數(shù)學(xué)、統(tǒng)計(jì)學(xué)等方面知識(shí)以及應(yīng)用領(lǐng)域的專業(yè)知識(shí)。