
大數(shù)據(jù)“大”在哪里
“大數(shù)據(jù)”涵蓋了人們?cè)诖笠?guī)模數(shù)據(jù)的基礎(chǔ)上可以做的事情,大數(shù)據(jù)讓我們以一種前所未有的方式通過對(duì)海量數(shù)據(jù)進(jìn)行分析,獲得有巨大價(jià)值的產(chǎn)品和服務(wù),或深刻的洞見,最終形成變革之力。
作為2015年和2016年的重點(diǎn)話題,大數(shù)據(jù)在成為資本市場風(fēng)口的同時(shí),也上升到了國家戰(zhàn)略層面。國務(wù)院在《推進(jìn)普惠金融發(fā)展規(guī)劃(2016~2020年)》中直接提到,“鼓勵(lì)金融機(jī)構(gòu)運(yùn)用大數(shù)據(jù)、云計(jì)算等新興信息技術(shù),打造互聯(lián)網(wǎng)金融服務(wù)平臺(tái)”。于是,國內(nèi)外各金融與類金融機(jī)構(gòu)紛紛上馬大數(shù)據(jù)應(yīng)用,希望可以借此帶來技術(shù)上的突破、提升獲客能力、升級(jí)風(fēng)控體系、探索新型態(tài)基于場景化的消費(fèi)金融市場,一夜之間,大數(shù)據(jù)仿佛成了突破現(xiàn)有發(fā)展瓶頸的萬能靈藥。
對(duì)金融行業(yè)來講,大數(shù)據(jù)“大”在哪?要理解這個(gè)問題,需要和傳統(tǒng)數(shù)據(jù)做個(gè)比較。只有從本質(zhì)上區(qū)分它們的不同,才能更好地理解和更有針對(duì)性地應(yīng)用這一寶貴的新資源。
傳統(tǒng)金融機(jī)構(gòu),在建設(shè)信用風(fēng)險(xiǎn)打分模型的數(shù)據(jù)來源主要有幾個(gè)方面:第一,人民銀行征信中心數(shù)據(jù);第二,客戶自己提交的外部個(gè)人財(cái)力證明數(shù)據(jù),如房產(chǎn)證、汽車行駛證、單位開具的收入證明等;第三,金融機(jī)構(gòu)或集團(tuán)內(nèi)部積累的客戶歷史數(shù)據(jù),如銀行的工資流水,歷史貸款數(shù)據(jù),保險(xiǎn)數(shù)據(jù)等。傳統(tǒng)數(shù)據(jù)優(yōu)點(diǎn)是這些數(shù)據(jù)和金融的價(jià)值相關(guān)性高、數(shù)據(jù)采集規(guī)范。金融機(jī)構(gòu)基于這些高價(jià)值數(shù)據(jù),紛紛設(shè)計(jì)出各種信用風(fēng)險(xiǎn)評(píng)分模型,最終實(shí)現(xiàn)對(duì)客戶信用風(fēng)險(xiǎn)的打分評(píng)估,是目前較為成熟的運(yùn)行方式。
但這樣獲取的信息,其缺點(diǎn)也是顯而易見的,主要表現(xiàn)在維度較小,覆蓋的人群有限,對(duì)于新形態(tài)的互聯(lián)網(wǎng)模式適應(yīng)程度較差,也不容易達(dá)到普惠覆蓋的目的。
在互聯(lián)網(wǎng)時(shí)代,客戶信息的獲取渠道更加多元化,主要包括內(nèi)部收集和外部渠道,內(nèi)部收集指各互聯(lián)網(wǎng)生態(tài)體系內(nèi),長期積累的用戶數(shù)據(jù)。外部渠道則是指各種數(shù)據(jù)源采集,如通信數(shù)據(jù)、社保數(shù)據(jù)、法院失信數(shù)據(jù)、交通數(shù)據(jù)、保險(xiǎn)數(shù)據(jù)等等。
大數(shù)據(jù)的誕生正好契合了互聯(lián)時(shí)代的要求。大數(shù)據(jù)的“大”,首先體現(xiàn)在數(shù)據(jù)體量上,首先是指大型數(shù)據(jù)集,一般在10TB規(guī)模左右,但在實(shí)際應(yīng)用中,很多企業(yè)用戶把多個(gè)數(shù)據(jù)集放在一起,已經(jīng)形成了PB級(jí)的數(shù)據(jù)量;其次是指數(shù)據(jù)類別大,數(shù)據(jù)來自多種數(shù)據(jù)源,數(shù)據(jù)種類和格式日漸豐富,已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇,囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù);第三是數(shù)據(jù)處理速度快,在數(shù)據(jù)量非常龐大的情況下,也能夠做到數(shù)據(jù)的實(shí)時(shí)處理。
基于以上幾點(diǎn),大數(shù)據(jù)特征反映在如下方面,第一,數(shù)據(jù)覆蓋面廣。各大互聯(lián)網(wǎng)集團(tuán),通過各種APP采集積累了用戶行為各方面的數(shù)據(jù),如搜素歷史數(shù)據(jù)、電商交易數(shù)據(jù)、支付交易數(shù)據(jù)、社交數(shù)據(jù),以及各種APP采集的用戶行為數(shù)據(jù)等等。第二,大量非結(jié)構(gòu)化的破碎數(shù)據(jù)導(dǎo)致的數(shù)據(jù)不很準(zhǔn)確。數(shù)據(jù)采集渠道的多元化和非標(biāo)準(zhǔn)化,隨之帶來的問題就是,客戶信息不很準(zhǔn)確,同一客戶不同維度的信息經(jīng)常不完整或匹配不上。第三,數(shù)據(jù)來源不穩(wěn)定。不少大數(shù)據(jù)采集通過灰色渠道收集個(gè)人隱私數(shù)據(jù),數(shù)據(jù)連續(xù)性和可持續(xù)性欠佳,往往有數(shù)據(jù)過時(shí)或缺失問題。第四,消費(fèi)數(shù)據(jù)和信用數(shù)據(jù)關(guān)聯(lián)性弱。
由此可見,大數(shù)據(jù)所謂的“大”,并非如傳說中的那樣能包治百病。隨著傳統(tǒng)數(shù)據(jù)源局限的被打破,社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起,企業(yè)愈發(fā)需要有效的信息分析處理能力來確保其真實(shí)性及安全性。如同原油需要經(jīng)過層層的提煉,才能成為人類可以大量應(yīng)用的石油產(chǎn)品,大數(shù)據(jù)也需要經(jīng)過精心的篩選和應(yīng)用設(shè)計(jì),才能起到實(shí)質(zhì)的功效。
盡管市場上常見的大數(shù)據(jù)機(jī)構(gòu)收集了各種維度的客戶行為信息,試圖描繪客戶畫像,但消費(fèi)類的數(shù)據(jù)和客戶信用風(fēng)險(xiǎn)以及還款意愿并不直接相關(guān)。目前的大數(shù)據(jù)公司往往缺少內(nèi)部征信數(shù)據(jù)、外部征信數(shù)據(jù)、個(gè)人資產(chǎn)數(shù)據(jù)等強(qiáng)金融變量數(shù)據(jù),而集中在客戶衣食住行和社交信息,要直接拿來作為信用風(fēng)險(xiǎn)評(píng)分模型的有效性依舊有待考驗(yàn)??紤]到大數(shù)據(jù)和傳統(tǒng)金融數(shù)據(jù)的差異性和互補(bǔ)性,所以更多的應(yīng)該是如何通過模型的設(shè)計(jì)和提煉,使得這些大數(shù)據(jù)源經(jīng)過提煉,可以從原油變成成品石油般廣為應(yīng)用。
“大數(shù)據(jù)”的概念其實(shí)是涵蓋了人們?cè)诖笠?guī)模數(shù)據(jù)的基礎(chǔ)上可以做的事情,而這些事情在小規(guī)模數(shù)據(jù)的基礎(chǔ)上是無法實(shí)現(xiàn)的。換句話說,大數(shù)據(jù)讓我們以一種前所未有的方式,通過對(duì)海量數(shù)據(jù)進(jìn)行分析,獲得有巨大價(jià)值的產(chǎn)品和服務(wù),或深刻的洞見,最終形成變革之力。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-18剛?cè)肼殘龌蚴窃诼殘稣媾R崗位替代、技能更新、人機(jī)協(xié)作等焦慮的打工人,想要找到一條破解職場焦慮和升職瓶頸的系統(tǒng)化學(xué)習(xí)提升 ...
2025-07-182025被稱為“AI元年”,而AI,與數(shù)據(jù)密不可分。網(wǎng)易公司創(chuàng)始人丁磊在《AI思維:從數(shù)據(jù)中創(chuàng)造價(jià)值的煉金術(shù) ...
2025-07-18CDA 數(shù)據(jù)分析師:數(shù)據(jù)時(shí)代的價(jià)值挖掘者 在大數(shù)據(jù)席卷全球的今天,數(shù)據(jù)已成為企業(yè)核心競爭力的重要組成部分。從海量數(shù)據(jù)中提取有 ...
2025-07-18SPSS 賦值后數(shù)據(jù)不顯示?原因排查與解決指南? 在 SPSS( Statistical Package for the Social Sciences)數(shù)據(jù)分析過程中,變量 ...
2025-07-18在 DBeaver 中利用 MySQL 實(shí)現(xiàn)表數(shù)據(jù)同步操作指南? ? 在數(shù)據(jù)庫管理工作中,將一張表的數(shù)據(jù)同步到另一張表是常見需求,這有助于 ...
2025-07-18數(shù)據(jù)分析師的技能圖譜:從數(shù)據(jù)到價(jià)值的橋梁? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,數(shù)據(jù)分析師如同 “數(shù)據(jù)翻譯官”,將冰冷的數(shù)字轉(zhuǎn)化為清晰的 ...
2025-07-17Pandas 寫入指定行數(shù)據(jù):數(shù)據(jù)精細(xì)化管理的核心技能? 在數(shù)據(jù)處理的日常工作中,我們常常需要面對(duì)這樣的場景:在龐大的數(shù)據(jù)集里精 ...
2025-07-17解碼 CDA:數(shù)據(jù)時(shí)代的通行證? 在數(shù)字化浪潮席卷全球的今天,當(dāng)企業(yè)決策者盯著屏幕上跳動(dòng)的數(shù)據(jù)曲線尋找增長密碼,當(dāng)科研人員在 ...
2025-07-17CDA 精益業(yè)務(wù)數(shù)據(jù)分析:數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)增長的實(shí)戰(zhàn)方法論 在企業(yè)數(shù)字化轉(zhuǎn)型的浪潮中,“數(shù)據(jù)分析” 已從 “加分項(xiàng)” 成為 “必修課 ...
2025-07-16MySQL 中 ADD KEY 與 ADD INDEX 詳解:用法、差異與優(yōu)化實(shí)踐 在 MySQL 數(shù)據(jù)庫表結(jié)構(gòu)設(shè)計(jì)中,索引是提升查詢性能的核心手段。無論 ...
2025-07-16解析 MySQL Update 語句中 “query end” 狀態(tài):含義、成因與優(yōu)化指南? 在 MySQL 數(shù)據(jù)庫的日常運(yùn)維與開發(fā)中,開發(fā)者和 DBA 常會(huì) ...
2025-07-16如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當(dāng)下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價(jià)值、驅(qū)動(dòng)決策的 ...
2025-07-15CDA 精益業(yè)務(wù)數(shù)據(jù)分析:驅(qū)動(dòng)企業(yè)高效決策的核心引擎? 在數(shù)字經(jīng)濟(jì)時(shí)代,企業(yè)面臨著前所未有的數(shù)據(jù)洪流,如何從海量數(shù)據(jù)中提取有 ...
2025-07-15MySQL 無外鍵關(guān)聯(lián)表的 JOIN 實(shí)戰(zhàn):數(shù)據(jù)整合的靈活之道? 在 MySQL 數(shù)據(jù)庫的日常操作中,我們經(jīng)常會(huì)遇到需要整合多張表數(shù)據(jù)的場景 ...
2025-07-15Python Pandas:數(shù)據(jù)科學(xué)的瑞士軍刀? ? 在數(shù)據(jù)驅(qū)動(dòng)的時(shí)代,面對(duì)海量、復(fù)雜的數(shù)據(jù),如何高效地進(jìn)行處理、分析和挖掘成為關(guān)鍵。 ...
2025-07-15用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯(cuò)改字段或誤執(zhí)行批量更新等問題時(shí)有發(fā)生。 ...
2025-07-14t檢驗(yàn)與Wilcoxon檢驗(yàn)的選擇:何時(shí)用t.test,何時(shí)用wilcox.test? t 檢驗(yàn)與 Wilcoxon 檢驗(yàn)的選擇:何時(shí)用 t.test,何時(shí)用 wilcox. ...
2025-07-14AI 浪潮下的生存與進(jìn)階: CDA數(shù)據(jù)分析師—開啟新時(shí)代職業(yè)生涯的鑰匙(深度研究報(bào)告、發(fā)展指導(dǎo)白皮書) 發(fā)布機(jī)構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11