
大數(shù)據(jù)“大”在哪里
“大數(shù)據(jù)”涵蓋了人們在大規(guī)模數(shù)據(jù)的基礎上可以做的事情,大數(shù)據(jù)讓我們以一種前所未有的方式通過對海量數(shù)據(jù)進行分析,獲得有巨大價值的產(chǎn)品和服務,或深刻的洞見,最終形成變革之力。
作為2015年和2016年的重點話題,大數(shù)據(jù)在成為資本市場風口的同時,也上升到了國家戰(zhàn)略層面。國務院在《推進普惠金融發(fā)展規(guī)劃(2016~2020年)》中直接提到,“鼓勵金融機構(gòu)運用大數(shù)據(jù)、云計算等新興信息技術(shù),打造互聯(lián)網(wǎng)金融服務平臺”。于是,國內(nèi)外各金融與類金融機構(gòu)紛紛上馬大數(shù)據(jù)應用,希望可以借此帶來技術(shù)上的突破、提升獲客能力、升級風控體系、探索新型態(tài)基于場景化的消費金融市場,一夜之間,大數(shù)據(jù)仿佛成了突破現(xiàn)有發(fā)展瓶頸的萬能靈藥。
對金融行業(yè)來講,大數(shù)據(jù)“大”在哪?要理解這個問題,需要和傳統(tǒng)數(shù)據(jù)做個比較。只有從本質(zhì)上區(qū)分它們的不同,才能更好地理解和更有針對性地應用這一寶貴的新資源。
傳統(tǒng)金融機構(gòu),在建設信用風險打分模型的數(shù)據(jù)來源主要有幾個方面:第一,人民銀行征信中心數(shù)據(jù);第二,客戶自己提交的外部個人財力證明數(shù)據(jù),如房產(chǎn)證、汽車行駛證、單位開具的收入證明等;第三,金融機構(gòu)或集團內(nèi)部積累的客戶歷史數(shù)據(jù),如銀行的工資流水,歷史貸款數(shù)據(jù),保險數(shù)據(jù)等。傳統(tǒng)數(shù)據(jù)優(yōu)點是這些數(shù)據(jù)和金融的價值相關(guān)性高、數(shù)據(jù)采集規(guī)范。金融機構(gòu)基于這些高價值數(shù)據(jù),紛紛設計出各種信用風險評分模型,最終實現(xiàn)對客戶信用風險的打分評估,是目前較為成熟的運行方式。
但這樣獲取的信息,其缺點也是顯而易見的,主要表現(xiàn)在維度較小,覆蓋的人群有限,對于新形態(tài)的互聯(lián)網(wǎng)模式適應程度較差,也不容易達到普惠覆蓋的目的。
在互聯(lián)網(wǎng)時代,客戶信息的獲取渠道更加多元化,主要包括內(nèi)部收集和外部渠道,內(nèi)部收集指各互聯(lián)網(wǎng)生態(tài)體系內(nèi),長期積累的用戶數(shù)據(jù)。外部渠道則是指各種數(shù)據(jù)源采集,如通信數(shù)據(jù)、社保數(shù)據(jù)、法院失信數(shù)據(jù)、交通數(shù)據(jù)、保險數(shù)據(jù)等等。
大數(shù)據(jù)的誕生正好契合了互聯(lián)時代的要求。大數(shù)據(jù)的“大”,首先體現(xiàn)在數(shù)據(jù)體量上,首先是指大型數(shù)據(jù)集,一般在10TB規(guī)模左右,但在實際應用中,很多企業(yè)用戶把多個數(shù)據(jù)集放在一起,已經(jīng)形成了PB級的數(shù)據(jù)量;其次是指數(shù)據(jù)類別大,數(shù)據(jù)來自多種數(shù)據(jù)源,數(shù)據(jù)種類和格式日漸豐富,已沖破了以前所限定的結(jié)構(gòu)化數(shù)據(jù)范疇,囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù);第三是數(shù)據(jù)處理速度快,在數(shù)據(jù)量非常龐大的情況下,也能夠做到數(shù)據(jù)的實時處理。
基于以上幾點,大數(shù)據(jù)特征反映在如下方面,第一,數(shù)據(jù)覆蓋面廣。各大互聯(lián)網(wǎng)集團,通過各種APP采集積累了用戶行為各方面的數(shù)據(jù),如搜素歷史數(shù)據(jù)、電商交易數(shù)據(jù)、支付交易數(shù)據(jù)、社交數(shù)據(jù),以及各種APP采集的用戶行為數(shù)據(jù)等等。第二,大量非結(jié)構(gòu)化的破碎數(shù)據(jù)導致的數(shù)據(jù)不很準確。數(shù)據(jù)采集渠道的多元化和非標準化,隨之帶來的問題就是,客戶信息不很準確,同一客戶不同維度的信息經(jīng)常不完整或匹配不上。第三,數(shù)據(jù)來源不穩(wěn)定。不少大數(shù)據(jù)采集通過灰色渠道收集個人隱私數(shù)據(jù),數(shù)據(jù)連續(xù)性和可持續(xù)性欠佳,往往有數(shù)據(jù)過時或缺失問題。第四,消費數(shù)據(jù)和信用數(shù)據(jù)關(guān)聯(lián)性弱。
由此可見,大數(shù)據(jù)所謂的“大”,并非如傳說中的那樣能包治百病。隨著傳統(tǒng)數(shù)據(jù)源局限的被打破,社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應用數(shù)據(jù)等新數(shù)據(jù)源的興起,企業(yè)愈發(fā)需要有效的信息分析處理能力來確保其真實性及安全性。如同原油需要經(jīng)過層層的提煉,才能成為人類可以大量應用的石油產(chǎn)品,大數(shù)據(jù)也需要經(jīng)過精心的篩選和應用設計,才能起到實質(zhì)的功效。
盡管市場上常見的大數(shù)據(jù)機構(gòu)收集了各種維度的客戶行為信息,試圖描繪客戶畫像,但消費類的數(shù)據(jù)和客戶信用風險以及還款意愿并不直接相關(guān)。目前的大數(shù)據(jù)公司往往缺少內(nèi)部征信數(shù)據(jù)、外部征信數(shù)據(jù)、個人資產(chǎn)數(shù)據(jù)等強金融變量數(shù)據(jù),而集中在客戶衣食住行和社交信息,要直接拿來作為信用風險評分模型的有效性依舊有待考驗。考慮到大數(shù)據(jù)和傳統(tǒng)金融數(shù)據(jù)的差異性和互補性,所以更多的應該是如何通過模型的設計和提煉,使得這些大數(shù)據(jù)源經(jīng)過提煉,可以從原油變成成品石油般廣為應用。
“大數(shù)據(jù)”的概念其實是涵蓋了人們在大規(guī)模數(shù)據(jù)的基礎上可以做的事情,而這些事情在小規(guī)模數(shù)據(jù)的基礎上是無法實現(xiàn)的。換句話說,大數(shù)據(jù)讓我們以一種前所未有的方式,通過對海量數(shù)據(jù)進行分析,獲得有巨大價值的產(chǎn)品和服務,或深刻的洞見,最終形成變革之力。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓練與驗證損失驟升:機器學習訓練中的異常診斷與解決方案 在機器學習模型訓練過程中,“損失曲線” 是反映模型學習狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內(nèi)涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領(lǐng)域,假設檢驗是驗證研究假設、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11