
大數(shù)據(jù)的最終指向是數(shù)據(jù)指引生活_數(shù)據(jù)分析師
隨著互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)以及各行各業(yè)在信息化兩化融合過(guò)程當(dāng)中等不斷產(chǎn)生新的數(shù)據(jù),人類社會(huì)產(chǎn)生的數(shù)據(jù)量已經(jīng)達(dá)到了ZB級(jí),特別是這兩年隨著移動(dòng)互聯(lián)網(wǎng)的發(fā)展,現(xiàn)在兩年的數(shù)據(jù)是人類社會(huì)產(chǎn)生數(shù)據(jù)量的90%。再往下發(fā)展的速度可能更快,到2020年達(dá)到了40ZB或者35ZB。
大數(shù)據(jù)的最終指向是數(shù)據(jù)指引生活
作為大數(shù)據(jù)的研究來(lái)講,雖然都在推出很多不同的大數(shù)據(jù)產(chǎn)品,形成了百花齊放的態(tài)勢(shì)。但另一方面大數(shù)據(jù)的相關(guān)技術(shù)還沒(méi)有完全定型,還有很大的發(fā)展空間。
這個(gè)發(fā)展空間,大數(shù)據(jù)在國(guó)家戰(zhàn)略層面來(lái)看,世界各國(guó)都在推出大數(shù)據(jù)的戰(zhàn)略。就大數(shù)據(jù)在商業(yè)引擎方面的發(fā)展現(xiàn)狀來(lái)說(shuō),大數(shù)據(jù)在不斷催生服務(wù)模式的創(chuàng)新。因?yàn)榇髷?shù)據(jù)的出現(xiàn)和發(fā)展,有很多希望創(chuàng)業(yè)者或者新型的公司也在大數(shù)據(jù)技術(shù)發(fā)展浪潮當(dāng)中不斷的涌現(xiàn)。傳統(tǒng)行業(yè)也有了更合理和高效的數(shù)據(jù)收集和處理技術(shù)像制藥、汽車、金融可以更好的通過(guò)科學(xué)的數(shù)據(jù)化決策來(lái)提升企業(yè)運(yùn)營(yíng)效率。
數(shù)據(jù)科學(xué)家,相應(yīng)的高校、研究所包括企業(yè)也都設(shè)定了研究方向,像中國(guó)銀聯(lián)設(shè)置了數(shù)據(jù)科學(xué)家的崗位來(lái)推動(dòng)大數(shù)據(jù)的研究。同時(shí)技術(shù)創(chuàng)新驅(qū)動(dòng)了數(shù)據(jù)處理能力的提升,數(shù)據(jù)處理的方法也有新的方法涌現(xiàn),可以通過(guò)全量的數(shù)據(jù)得到更好的結(jié)果,使得商業(yè)模式創(chuàng)新得以實(shí)現(xiàn)。大數(shù)據(jù)是可以幫助提升各方面的工作效率。首先是公共管理方面,大數(shù)據(jù)使得傳統(tǒng)方式的公共管理轉(zhuǎn)變?yōu)閿?shù)據(jù)為基礎(chǔ)的科學(xué)化的工作管理。在工業(yè)化方面也可以看到大數(shù)據(jù)的應(yīng)用比如福特汽車公司利用汽車傳感網(wǎng)絡(luò)數(shù)據(jù)以及用戶社交網(wǎng)絡(luò)數(shù)據(jù),來(lái)分析用戶的駕駛行為。大數(shù)據(jù)在經(jīng)濟(jì)金融領(lǐng)域也有廣泛的應(yīng)用,以大數(shù)據(jù)為基礎(chǔ)的新經(jīng)濟(jì)分析體系,可以實(shí)現(xiàn)對(duì)未來(lái)的預(yù)測(cè)。以銀聯(lián)為例,可以有效預(yù)測(cè)出來(lái)未來(lái)幾天大概銀行卡的情況,也可以通過(guò)天氣的關(guān)聯(lián)性,可以分析今天交易量的多少。
中國(guó)銀聯(lián)執(zhí)行副總裁柴洪峰
大數(shù)據(jù)的作用還體現(xiàn)在生活服務(wù)方面,在大數(shù)據(jù)出現(xiàn)之前,生活服務(wù)都是以產(chǎn)品為中心,為客戶提供的服務(wù)。而由大數(shù)據(jù)技術(shù)帶來(lái)的精準(zhǔn)營(yíng)銷,推薦系統(tǒng)等方法,使得今天的生活服務(wù)是以人為中心,可以為每個(gè)人提供個(gè)性化的服務(wù)。著名的互聯(lián)網(wǎng)思維就是用戶為中心,用戶至上,體驗(yàn)為王??蛻艉陀脩艉?jiǎn)單的一個(gè)字之差,發(fā)生了很大的變化。因?yàn)榭蛻羰琴I賣關(guān)系產(chǎn)生的,而用戶是你享受的服務(wù)來(lái)產(chǎn)生的。
大數(shù)據(jù)的最終指向是數(shù)據(jù)指引生活。通過(guò)大數(shù)據(jù)技術(shù)量化生活,記錄一切,量化一切,通過(guò)數(shù)據(jù)改善,為人服務(wù)為核心,通過(guò)大數(shù)據(jù)技術(shù)形成大數(shù)據(jù)思維,一切都以數(shù)據(jù)為依據(jù),在數(shù)據(jù)中不斷探索和學(xué)習(xí),最終帶來(lái)科學(xué)化的決策,精細(xì)化的生產(chǎn),可預(yù)測(cè)的經(jīng)營(yíng)以及個(gè)性化的服務(wù)。
中國(guó)銀聯(lián)的大數(shù)據(jù)實(shí)踐
中國(guó)銀聯(lián)是2002年成立的銀行卡的組織,現(xiàn)在中國(guó)銀聯(lián)是400家的成員機(jī)構(gòu),有400家銀行合作伙伴。銀聯(lián)成立12年來(lái),已經(jīng)成為發(fā)卡量全球第一的銀行卡組織,網(wǎng)絡(luò)規(guī)模已經(jīng)遍及全球142個(gè)國(guó)家,交易規(guī)模全球第二。中國(guó)銀聯(lián)有豐富的大數(shù)據(jù)資源涉及43億張銀行卡,超過(guò)9億的持卡人,超過(guò)一千萬(wàn)戶的商戶,每天有七千萬(wàn)筆的交易數(shù)據(jù),每天核心交易數(shù)據(jù)都要超過(guò)TB級(jí),銀聯(lián)的數(shù)據(jù)資源無(wú)論宏觀層面還是微觀層面都有很高的價(jià)值。這個(gè)價(jià)值體體現(xiàn)在:
銀聯(lián)的數(shù)據(jù)價(jià)值、支付數(shù)據(jù)的特點(diǎn)是更具參考性,他們可以衡量真實(shí)的購(gòu)買行為,從而促進(jìn)用戶定向,個(gè)性定價(jià),產(chǎn)品推薦,用戶忠誠(chéng)度和流失建模等策略,這是支付數(shù)據(jù)它的價(jià)值。
銀聯(lián)開(kāi)展大數(shù)據(jù)工作有很多背景要素,從銀聯(lián)支付數(shù)據(jù)看,銀聯(lián)數(shù)據(jù)處理過(guò)程中也遇到了挑戰(zhàn)。銀聯(lián)過(guò)去的處理方法已經(jīng)滿足大數(shù)據(jù)的需求,從銀聯(lián)自身業(yè)務(wù)看,很多精細(xì)化的業(yè)務(wù)也需要大數(shù)據(jù)的強(qiáng)力支撐。從合作伙伴角度來(lái)看,合作伙伴對(duì)多樣性的數(shù)據(jù)服務(wù)有需求,從電子商務(wù)這個(gè)行業(yè)來(lái)看,通過(guò)大數(shù)據(jù)的挖掘來(lái)提升行業(yè)發(fā)展水平。從國(guó)家示范項(xiàng)目建設(shè)來(lái)看,大數(shù)據(jù)相關(guān)工作也是銀聯(lián)承接國(guó)家項(xiàng)目的工作重點(diǎn),銀聯(lián)也在這方面加大了力度。
銀聯(lián)對(duì)大數(shù)據(jù)有一個(gè)“指導(dǎo)思想”:首先希望整合各類內(nèi)外部的數(shù)據(jù),通過(guò)合作,基于這些數(shù)據(jù)建立相應(yīng)大數(shù)據(jù)基礎(chǔ)設(shè)施,可以使這些數(shù)據(jù)可以安全方便獲取?;诖髷?shù)據(jù)的平臺(tái),銀聯(lián)會(huì)開(kāi)展大跨度的數(shù)據(jù)統(tǒng)計(jì)分析以及深度化的數(shù)據(jù)挖掘工作,這些分析和挖掘工作對(duì)外對(duì)內(nèi)合作伙伴都進(jìn)行服務(wù)。
銀聯(lián)大數(shù)據(jù)主要分為基礎(chǔ)平臺(tái),基礎(chǔ)數(shù)據(jù),模型研究和應(yīng)用服務(wù)等分四個(gè)層次。而建設(shè)大數(shù)據(jù)平臺(tái)是銀聯(lián)開(kāi)展大數(shù)據(jù)工作的第一步,有一個(gè)云平臺(tái),充分匯集各方面的數(shù)據(jù),集成常見(jiàn)的分布式機(jī)器學(xué)習(xí)算法,已經(jīng)支撐了十幾個(gè)業(yè)務(wù)應(yīng)用系統(tǒng)在實(shí)際生產(chǎn)。利用大數(shù)據(jù)為持卡人提供數(shù)據(jù)服務(wù),首先持卡人可以通過(guò)銀聯(lián)錢包手機(jī)APP平臺(tái),查詢到自己銀行卡的歷史交易。同時(shí)可以向持卡人提供更為豐富的持卡人帳單服務(wù)。
銀聯(lián)大數(shù)據(jù)實(shí)踐,基于外部數(shù)據(jù)和數(shù)據(jù)量化的指標(biāo)以及數(shù)據(jù)總體特征,基于數(shù)據(jù)量化指標(biāo),可以分析出每個(gè)持卡人的個(gè)體特征,基于持卡人個(gè)體特征和總體特征,可以為持卡人打上各種類型的標(biāo)簽。除了持卡人維度,在商戶維度上做了相應(yīng)的工作,為商戶提供相應(yīng)的商業(yè)智能分析,可以使商戶認(rèn)識(shí)到自身的經(jīng)營(yíng)情況,也為商戶提供了客戶忠誠(chéng)度、流失商戶的分析、回頭客的分析等。
同時(shí),銀聯(lián)大數(shù)據(jù)還應(yīng)用到了風(fēng)險(xiǎn)控制領(lǐng)域,利用機(jī)器學(xué)習(xí)的方法,對(duì)銀聯(lián)歷史數(shù)據(jù)進(jìn)行挖掘,得到了七大交易的判斷模型,可以對(duì)銀聯(lián)轉(zhuǎn)接交易系統(tǒng)進(jìn)行實(shí)時(shí)的判斷。
大數(shù)據(jù)從1.0,發(fā)展到2.0,3.0不同發(fā)展階段,各階段的成熟度逐步提升,銀聯(lián)很清楚大數(shù)據(jù)資源的質(zhì)量和價(jià)值,但有些不足,使得對(duì)終端客戶的到達(dá)能力還是有限的,因此希望通過(guò)數(shù)據(jù)的集合工作、融合內(nèi)外部的數(shù)據(jù),從而使銀聯(lián)的數(shù)據(jù)得到價(jià)值的提升。在數(shù)據(jù)集合方面嘗試從兩個(gè)角度:
第一,利用公開(kāi)的外部技術(shù)進(jìn)行集合。利用爬蟲技術(shù)在互聯(lián)網(wǎng)上找持卡人、商戶的信息。
第二,通過(guò)合作伙伴的數(shù)據(jù)進(jìn)行集合如通信運(yùn)營(yíng)商的相關(guān)數(shù)據(jù)結(jié)合。
金融業(yè)大數(shù)據(jù)未來(lái)展望
首先大數(shù)據(jù)是在發(fā)展中完善的。大數(shù)據(jù)一方面在很多行業(yè)被廣泛應(yīng)用,一方面又不夠成熟。大數(shù)據(jù)使用了全新的技術(shù)框架,但有時(shí)又不適宜傳統(tǒng)的應(yīng)用場(chǎng)景,大數(shù)據(jù)概念已經(jīng)充分被解讀,但高價(jià)值的應(yīng)用卻不豐富。大數(shù)據(jù)一方面百花齊放,一方面存在應(yīng)用對(duì)接不平滑的現(xiàn)象。我們認(rèn)為,再經(jīng)過(guò)努力,大數(shù)據(jù)的價(jià)值可以得到進(jìn)一步的凸顯,但是是不是一個(gè)通用性的技術(shù),有待拷量。
數(shù)據(jù)開(kāi)放帶來(lái)數(shù)據(jù)價(jià)值的提升,帶來(lái)1+1>2的效果,但是也會(huì)帶來(lái)信息安全的問(wèn)題如個(gè)人隱私泄露的問(wèn)題,更好的提升大數(shù)據(jù)的價(jià)值,需要法律政策層面的指導(dǎo),更需要政府和企業(yè)的眾多嘗試及互相支持,能夠產(chǎn)生合作。
對(duì)于金融大數(shù)據(jù),這將是大數(shù)據(jù)最有可為的領(lǐng)域之一。金融機(jī)構(gòu)可以說(shuō)是大數(shù)據(jù)天生的合作者,一方面自身有著強(qiáng)烈的利用技術(shù)紅利帶來(lái)收益沖動(dòng),另一方面又有國(guó)內(nèi)較好良好的信息化基礎(chǔ),從數(shù)據(jù)層面,金融領(lǐng)域有著優(yōu)質(zhì)的數(shù)據(jù)資源,從技術(shù)層面看,金融企業(yè)的技術(shù)團(tuán)隊(duì)也有強(qiáng)大的實(shí)力,從思維層面看,金融行業(yè)擁有最專業(yè)的金融能力,可以研究和開(kāi)發(fā)最專業(yè)的金融大數(shù)據(jù)的產(chǎn)品和服務(wù)。
面向金融大數(shù)據(jù)帶給行業(yè)的變革將是全方位的例如在信用風(fēng)險(xiǎn)評(píng)估方面。同時(shí)也可以在客戶服務(wù)方面基于大數(shù)據(jù)的技術(shù),也可以實(shí)現(xiàn)對(duì)客戶智能化的服務(wù)。在智能運(yùn)營(yíng)方面,大數(shù)據(jù)技術(shù)也可以對(duì)金融企業(yè)的數(shù)據(jù)進(jìn)行分析,從而幫助金融機(jī)構(gòu)進(jìn)行運(yùn)營(yíng)決策,降低成本,在產(chǎn)品創(chuàng)新方面,大數(shù)據(jù)參與新產(chǎn)品的設(shè)計(jì),結(jié)合各方的數(shù)據(jù),使企業(yè)產(chǎn)品推陳出新??傊?,金融服務(wù)將從粗放式管理轉(zhuǎn)向科學(xué)化的管理,從以利潤(rùn)為中心轉(zhuǎn)向以客戶為中心。未來(lái),銀聯(lián)大數(shù)據(jù)將圍繞客戶服務(wù)展開(kāi),結(jié)合內(nèi)外部的資源,形成對(duì)持卡人的各方面認(rèn)知如消費(fèi)習(xí)慣、生活習(xí)慣,基于持卡人的認(rèn)知,我們可以形成持卡人的響應(yīng)預(yù)測(cè)。
銀聯(lián)大數(shù)據(jù)工作將圍繞提供穩(wěn)定、高效、豐富的數(shù)據(jù)服務(wù)開(kāi)展工作,還將提升大數(shù)據(jù)系統(tǒng)的穩(wěn)定性和效率。在大數(shù)據(jù)快速發(fā)展的背景下,合作共贏是大勢(shì)所趨,合作共贏一方面是數(shù)據(jù)的互補(bǔ),數(shù)據(jù)的共享、融合,創(chuàng)造新的價(jià)值。另一方面是資源的互補(bǔ),資源的協(xié)同合作將帶來(lái)挖掘能力的提升。第三方面是業(yè)務(wù)互補(bǔ)。業(yè)務(wù)的互補(bǔ)與互用將發(fā)揮出大數(shù)據(jù)的最大效用,通過(guò)數(shù)據(jù)、資源等多方面的合作,必然可以產(chǎn)生眾多聯(lián)合跨界的創(chuàng)新成果。合作共贏是銀聯(lián)的一貫態(tài)度,銀聯(lián)愿攜手各方合作伙伴,共建銀行卡產(chǎn)業(yè)的大數(shù)據(jù)生態(tài)系統(tǒng)。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實(shí)戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無(wú)論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認(rèn)知誤區(qū) 在 MySQL 數(shù)據(jù)庫(kù)管理中,“大表” 始終是性能優(yōu)化繞不開(kāi)的話題。 ...
2025-09-18CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫(kù)表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-18DSGE 模型中的 Et:理性預(yù)期算子的內(nèi)涵、作用與應(yīng)用解析 動(dòng)態(tài)隨機(jī)一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開(kāi)始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價(jià)值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫(kù)表、Excel 表、 ...
2025-09-17Excel 導(dǎo)入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實(shí)戰(zhàn)應(yīng)用 在用 Python(如 pandas 庫(kù))處理 Excel 數(shù)據(jù)時(shí),“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗(yàn)與 t 檢驗(yàn):差異、適用場(chǎng)景與實(shí)踐應(yīng)用 在數(shù)據(jù)分析與統(tǒng)計(jì)學(xué)領(lǐng)域,假設(shè)檢驗(yàn)是驗(yàn)證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計(jì)劃中 rows 數(shù)量的準(zhǔn)確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計(jì)劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對(duì)象的 text 與 content:區(qū)別、場(chǎng)景與實(shí)踐指南 在 Python 進(jìn)行 HTTP 網(wǎng)絡(luò)請(qǐng)求開(kāi)發(fā)時(shí)(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價(jià)值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫(kù)表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請(qǐng)求工具對(duì)比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請(qǐng)求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)的科學(xué)計(jì)數(shù)法問(wèn)題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長(zhǎng)浮點(diǎn)數(shù)據(jù)時(shí)的科學(xué)計(jì)數(shù)法問(wèn)題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務(wù)數(shù)據(jù)分析步驟的落地者與價(jià)值優(yōu)化者 業(yè)務(wù)數(shù)據(jù)分析是企業(yè)解決日常運(yùn)營(yíng)問(wèn)題、提升執(zhí)行效率的核心手段,其價(jià)值 ...
2025-09-12用 SQL 驗(yàn)證業(yè)務(wù)邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實(shí)戰(zhàn)指南 在業(yè)務(wù)系統(tǒng)落地過(guò)程中,“業(yè)務(wù)邏輯” 是連接 “需求設(shè)計(jì)” 與 “用戶體驗(yàn) ...
2025-09-11塔吉特百貨孕婦營(yíng)銷案例:數(shù)據(jù)驅(qū)動(dòng)下的精準(zhǔn)零售革命與啟示 在零售行業(yè) “流量紅利見(jiàn)頂” 的當(dāng)下,精準(zhǔn)營(yíng)銷成為企業(yè)突圍的核心方 ...
2025-09-11CDA 數(shù)據(jù)分析師與戰(zhàn)略 / 業(yè)務(wù)數(shù)據(jù)分析:概念辨析與協(xié)同價(jià)值 在數(shù)據(jù)驅(qū)動(dòng)決策的體系中,“戰(zhàn)略數(shù)據(jù)分析”“業(yè)務(wù)數(shù)據(jù)分析” 是企業(yè) ...
2025-09-11Excel 數(shù)據(jù)聚類分析:從操作實(shí)踐到業(yè)務(wù)價(jià)值挖掘 在數(shù)據(jù)分析場(chǎng)景中,聚類分析作為 “無(wú)監(jiān)督分組” 的核心工具,能從雜亂數(shù)據(jù)中挖 ...
2025-09-10統(tǒng)計(jì)模型的核心目的:從數(shù)據(jù)解讀到?jīng)Q策支撐的價(jià)值導(dǎo)向 統(tǒng)計(jì)模型作為數(shù)據(jù)分析的核心工具,并非簡(jiǎn)單的 “公式堆砌”,而是圍繞特定 ...
2025-09-10