
大數(shù)據(jù)之于教育之大機遇與大挑戰(zhàn)
大數(shù)據(jù)概念一提出就得到了學術(shù)界、政府、企業(yè)以及社會的普遍重視,在全球范圍內(nèi)掀起了大數(shù)據(jù)管理與應(yīng)用的熱潮。在此背景下,貴州省政府創(chuàng)建了中國首個國家級大數(shù)據(jù)發(fā)展集聚區(qū)——貴陽·貴安大數(shù)據(jù)產(chǎn)業(yè)發(fā)展集聚區(qū),將大數(shù)據(jù)產(chǎn)業(yè)作為破解發(fā)展瓶頸、實現(xiàn)后發(fā)趕超的戰(zhàn)略選擇,調(diào)整優(yōu)化全省的產(chǎn)業(yè)結(jié)構(gòu)、推動大數(shù)據(jù)在重點行業(yè)領(lǐng)域深度應(yīng)用,培育大數(shù)據(jù)產(chǎn)業(yè)鏈和骨干企業(yè),同時也為全國其他地區(qū)和各行業(yè)領(lǐng)域發(fā)展大數(shù)據(jù)提供有益的嘗試和探索。為保證上述目標的實現(xiàn),大數(shù)據(jù)的應(yīng)用是首當其沖的關(guān)鍵,而應(yīng)用大數(shù)據(jù)為風險管理服務(wù)則是一個極具重要意義的大數(shù)據(jù)應(yīng)用領(lǐng)域。
企業(yè)在經(jīng)濟環(huán)境下生存、在市場環(huán)境中競爭,面臨著諸多不確定性;這些不確定性給企業(yè)的經(jīng)營管理帶來了極大的風險。為了及時識別這些風險并進行有效的管控,需要對各種數(shù)據(jù)進行分析,從中發(fā)現(xiàn)企業(yè)經(jīng)營中的策略失誤和執(zhí)行缺陷。傳統(tǒng)的風險識別方法主要是通過對財務(wù)數(shù)據(jù)或者財務(wù)報表數(shù)據(jù)的分析來展開的,然而由于財務(wù)數(shù)據(jù)的滯后性、統(tǒng)計口徑形成的失真,以及頻發(fā)的財務(wù)粉飾或財務(wù)欺詐,造成了僅僅用財務(wù)數(shù)據(jù)來識別分析企業(yè)經(jīng)營風險的局限性。為克服上述缺點,發(fā)展利用大數(shù)據(jù)來進行風險識別與管理則是一條非常誘人并且實踐證明具有現(xiàn)實意義的路徑,這也是大數(shù)據(jù)應(yīng)用的一個重要方面。
“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應(yīng)海量、高增長率和多樣化的信息資產(chǎn)。應(yīng)用大數(shù)據(jù)來識別企業(yè)的經(jīng)營風險就是要從全社會各個渠道將與企業(yè)經(jīng)營相關(guān)的全方位信息進行采集、整合、處理,通過特定的風險識別模型(機理模型、統(tǒng)計模型、規(guī)則模型等)辨識風險,從而采取有效的風險應(yīng)對。目前金融業(yè)是應(yīng)用大數(shù)據(jù)為風險管理服務(wù)的主要行業(yè);工商企業(yè)也開始應(yīng)用大數(shù)據(jù)來管理交易對手的應(yīng)收賬款風險或信用風險、股權(quán)投資風險、板塊或資產(chǎn)配置風險等。服務(wù)于風險管理的大數(shù)據(jù)主要來源于企業(yè)、工商局、市場交易信息、公檢法關(guān)于經(jīng)濟案件的信息以及表征企業(yè)經(jīng)營屬性的其他信息,通過對這些大數(shù)據(jù)的統(tǒng)計分析構(gòu)建了識別風險、應(yīng)對風險的新型風險管理工具。
目前在風險管理過程中已使用的大數(shù)據(jù)
應(yīng)用大數(shù)據(jù)服務(wù)于風險管理,就是通過采集各種類型的、可以從不同側(cè)面反映企業(yè)或個體工商戶經(jīng)營狀態(tài)、經(jīng)營品質(zhì)和經(jīng)營能力的數(shù)據(jù),通過對數(shù)據(jù)的存儲、整理與整合、統(tǒng)計以及經(jīng)過風險辨識模型的加工處理,來進行風險揭示或風險預(yù)警,達成有效的風險管理。下面我們來分別論述可以用于風險管理的各類“大數(shù)據(jù)”。
1工商數(shù)據(jù)
所謂工商數(shù)據(jù)是指來自于工商局的企業(yè)注冊信息以及后續(xù)的變更信息,主要反映了企業(yè)的性質(zhì)、經(jīng)營范圍以及股東或控制人的狀況。這其中非常有價值的是股東數(shù)據(jù),通過識別股東在多家企業(yè)的控股狀況,當其中某一家企業(yè)出現(xiàn)風險時,有可能傳遞到或殃及到其控制的其他企業(yè)。另外,通過股東的關(guān)聯(lián)控股企業(yè)的監(jiān)測與分析,也可以發(fā)現(xiàn)其中負面的或形成財務(wù)粉飾的關(guān)聯(lián)交易數(shù)據(jù)。
2公檢法數(shù)據(jù)
公檢法數(shù)據(jù)目前主要是指來源于法院系統(tǒng)的經(jīng)濟案件數(shù)據(jù)以及來自于公安機關(guān)的金融欺詐報案數(shù)據(jù)。法院的經(jīng)濟案件數(shù)據(jù)已被商業(yè)銀行廣發(fā)使用,通過經(jīng)濟糾紛事件來推斷貸款企業(yè)或申請貸款企業(yè)的信用狀況以及可能面臨的道德風險;而公安局的報案數(shù)據(jù)對于發(fā)現(xiàn)金融欺詐、非法集資、惡性高利貸等有著直接的應(yīng)用價值。
3海關(guān)數(shù)據(jù)
中國外向型經(jīng)濟的特點以及中國經(jīng)濟與世界經(jīng)濟體系的日益融合,使得海關(guān)統(tǒng)計的企業(yè)進出口貿(mào)易數(shù)據(jù)集中地反映了商品進出口企業(yè)的經(jīng)營狀況,特別是較長周期的數(shù)據(jù)監(jiān)測與分析,很好地揭示了這些企業(yè)的經(jīng)營風險,是銀行識別貸款客戶風險以及工商企業(yè)識別應(yīng)收賬款風險的重要信息源。
4征信數(shù)據(jù)
人民銀行的征信數(shù)據(jù)是目前國內(nèi)積累時間最久、覆蓋面最大的數(shù)據(jù)源,涵蓋了歷史上在商業(yè)銀行貸款違約的客戶信息。目前人民銀行征信數(shù)據(jù)屬于限制開放的信息源,主要服務(wù)于商業(yè)銀行以及準許的非銀金融機構(gòu)。各省在人民銀行征信數(shù)據(jù)之外,還嘗試建立了聯(lián)合征信體系,是對人民銀行征信數(shù)據(jù)的有效補充,在風險管理應(yīng)用中也具有重要意義。
55.銀監(jiān)會關(guān)聯(lián)客戶數(shù)據(jù)
銀監(jiān)會向商業(yè)銀行披露在商業(yè)銀行貸款客戶的關(guān)聯(lián)企業(yè)數(shù)據(jù),揭示了貸款企業(yè)在多家銀行貸款和貸款違約的信息。此外,還揭示了信用擔保中的關(guān)聯(lián)關(guān)系,即互相擔保和循環(huán)擔保情況,為商業(yè)銀行進行貸款審批、貸后風險管理、擔保管理等提供了分析和決策依據(jù)。
66.環(huán)保數(shù)據(jù)
環(huán)保部以及各地環(huán)保局關(guān)于對違反環(huán)境保護法企業(yè)的立案及處罰數(shù)據(jù),一方面反映了當事企業(yè)的社會責任管理缺失、信用狀況惡化的狀態(tài);另一方面也反映了由于環(huán)保限制或環(huán)保處罰,而可能導(dǎo)致的企業(yè)經(jīng)營的不確定性或者可能面臨的巨大經(jīng)營風險。這部分數(shù)據(jù)往往也是銀行或交易對手進行相關(guān)決策的重要參考信息。
7倉儲物流數(shù)據(jù)
對于制造業(yè)或類制造業(yè)企業(yè)而言,倉儲物流數(shù)據(jù)準確地反映了企業(yè)經(jīng)營的“繁榮”程度,同時這個數(shù)據(jù)也是供應(yīng)鏈金融或供應(yīng)鏈融資的基礎(chǔ)數(shù)據(jù)。掌握企業(yè)的倉儲物流數(shù)據(jù),就可以繞開通過財務(wù)報表來分析企業(yè)經(jīng)營風險的缺陷,特別是對于貿(mào)易融資(流動性貸款)和應(yīng)收賬款風險管理有著信息采集直接、風險控制便利的種種優(yōu)點。
8社保數(shù)據(jù)
企業(yè)繳納社會保險的充足性和及時性,從另一個層面反映了企業(yè)的經(jīng)營狀態(tài)。換句話說,一個經(jīng)營較差或面臨嚴峻經(jīng)營風險的企業(yè),可能無力支付足額(優(yōu)惠的)的社會保險繳納額或者出現(xiàn)不能及時繳納社會保險,這顯然是一個明確的企業(yè)面臨經(jīng)營風險的信號。
9工資賬戶數(shù)據(jù)
工資通常是企業(yè)運行成本中占比最高的一項支出,對工資賬戶數(shù)據(jù)的監(jiān)測以及進行時間序列的波動統(tǒng)計分析,往往可以從這一側(cè)面折射出企業(yè)的經(jīng)營狀況或興旺的程度。長久以來商業(yè)銀行就有過通過對貸款企業(yè)工資賬戶的監(jiān)測來識別其信用風險的應(yīng)用實踐,實際上工資賬戶的監(jiān)測與分析不僅能夠反映企業(yè)的經(jīng)營風險,還可以對工資定價以及勞動力市場的成本水平提供極有價值的數(shù)據(jù)。
10用電用水數(shù)據(jù)
制造業(yè)或類制造業(yè)企業(yè)的用電用水數(shù)據(jù)從一個特定的視角反映了其生產(chǎn)的繁忙程度。對這類的數(shù)據(jù)的監(jiān)測及波動分析,也可以用來反映了企業(yè)的經(jīng)營風險,它是企業(yè)全部風險識別的一個重要補充維度。
11輿情或負面事件數(shù)據(jù)
輿情或負面事件數(shù)據(jù)是指在互聯(lián)網(wǎng)上新聞、微信、微博、論壇以及博客等出現(xiàn)的關(guān)于特定機構(gòu)的負面消息,其表現(xiàn)形式可以是一段文字、視屏、音頻、圖片或其他組合形式。關(guān)于特定機構(gòu)的負面消息或負面事件,可能揭露了其面臨的各種風險,甚至是面臨的危機,這在各種風險管理中都不應(yīng)該忽視的重要信息或風險預(yù)警信號。
12電商交易數(shù)據(jù)
電商網(wǎng)站上的交易數(shù)據(jù)較好地反映了商品生產(chǎn)企業(yè)或商品銷售企業(yè)的經(jīng)營狀況,據(jù)此數(shù)據(jù)來評定商戶的信用等級或信用風險在以往獲得了較為滿意的準確度。因此,對于從事貸款業(yè)務(wù)和投資業(yè)務(wù)的金融機構(gòu),如果能獲得企業(yè)的交易數(shù)據(jù)就可以較便利地識別企業(yè)經(jīng)營風險。之所以僅提及電商是因為其上的交易數(shù)據(jù)是電子化的,并且數(shù)據(jù)管理集中、商品生產(chǎn)企業(yè)或商品銷售企業(yè)的覆蓋面較大。
13財務(wù)報表數(shù)據(jù)
隨著中國經(jīng)濟的發(fā)展,大量的中國企業(yè)在全球范圍內(nèi)成為上市公司。這些企業(yè)多數(shù)通常經(jīng)營業(yè)績較好,在其所在的行業(yè)中頗具有代表性或先進性。因此廣泛采集上市公司定期披露的財務(wù)報表可以較為便利地將相關(guān)指標加工成企業(yè)對標數(shù)據(jù),通過對標來發(fā)現(xiàn)企業(yè)的經(jīng)營管理風險。
除了上述各種類型已經(jīng)存在的“大數(shù)據(jù)”外,行業(yè)的經(jīng)濟景氣分析報告、國家宏觀經(jīng)濟指標數(shù)據(jù)、市場利率、匯率以及其他的市場指數(shù)指標數(shù)據(jù)等也是揭示企業(yè)可能受此影響而面臨特定風險的重要信號,也應(yīng)該納入大數(shù)據(jù)應(yīng)用于風險管理的范疇。
應(yīng)用大數(shù)據(jù)需要的專項技術(shù)和措施
在前述大數(shù)據(jù)采集、存儲、整合梳理的基礎(chǔ)上,形成了面向風險管理應(yīng)用的數(shù)據(jù)集合或數(shù)據(jù)倉庫。然而要想迅捷、有效地使用這些數(shù)據(jù)為風險管理服務(wù),還必須發(fā)展和創(chuàng)立一些專項的技術(shù),包括大數(shù)據(jù)檢索技術(shù)、基于大數(shù)據(jù)的風險識別模型、云平臺下的風險預(yù)警機制以及一旦發(fā)現(xiàn)風險后的信息處置機制等。
1數(shù)據(jù)檢索技術(shù)
大數(shù)據(jù)搜索引擎是大數(shù)據(jù)應(yīng)用的基本工具,通過搜索引擎快速地提取我們需要的風險信號,進行風險分析和風險預(yù)警。市面上類似Hadoop的大數(shù)據(jù)搜索引擎,對于服務(wù)于風險管理的大數(shù)據(jù)而言有著成本過于高昂的缺點,需要發(fā)展一種專門用于二次信息采集、圍繞著風險主題組織數(shù)據(jù)的低成本檢索工具,作為各種風險管理應(yīng)用提取所需信息的工具。
2風險識別模型
利用大數(shù)據(jù)來識別特定對象的風險,必然面臨著風險信號出處多樣、內(nèi)容駁雜、質(zhì)量良莠不齊的狀況。在這種情況下,傳統(tǒng)的風險識別模型往往不能勝任有效辨識風險的任務(wù),需要發(fā)展多種基于規(guī)則的、基于機理的、基于多種信息整合的以及基于統(tǒng)計學原理的大數(shù)據(jù)風險識別模型,才能保證大數(shù)據(jù)有效地服務(wù)于風險管理。
3風險預(yù)警機制
在風險識別模型的基礎(chǔ)上,還需要開發(fā)出一整套基于大數(shù)據(jù)信息特征的風險容忍度規(guī)則體系,針對辨識出的風險決定是否發(fā)出預(yù)警消息。作為一種集中式的大數(shù)據(jù)服務(wù)體系(云體系)由于其服務(wù)對象的多樣性,風險容忍度必然是多樣化的,這使得建立適用于多種服務(wù)對象的風險容忍度規(guī)則體系存在著工作量繁重、提取風險偏好困難的障礙,需要廣泛地調(diào)查研究、收集信息來建立有實用價值的容忍度規(guī)則體系。
4大數(shù)據(jù)管理運營機制
為保證大數(shù)據(jù)能夠高質(zhì)量、持續(xù)地為風險管理服務(wù),需要建立一整套的大數(shù)據(jù)維護、管理和營銷的機制,按照市場化的企業(yè)經(jīng)營管理模式為那些需要通過大數(shù)據(jù)來進行風險管理的機構(gòu)(客戶)提供優(yōu)質(zhì)的信息產(chǎn)品,包括大數(shù)據(jù)本體上的打包數(shù)據(jù)、風險分析、風險預(yù)警、行業(yè)狀態(tài)、對標數(shù)據(jù)、競爭分析等等,讓風險管理大數(shù)據(jù)服務(wù)在企業(yè)化運營的體制下進入良性循環(huán)、永續(xù)經(jīng)營的狀態(tài)。
應(yīng)用大數(shù)據(jù)面臨的挑戰(zhàn)
建立上述服務(wù)于風險管理的大數(shù)據(jù)管理體系,我們還面臨著一系列的困難與挑戰(zhàn),主要表現(xiàn)在法律法規(guī)限制或法律法規(guī)配套、數(shù)據(jù)采集的技術(shù)壁壘以及數(shù)據(jù)服務(wù)的權(quán)限配置或數(shù)據(jù)安全的限制等上面。這些障礙如果不能有效破除,勢必會極大影響大數(shù)據(jù)服務(wù)于風險管理的實際應(yīng)用,甚至造成其社會經(jīng)濟價值的大大降低。
法律法規(guī)限制是應(yīng)用大數(shù)據(jù)為風險管理服務(wù)的第一個障礙。我們面臨的困境是上面提及的各類數(shù)據(jù)在現(xiàn)實中都有且保存完好,但其中相當一部分信息在采集上卻遇到了各種限制,需要在隱私保護、證券法、數(shù)據(jù)安全或數(shù)據(jù)保密等法律或規(guī)則下,建立適度的法律法規(guī)配套,使我們能夠在一定的規(guī)則下采集到需要的數(shù)據(jù),創(chuàng)建大數(shù)據(jù)應(yīng)用的基礎(chǔ)環(huán)境。
另外,應(yīng)用于風險管理的大數(shù)據(jù)來源于多個渠道,在這些原始數(shù)據(jù)的存儲保管上,存在著眾多異構(gòu)的管理體系,從中采集數(shù)據(jù)勢必會遇到數(shù)據(jù)接口復(fù)雜、工作量巨大的困難,更為重要的是數(shù)據(jù)標準化管理將面臨嚴峻的挑戰(zhàn),需要充分研究不同體系中數(shù)據(jù)存儲的結(jié)構(gòu)和特性,建立適用于集中管理框架的數(shù)據(jù)標準,保證采集的大數(shù)據(jù)具有較高的能夠滿足風險管理應(yīng)用而要求的數(shù)據(jù)質(zhì)量。
風險管理大數(shù)據(jù)應(yīng)用對象的確定涉及到了大數(shù)據(jù)體系運營的商業(yè)模式的選擇,這是一個需要認真思考的重大問題。換句話說,如果不能在一個確認的商業(yè)模式下來進行大數(shù)據(jù)產(chǎn)品結(jié)構(gòu)的設(shè)計,就很難實現(xiàn)大數(shù)據(jù)風險管理應(yīng)用的價值,也就根本不能保證大數(shù)據(jù)應(yīng)用風險管理這項事業(yè)的成功。然而商業(yè)模式的設(shè)計牽扯到組織結(jié)構(gòu)、資金募集、股權(quán)關(guān)系、治理結(jié)構(gòu)、客戶營銷、核心技術(shù)、經(jīng)營管理方方面面,是一項需要全面布局、綜合平衡的系統(tǒng)工程,是應(yīng)用大數(shù)據(jù)為風險管理服務(wù)這項事業(yè)的成功保證。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預(yù)測分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢預(yù)判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預(yù)測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03