一、案例綜述

案例編號(hào)：

102005

案例名稱(chēng)：

銀行數(shù)據(jù)寬表構(gòu)建和描述分析

作者姓名（或單位、或來(lái)源）：

朱江

案例所屬行業(yè)：

J662 貨幣銀行服務(wù)

案例所用軟件：

R

案例包含知識(shí)點(diǎn)：

寬表構(gòu)建 數(shù)據(jù)描述

案例描述：

案例描述部分主要有兩個(gè)內(nèi)容，一是介紹客戶(hù)信息的基本概念和分類(lèi)；二是案例數(shù)據(jù)的基本介紹和ER圖

一． 客戶(hù)信息

客戶(hù)信息的收集主要用于客戶(hù)分析，而客戶(hù)分析一般是由公司內(nèi)部不同部門(mén)組成的跨領(lǐng)域的團(tuán)隊(duì)實(shí)現(xiàn)的。客戶(hù)分析的目標(biāo)是找到一個(gè)單一準(zhǔn)確的視角來(lái)制定策略，從而最優(yōu)化的獲取和保留客戶(hù)、定義高價(jià)值客戶(hù)。為了能夠更好的實(shí)現(xiàn)客戶(hù)分析，必須全方面的收集客戶(hù)信息，客戶(hù)信息主要分為以下四類(lèi)。

? 描述信息：客戶(hù)的基本屬性信息，包括人口統(tǒng)計(jì)學(xué)的信息諸如性別、年齡、地理位置和收入，也包括自我描述類(lèi)信息，對(duì)于產(chǎn)品的偏好和評(píng)價(jià)信息。從這些數(shù)據(jù)中可以細(xì)分出關(guān)于客戶(hù)的有用的特征和分類(lèi)，例如早期采用者（在產(chǎn)品介紹期和成長(zhǎng)期采用新產(chǎn)品，對(duì)后面的采用者影響很大）、性?xún)r(jià)比追求者或特定的顧客角色。這些信息可以來(lái)自買(mǎi)賣(mài)信息、注冊(cè)記錄、調(diào)查、回訪、情景訪談。這類(lèi)信息一般易采集，但是質(zhì)量難以保證。

? 行為信息：客戶(hù)的行為信息，即客戶(hù)在使用產(chǎn)品和服務(wù)的時(shí)候表現(xiàn)出來(lái)的一般的模式，包括購(gòu)買(mǎi)行為、注冊(cè)、瀏覽以及使用不同的設(shè)備等。例如經(jīng)調(diào)查發(fā)現(xiàn)一些特定產(chǎn)品分類(lèi)（消費(fèi)性電子產(chǎn)品、家具）的顧客，晚上傾向于使用平板電腦購(gòu)買(mǎi)，而白天傾向于使用臺(tái)式機(jī)購(gòu)買(mǎi)。行為信息的特點(diǎn)在于實(shí)時(shí)采集，需要整合匯總。

? 交互信息：客戶(hù)和網(wǎng)站的交互信息，包含網(wǎng)站或者軟件的點(diǎn)擊信息、導(dǎo)航路徑以及瀏覽行為。主要用途在于網(wǎng)站或軟件實(shí)用性能測(cè)試，例如通過(guò)模擬真實(shí)的交互得到點(diǎn)擊間隔對(duì)應(yīng)的等級(jí)。收集數(shù)據(jù)的途徑有：A/B測(cè)試，谷歌分析師（Google Analytics），實(shí)驗(yàn)室收集等。

? 態(tài)度信息：客戶(hù)偏感性的信息，例如偏好、選擇、愿望、品牌認(rèn)可度及情懷等，可以通過(guò)調(diào)查問(wèn)卷、特定關(guān)注群體的調(diào)查以及使用性測(cè)試等獲得。一些知名的調(diào)查問(wèn)卷公司常用來(lái)量化行為和交互信息對(duì)態(tài)度信息的影響。這些態(tài)度可能會(huì)影響描述信息中的量化的某些自我描述信息。

下圖解釋了這些信息之間的關(guān)系。

客戶(hù)信息通常存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，結(jié)合基于CRM的數(shù)據(jù)挖掘方法論進(jìn)行信息分析，與商業(yè)應(yīng)用結(jié)合最終產(chǎn)生價(jià)值。

二． 案例介紹

本案例的數(shù)據(jù)源自某銀行的真實(shí)客戶(hù)與交易數(shù)據(jù)，主要涉及客戶(hù)的主記錄、賬號(hào)、交易、業(yè)務(wù)和信用卡數(shù)據(jù)等，即客戶(hù)的一些描述信息和行為信息。一共八張二維表，存儲(chǔ)在關(guān)系型數(shù)據(jù)庫(kù)中，這些表的信息如下。

這里使用實(shí)體聯(lián)系模型圖（Entity-relationship model，俗稱(chēng)ER圖）來(lái)描述這些表的關(guān)系，這里沒(méi)有嚴(yán)格的引用標(biāo)準(zhǔn)的ER模型圖形符號(hào)，我們的目標(biāo)在于能夠詳盡的說(shuō)明各表的組成和相互之間的邏輯關(guān)系。

圖中共八個(gè)表格，其中深灰色帶下劃線的字段是主鍵。數(shù)據(jù)中包含的邏輯關(guān)系有：1. 一個(gè)人可以有多個(gè)賬戶(hù)，一個(gè)賬戶(hù)id可以對(duì)應(yīng)多個(gè)客戶(hù)id，即可以多個(gè)人共同管理一個(gè)賬戶(hù)，賬戶(hù)與客戶(hù)的關(guān)系在權(quán)限分配信息表中顯示。2. 貸款和信用卡為銀行提供給客戶(hù)的服務(wù)。3. 一個(gè)賬戶(hù)可以有多張信用卡。4. 一個(gè)賬戶(hù)只能一筆貸款。

數(shù)據(jù)可以用于構(gòu)建客戶(hù)違約貸款模型，即根據(jù)客戶(hù)的描述信息和行為信息預(yù)測(cè)新客戶(hù)是否會(huì)產(chǎn)生違約行為，為銀行客戶(hù)關(guān)系管理提供數(shù)據(jù)依據(jù)，從而有效的控制違約風(fēng)險(xiǎn)。于是這里就需要一個(gè)結(jié)構(gòu)化的規(guī)整的寬表數(shù)據(jù)。用于數(shù)據(jù)清洗、描述及挖掘。

涉及到的數(shù)據(jù)處理有：1. 數(shù)據(jù)清洗，即根據(jù)業(yè)務(wù)知識(shí)將初始數(shù)據(jù)轉(zhuǎn)換成在邏輯上對(duì)目標(biāo)變量有預(yù)測(cè)能力的衍生數(shù)據(jù)，形成寬表，且在時(shí)間上只考慮客戶(hù)最近兩年的行為信息。2. 依據(jù)貸款表的還款狀態(tài)定義客戶(hù)是否違約。3. 描述分析衍生變量和目標(biāo)變量之間的關(guān)系，從而分析這些變量對(duì)目標(biāo)變量的影響程度。

本案例共包含三個(gè)知識(shí)點(diǎn)

1 讀取數(shù)據(jù)，根據(jù)業(yè)務(wù)知識(shí)生成衍生變量，形成寬表

2 描述分析衍生變量和目標(biāo)變量之間的關(guān)系

3 使用邏輯回歸預(yù)測(cè)是否違約

案例執(zhí)行形式：

單人上機(jī)

二、案例知識(shí)點(diǎn)：

知識(shí)點(diǎn)1：

知識(shí)點(diǎn)名稱(chēng)：讀取數(shù)據(jù)，形成寬表

知識(shí)點(diǎn)所屬工作角色：

數(shù)據(jù)導(dǎo)入，數(shù)據(jù)轉(zhuǎn)換

知識(shí)點(diǎn)背景：

使用R導(dǎo)入csv格式的文件，依據(jù)業(yè)務(wù)邏輯轉(zhuǎn)換目標(biāo)變量，形成寬表

知識(shí)點(diǎn)描述

加載使用到的包，讀取多個(gè)文件，轉(zhuǎn)變目標(biāo)變量

知識(shí)點(diǎn)關(guān)鍵詞：

R 讀取數(shù)據(jù)，數(shù)據(jù)轉(zhuǎn)換

知識(shí)點(diǎn)所用軟件：

Rstudio

操作目的：

R讀取csv文件，轉(zhuǎn)換目標(biāo)變量

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：

accounts.csv card.csv clients.csv disp.csv district.csv load_credit.csv loans.csv order.csv       trans.csv  

操作步驟:

操作步驟：

? 將bank文件夾拷貝到工作路徑下，設(shè)置工作路徑

? 加載要用的數(shù)據(jù)包

? 讀取數(shù)據(jù)，一般情況下都要設(shè)置參數(shù)stringsAsFactors（字符自動(dòng)轉(zhuǎn)為因子）為假

得到的讀取結(jié)果：

可見(jiàn)其中trans表包含的觀測(cè)最多，有105萬(wàn)行

? 生成違約標(biāo)識(shí)變量，根據(jù)loans表中變量status生成違約標(biāo)識(shí)變量bad_good，這里使用ifelse函數(shù)。

? 客戶(hù)描述信息

客戶(hù)信息這里涉及到loans、clients、disp和district 表，需要進(jìn)行橫向連接操作，這里篩選賬戶(hù)權(quán)限為‘所有者’的客戶(hù)賬戶(hù)，根據(jù)相同字段進(jìn)行簡(jiǎn)單的四表相連。而當(dāng)數(shù)據(jù)量較大時(shí)一般先在單一表內(nèi)計(jì)算衍生字段再進(jìn)行連接。先將四表橫向連接。

客戶(hù)描述信息基于base表進(jìn)一步衍生，客戶(hù)貸款時(shí)的年齡可以由客戶(hù)出生日期與貸款的時(shí)間差產(chǎn)生，同事計(jì)算客戶(hù)居住地區(qū)的平均失業(yè)率、居住地區(qū)的平均犯罪率、人均GDP。

選擇對(duì)自己有用的字段生成客戶(hù)基本信息表。

至此包含目標(biāo)變量的客戶(hù)基本信息表info已經(jīng)生成。得到的結(jié)果：

? 客戶(hù)行為信息

在trans表中，amount和balance兩個(gè)字段格式需要處理成數(shù)值型。

這里選擇兩年作為一個(gè)時(shí)間段，即選取每一個(gè)客戶(hù)貸款前兩年的數(shù)據(jù)。即需要根據(jù)trans表中客戶(hù)的貸款時(shí)間找到每一個(gè)客戶(hù)最近的貸款時(shí)間，并以此選擇前兩年的數(shù)據(jù)。

根據(jù)tmp2表生成貸款前兩年每個(gè)客戶(hù)的平均賬戶(hù)余額、標(biāo)準(zhǔn)差、變異系數(shù)。

根據(jù)tmp2表生成貸款前兩年的出入賬比率。首先按照客戶(hù)賬號(hào)和借貸類(lèi)型計(jì)算對(duì)應(yīng)的總金額，然后計(jì)算出入賬比率。

生成客戶(hù)行為信息表。

? 寬表匯總

將客戶(hù)描述信息表與客戶(hù)行為信息表進(jìn)行連接得到待分析的寬表。

最終得到的寬表data0有682個(gè)客戶(hù)觀測(cè)，14個(gè)維度變量，變量匯總?cè)缦拢?/span>

至此我們得到了最終用于描述性分析和進(jìn)一步推斷分析使用的寬表。寬表中可見(jiàn)原始變量只有4個(gè)（包含標(biāo)識(shí)變量），而衍生變量有10個(gè)，占了七成以上。在實(shí)際需求中，尤其是數(shù)據(jù)量較大的時(shí)候，需要生成一些衍生變量抽取數(shù)據(jù)中的關(guān)鍵信息。也可以根據(jù)業(yè)務(wù)邏輯需求生成特定的衍生變量。

? 保存表

操作結(jié)果：

如操作步驟中顯示生成新的衍生變量，匯總成新的寬表

知識(shí)點(diǎn)小結(jié)：

本知識(shí)點(diǎn)顯示了數(shù)據(jù)前期處理的完整流程，關(guān)鍵在于衍生變量邏輯上的選取和生成

? 知識(shí)點(diǎn)2：

知識(shí)點(diǎn)名稱(chēng)：數(shù)據(jù)描述

知識(shí)點(diǎn)所屬工作角色：

數(shù)據(jù)描述

知識(shí)點(diǎn)背景：

基本的數(shù)據(jù)描述分析包括描述性數(shù)據(jù)分析和探索性數(shù)據(jù)分析，描述性分析的目標(biāo)主要在于描述數(shù)據(jù)集，而探索性分析的目標(biāo)主要是在描述的基礎(chǔ)上發(fā)現(xiàn)新的關(guān)聯(lián)或者是未知的關(guān)系

知識(shí)點(diǎn)描述

描述性分析，探索性分析

知識(shí)點(diǎn)關(guān)鍵詞：

描述性分析 探索性分析 箱線圖 柱狀圖

知識(shí)點(diǎn)所用軟件：

Rstudio

操作目的：

? 進(jìn)行部分描述性分析，觀察某些自變量與因變量之間的關(guān)系。因變量是否違約屬于分類(lèi)變量，多用箱線圖和柱狀圖進(jìn)行初步的觀察。

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：

data_final.csv

操作步驟:

? 讀取數(shù)據(jù)，處理因變量使得易于理解

? 觀察因變量，對(duì)因變量是否違約進(jìn)行探索，觀察變量分布情況。

? 探索因變量與連續(xù)變量

這里分析年齡和因變量之間的關(guān)系，探索不同年齡下客戶(hù)的違約行為是否有差異。

? 探索因變量與分類(lèi)變量

操作結(jié)果：

以上例舉了常用的描述性分析的方法，用于初步觀察數(shù)據(jù)之間的關(guān)系。

知識(shí)點(diǎn)小結(jié)：

描述性分析和探索性分析都是直觀的通過(guò)圖形來(lái)描述和探索變量之間的關(guān)系。 

? 知識(shí)點(diǎn)3：

知識(shí)點(diǎn)名稱(chēng)：3 使用邏輯回歸預(yù)測(cè)是否違約

知識(shí)點(diǎn)所屬工作角色：

回歸分析

知識(shí)點(diǎn)背景：

? 使用多元邏輯回歸進(jìn)行推斷和預(yù)測(cè)分析

? 得到系數(shù)并且進(jìn)行初步的觀察和解釋

? 通過(guò)逐步法和方差膨脹因子優(yōu)化模型

知識(shí)點(diǎn)描述

邏輯回歸

知識(shí)點(diǎn)關(guān)鍵詞：

邏輯回歸 逐步法 方差膨脹因子

知識(shí)點(diǎn)所用軟件：

Rstudio

操作目的：

? 使用多元邏輯回歸進(jìn)行推斷和預(yù)測(cè)分析

? 得到系數(shù)并且進(jìn)行初步的觀察和解釋

? 通過(guò)逐步法和方差膨脹因子優(yōu)化模型

知識(shí)點(diǎn)素材（包括數(shù)據(jù)）：

data_final.csv

操作步驟:

? 讀取數(shù)據(jù)，去除缺失值

? 初步邏輯回歸

結(jié)果中只有一個(gè)顯著性變量，并不合理，可能是因?yàn)閯e的變量之間相互抵消減弱了對(duì)預(yù)測(cè)變量的影響，故接著用逐步法對(duì)模型進(jìn)一步優(yōu)化

? 進(jìn)行逐步logsitic回歸

最終得到結(jié)果

可見(jiàn)其中對(duì)y有影響的變量是貸款金額，余額標(biāo)準(zhǔn)差，變異系數(shù)，出入賬比率

? 查看共線性

可見(jiàn)沒(méi)有多重共線性的影響

? 總結(jié)

從經(jīng)過(guò)優(yōu)化的回歸結(jié)果可以看出衍生變量對(duì)預(yù)測(cè)模型產(chǎn)生的重要作用

操作結(jié)果：

見(jiàn)操作步驟中的總結(jié)部分

知識(shí)點(diǎn)小結(jié)：

邏輯回歸中一般需要用逐步法對(duì)模型進(jìn)行優(yōu)化，并且需要注意多重共線性的檢驗(yàn)。

學(xué)數(shù)據(jù)分析技能一定要了解的大廠入門(mén)券，CDA數(shù)據(jù)分析師認(rèn)證證書(shū)！

CDA（數(shù)據(jù)分析師認(rèn)證），與CFA相似，由國(guó)際范圍內(nèi)數(shù)據(jù)科學(xué)領(lǐng)域行業(yè)專(zhuān)家、學(xué)者及知名企業(yè)共同制定并修訂更新，迅速發(fā)展成行業(yè)內(nèi)長(zhǎng)期而穩(wěn)定的全球大數(shù)據(jù)及數(shù)據(jù)分析人才標(biāo)準(zhǔn)，具有專(zhuān)業(yè)化、科學(xué)化、國(guó)際化、系統(tǒng)化等特性。

同時(shí)，CDA全棧考試布局和認(rèn)證體系已得到教育部直屬中國(guó)成人教育協(xié)會(huì)認(rèn)可，并由為IBM、華為等提供全球認(rèn)證服務(wù)的Pearson VUE面向全球提供靈活的考試服務(wù)。

報(bào)名方式

登錄CDA認(rèn)證考試官網(wǎng)注冊(cè)報(bào)名>>點(diǎn)擊報(bào)名

報(bào)名費(fèi)用

Level Ⅰ：1200 RMB

Level Ⅱ：1700 RMB

Level Ⅲ：2000 RMB

考試地點(diǎn)

Level Ⅰ：中國(guó)區(qū)30+省市，70+城市，250+考場(chǎng)，考生可就近考場(chǎng)預(yù)約考試 >看看我所在的地哪里報(bào)名<

Level Ⅱ+Ⅲ：中國(guó)區(qū)30所城市，北京/上海/天津/重慶/成都/深圳/廣州/濟(jì)南/南京/杭州/蘇州/福州/太原/武漢/長(zhǎng)沙/西安/貴陽(yáng)/鄭州/南寧/昆明/烏魯木齊/沈陽(yáng)/哈爾濱/合肥/石家莊/呼和浩特/南昌/長(zhǎng)春/大連/蘭州>看看我所在的地哪里報(bào)名<

報(bào)考條件

業(yè)務(wù)數(shù)據(jù)分析師 CDA Level I >了解更多<

? 報(bào)考條件：無(wú)要求。

? 考試時(shí)間：隨報(bào)隨考。

建模分析師 CDA Level II >了解更多<

? 報(bào)考條件（滿(mǎn)足任一即可）：

1、獲得CDA Level Ⅰ認(rèn)證證書(shū)；

2、本科及以上學(xué)歷，需從事數(shù)據(jù)分析相關(guān)工作1年以上；

3、本科以下學(xué)歷，需從事數(shù)據(jù)分析相關(guān)工作2年以上。

? 考試時(shí)間：

一年四屆 3月、6月、9月、12月的最后一個(gè)周六。

大數(shù)據(jù)分析師 CDA Level II >了解更多<

? 報(bào)考條件（滿(mǎn)足任一即可）：

1、獲得CDA Level Ⅰ認(rèn)證證書(shū)；

2、本科及以上學(xué)歷，需從事數(shù)據(jù)分析相關(guān)工作1年以上；

3、本科以下學(xué)歷，需從事數(shù)據(jù)分析相關(guān)工作2年以上。

? 考試時(shí)間：

一年四屆 3月、6月、9月、12月的最后一個(gè)周六。

數(shù)據(jù)科學(xué)家  CDA Level III >了解更多<

? 報(bào)考條件（滿(mǎn)足任一即可）：

1、獲得CDA Level Ⅱ認(rèn)證證書(shū)；

2、本科及以上學(xué)歷，需從事數(shù)據(jù)分析相關(guān)工作3年以上；

3、本科以下學(xué)歷，需從事數(shù)據(jù)分析相關(guān)工作4年以上。

? 考試時(shí)間：

一年四屆 3月、6月、9月、12月的最后一個(gè)周六。

（備注：數(shù)據(jù)分析相關(guān)工作不限行業(yè)，可涉及統(tǒng)計(jì)，數(shù)據(jù)分析，數(shù)據(jù)挖掘，數(shù)據(jù)庫(kù)，數(shù)據(jù)管理，大數(shù)據(jù)架構(gòu)等內(nèi)容。）

——熱門(mén)課程推薦：

想學(xué)習(xí)PYTHON數(shù)據(jù)分析與金融數(shù)字化轉(zhuǎn)型精英訓(xùn)練營(yíng)，您可以點(diǎn)擊>>>“人才轉(zhuǎn)型”了解課程詳情；

想從事業(yè)務(wù)型數(shù)據(jù)分析師，您可以點(diǎn)擊>>>“數(shù)據(jù)分析師”了解課程詳情；

想從事大數(shù)據(jù)分析師，您可以點(diǎn)擊>>>“大數(shù)據(jù)就業(yè)”了解課程詳情；

想成為人工智能工程師，您可以點(diǎn)擊>>>“人工智能就業(yè)”了解課程詳情；

想了解Python數(shù)據(jù)分析，您可以點(diǎn)擊>>>“Python數(shù)據(jù)分析師”了解課程詳情；

想咨詢(xún)互聯(lián)網(wǎng)運(yùn)營(yíng)，你可以點(diǎn)擊>>>“互聯(lián)網(wǎng)運(yùn)營(yíng)就業(yè)班”了解課程詳情； 

想了解更多優(yōu)質(zhì)課程，請(qǐng)點(diǎn)擊>>>