數(shù)據(jù)挖掘系統(tǒng)的建立和管理_數(shù)據(jù)分析師

隨著國(guó)內(nèi)金融和保險(xiǎn)業(yè)的改革和發(fā)展，特別是中國(guó)加入WTO以后，為了提高自身的競(jìng)爭(zhēng)力，國(guó)內(nèi)金融保險(xiǎn)公司都開始加速建立和完善自己的管理系統(tǒng)。這是適應(yīng)競(jìng)爭(zhēng)的需要，也是消費(fèi)者日益成熟起來(lái)的必然結(jié)果。市場(chǎng)機(jī)制一方面給了消費(fèi)者選擇的權(quán)利，消費(fèi)者有了選擇和誰(shuí)交易的自由；另一方面，市場(chǎng)機(jī)制也給了公司發(fā)展的機(jī)會(huì)和挑戰(zhàn)，誰(shuí)的管理水平高、合理、誰(shuí)靈活，誰(shuí)就能得到不斷的發(fā)展。 　　金融和保險(xiǎn)業(yè)屬于服務(wù)性行業(yè)，如何為消費(fèi)者提供最好的服務(wù)是公司每天都必須面臨的問(wèn)題。而提供怎樣的服務(wù)首先需要知道消費(fèi)者的需求是什么。這是一個(gè)非常復(fù)雜的問(wèn)題，這需要有合理的、訓(xùn)練有素的專業(yè)人員，也要求公司要有有效的計(jì)算機(jī)系統(tǒng)，這兩者缺一不可。 　　說(shuō)起來(lái)容易，做起來(lái)難。在成百上千萬(wàn)可能的顧客里面如何找出這些利潤(rùn)高的顧客呢？ 這就是為什么要有一個(gè)數(shù)據(jù)挖掘的系統(tǒng)。下面作者就用自己給美國(guó)長(zhǎng)途電話公司 Bell Atlantic建立數(shù)據(jù)挖掘系統(tǒng)的案例來(lái)簡(jiǎn)單地介紹如何做數(shù)據(jù)挖掘，并且探究了一下如何建立一個(gè)對(duì)消費(fèi)者的數(shù)據(jù)進(jìn)行挖掘的計(jì)算機(jī)系統(tǒng)以及相關(guān)的人員配置和其他技術(shù)問(wèn)題。 　　本文作者陳宏是北京始信峰網(wǎng)絡(luò)技術(shù)有限公司董事兼高級(jí)咨詢顧問(wèn)，畢業(yè)于德洲理工大學(xué)金融系, 專業(yè)是投資和計(jì)算金融。先后在波士頓的PPR 債券研究公司和普林斯頓的CBD 信用卡咨詢公司工作，主要從事信用管理、債券估算和保險(xiǎn)精算的咨詢工作， 包括數(shù)量模型的建立， 數(shù)據(jù)挖掘系統(tǒng)和信用管理系統(tǒng)的咨詢和實(shí)施。咨詢的客戶包括 CitiBank, Kirkland&Ellis (美國(guó)最大的律師事務(wù)所), DaimlerChrysler。并于2000年建立自己的咨詢公司, 進(jìn)行信用管理和CRM管理方面的咨詢。

 　　好米緣何做成壞粥？

　　在上世紀(jì)90年代初，美國(guó)電報(bào)電話公司大揮手筆，隆重地推出了自己的信用卡――宇宙信用卡。宇宙卡的出現(xiàn)在美國(guó)信用卡歷史上可以說(shuō)是一個(gè)里程碑。首先，宇宙卡是有史以來(lái)第一個(gè)不收服務(wù)年費(fèi)的信用卡。在此之前，信用卡的年費(fèi)是幾乎所有信用卡公司的主要利潤(rùn)來(lái)源之一，大約占總利潤(rùn)額的5~10%。電報(bào)電話公司財(cái)大氣粗，第一次進(jìn)入信用卡行業(yè)就大膽地提出免去信用卡服務(wù)年費(fèi)，這給美國(guó)其他信用卡公司帶來(lái)很大的競(jìng)爭(zhēng)壓力。幾年以后，幾乎所有的信用卡公司都不得不宣布取消服務(wù)年費(fèi)。其次，宇宙卡是第一個(gè)把信用卡和電話卡合二為一的卡。把信用卡和電話卡結(jié)合起來(lái)在當(dāng)時(shí)來(lái)說(shuō)是很大膽的創(chuàng)新。第三，美國(guó)電報(bào)電話宇宙卡還明確提出，他們的信用卡客戶將會(huì)是信用最好的消費(fèi)者。

 　　宇宙卡推出以后，其推廣速度是前所未有的。因?yàn)槊绹?guó)電報(bào)電話公司在當(dāng)時(shí)是美國(guó)唯一一家長(zhǎng)途電話公司。在長(zhǎng)途電話服務(wù)行業(yè)，他們是消費(fèi)群幾乎包括全美國(guó)上億個(gè)消費(fèi)者。美國(guó)電報(bào)電話公司通過(guò)對(duì)上億個(gè)消費(fèi)者的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，挖掘出認(rèn)為是最好的客戶，即是信用好、從未拖欠過(guò)電話費(fèi)的用戶。然后，他們就開始有針對(duì)性地向這些消費(fèi)者推銷自己的宇宙卡。如此龐大的客戶群，再加上宇宙卡本身不需要年費(fèi)、兩卡合二為一的優(yōu)勢(shì)，使宇宙卡有如野火燎原地快速發(fā)展。

 　　與此同時(shí)，幾乎所有其他的信用卡公司卻惶惶不可終日，哀嘆自己的競(jìng)爭(zhēng)力太弱。大家預(yù)測(cè)，美國(guó)電報(bào)電話公司將會(huì)在短短的幾年內(nèi)成為全美最大的信用卡公司。 　　然而，事實(shí)卻讓人大跌眼鏡。幾年以后，美國(guó)電報(bào)電話公司非但沒(méi)有成為最大的信用卡公司，反而連年虧損嚴(yán)重。后來(lái)，他們不得不把信用卡部門賣給了另一家信用卡公司，并重新宣布自己的主營(yíng)業(yè)務(wù)是電話服務(wù)，而不是信用卡服務(wù)。在當(dāng)時(shí)的美國(guó)信用卡業(yè)界沸騰起來(lái)了，人們?cè)诟`喜之余好生納悶：為什么一個(gè)看似很完美的信用卡模式會(huì)虧損？而在那個(gè)時(shí)候的美國(guó)，信用卡幾乎是任何一家銀行最大的利潤(rùn)提供者，平均每年的利潤(rùn)都在30%左右；而且信用卡的業(yè)務(wù)還不會(huì)受經(jīng)濟(jì)周期的影響。把信用卡部門做成虧損是比較少見(jiàn)的。

 　　分析出來(lái)的結(jié)論不禁讓人啞然發(fā)笑：這其中最主要的原因竟然是他們的信用卡客戶的信用是太好的緣故。一般來(lái)說(shuō)，信用卡的利潤(rùn)主要來(lái)源于四個(gè)方面：利息、未按時(shí)付款的罰金、服務(wù)年費(fèi)和交易服務(wù)費(fèi)。因?yàn)橛钪婵ㄈ∠朔?wù)年費(fèi)，這樣一來(lái)美國(guó)電報(bào)電話公司就只能依靠其他三個(gè)利潤(rùn)來(lái)源：利息、罰金和交易服務(wù)費(fèi)。 　　問(wèn)題就出在利息收入和罰金上了。因?yàn)槊绹?guó)電報(bào)電話公司只向信用特好的客戶推銷宇宙卡，而拒絕給信用稍差的客戶。這樣一來(lái)，幾乎只有信用特好的人才能使用宇宙卡。他們認(rèn)為這樣宇宙卡將成為最好的信用卡，可以萬(wàn)無(wú)一失，就等著賺錢了?？墒撬麄儧](méi)有怎么也想不到，對(duì)他們來(lái)說(shuō)，在取消了服務(wù)年費(fèi)以后，信用特好的客戶有一個(gè)致命的特點(diǎn)：這些客戶每個(gè)月都會(huì)按時(shí)付清利息，這樣信用卡公司收不到利息，同時(shí)還不可能得到拖欠款的罰金。 　　四個(gè)利潤(rùn)來(lái)源，到頭來(lái)美國(guó)電報(bào)電話公司只剩下了一個(gè)，即是用卡的交易服務(wù)費(fèi)，只有交易金額的3%左右。這樣，他們的虧損就顯而易見(jiàn)了。

 　　數(shù)據(jù)挖掘系統(tǒng)至關(guān)重要

　　其實(shí)說(shuō)來(lái)說(shuō)去，美國(guó)電報(bào)電話公司虧損的最根本原因，是數(shù)據(jù)挖掘出了問(wèn)題，沒(méi)有定位好到底是什么樣的消費(fèi)者能給帶來(lái)利潤(rùn)。信用好的顧客并不等于是利潤(rùn)高的顧客。美國(guó)電報(bào)電話公司錯(cuò)誤地將兩者等同起來(lái)。在這個(gè)錯(cuò)誤的商業(yè)定義的指導(dǎo)下，隨后進(jìn)行的所有數(shù)據(jù)挖掘、顧客推銷都出了錯(cuò)。最后，信用不好、但利潤(rùn)高的顧客卻放棄了宇宙卡的申請(qǐng)，因?yàn)樗麄冋J(rèn)為，即使申請(qǐng)了也他們得不到卡。

 　　出現(xiàn)這種錯(cuò)誤是因?yàn)槊绹?guó)電報(bào)電話公司沒(méi)有在信用卡行業(yè)的經(jīng)驗(yàn)，對(duì)所有可能出現(xiàn)的問(wèn)題只是想當(dāng)然就做出結(jié)論。而事實(shí)是，利潤(rùn)最高的顧客是那些收入好、花錢不仔細(xì)、生活中比較馬虎的。這些人經(jīng)常忘記付款日期，這樣信用卡公司就不但能從他們身上賺取罰金，又能賺取利息。

 　　美國(guó)電報(bào)電話公司沒(méi)能從客戶數(shù)據(jù)中挖掘出正確的關(guān)系，是決策失敗的根本。數(shù)據(jù)挖掘系統(tǒng)是為增加公司的效益服務(wù)的。每個(gè)公司，尤其是金融保險(xiǎn)公司，都會(huì)有很多的客戶數(shù)據(jù)。好的數(shù)據(jù)挖掘系統(tǒng)能從這些數(shù)據(jù)里面發(fā)現(xiàn)別人沒(méi)有發(fā)現(xiàn)的關(guān)系，從而幫助增加公司的效益。

 　　上面的問(wèn)題有了明確的定義后，就要開始進(jìn)行初步的數(shù)據(jù)分析，從成百上千的變量里面計(jì)算并發(fā)現(xiàn)哪些變量和要解決的問(wèn)題有關(guān)系。這一步大概就是為什么叫數(shù)據(jù)挖掘了。在分析過(guò)程中，很可能需要從現(xiàn)有的數(shù)據(jù)變量里面重新組合出許多新的變量，讓人感覺(jué)有點(diǎn)像大海撈針。在這個(gè)步驟中，行業(yè)經(jīng)驗(yàn)和數(shù)據(jù)挖掘經(jīng)驗(yàn)非常重要。有經(jīng)驗(yàn)的工作人員可能只需要沒(méi)經(jīng)驗(yàn)的人1/5的時(shí)間就將這一步做好，而效果卻往往更好。這要求數(shù)據(jù)挖掘系統(tǒng)的設(shè)置要合理，不合理的設(shè)置會(huì)浪費(fèi)很多時(shí)間。 

　　然后，從所發(fā)現(xiàn)的有關(guān)系的變量中建立能幫助解決問(wèn)題的數(shù)學(xué)/統(tǒng)計(jì)模型。建立模型能夠發(fā)現(xiàn)的相關(guān)變量和要解決的商業(yè)問(wèn)題數(shù)字連起來(lái)，發(fā)現(xiàn)一個(gè)變量有多少幫助解決問(wèn)題的可能性。 

　　拿信用卡來(lái)講，年齡變量有多少幫助發(fā)現(xiàn)有利潤(rùn)的顧客的可能性？婚姻情況又有多少可能性？理論上來(lái)說(shuō)，可以建立的模型是無(wú)窮無(wú)盡的，關(guān)鍵在于怎么區(qū)分什么模型是好的，如何發(fā)現(xiàn)最好的模型。 　　模型建立過(guò)程還要求產(chǎn)生模型的預(yù)測(cè)數(shù)據(jù)。沒(méi)有預(yù)測(cè)數(shù)據(jù)，就無(wú)從知道在實(shí)際應(yīng)用中模型是否符合實(shí)際情況。

 　　合理建立數(shù)據(jù)挖掘系統(tǒng)　

　同樣是美國(guó)最大的電話公司之一，Bell Atlantic的數(shù)據(jù)挖掘系統(tǒng)卻是非常成功的，不僅為他們的業(yè)務(wù)開展帶來(lái)很大的方便，而且節(jié)省了許多開支。Bell Atlantic的電話服務(wù)目前已經(jīng)覆蓋了美國(guó)14個(gè)州，擁有商業(yè)電話、住家電話帳戶近億個(gè)。 

　　Bell Atlantic 數(shù)據(jù)挖掘系統(tǒng)的首要任務(wù)就是盡快地追收拖欠的電話費(fèi)，同時(shí)盡量減少收債部門的成本。

 　　軟件系統(tǒng)的選擇非常重要。經(jīng)過(guò)反復(fù)挑選后，Bell Atlantic采用了SAS統(tǒng)計(jì)軟件系統(tǒng)建立數(shù)據(jù)挖掘系統(tǒng)，然后在SAS環(huán)境中利用SAS宏程序建立挖掘系統(tǒng)。SAS的專長(zhǎng)是進(jìn)行統(tǒng)計(jì)計(jì)算。它還有許多其他的優(yōu)點(diǎn)：可以讀取大量計(jì)算機(jī)系統(tǒng)里的數(shù)據(jù)，可以解讀近百種的數(shù)據(jù)模式；計(jì)算速度快，能進(jìn)行大數(shù)據(jù)量的計(jì)算；它的宏程序建立也比較直接。

　　然后是建立SAS格式庫(kù)。許多數(shù)據(jù)需要格式化，比如年齡，可以從20到100歲，需要分成不同的組，這都需要利用模式來(lái)進(jìn)行數(shù)據(jù)轉(zhuǎn)換。有的數(shù)據(jù)不是連續(xù)變量，比如婚姻狀況(單身/已婚)，也需要進(jìn)行一些變換才可以進(jìn)行計(jì)算。日期也是需要模式化的，不同計(jì)算機(jī)系統(tǒng)記錄日期方法不同，需要把日期轉(zhuǎn)換成一致的方法。在金融保險(xiǎn)行業(yè)日期這個(gè)變量非常重要，因?yàn)楹芏嗫蛻舻男袨槎加涗浽谌掌诶锩媪恕ｋ娫捁纠镉泿?、付款的日期也非常重要?/span>

 　　接著，建立SAS的宏程序庫(kù)。幾乎所有重要的數(shù)據(jù)挖掘功能都需要利用宏程序來(lái)實(shí)現(xiàn)。K-S系數(shù)的計(jì)算，模型預(yù)測(cè)表現(xiàn)的表格產(chǎn)生和報(bào)告，幫助做管理決策的ROC曲線，等等。 　　第一步的數(shù)據(jù)分析，把 Bell Atlantic 覆蓋的14個(gè)州分成了6組，商業(yè)帳戶和居民帳戶分開，然后又對(duì)不同的帳戶進(jìn)一步第分成了8個(gè)類型，前前后后一共建立了近40個(gè)不同的追收拖欠電話費(fèi)的模型。這個(gè)項(xiàng)目Bell Atlantic花費(fèi)了一百多萬(wàn)美元。 

　　這樣，Bell Atlantic就能計(jì)算出有關(guān)客戶的概率可能性，包括客戶從一個(gè)月未交電話費(fèi)到兩個(gè)月未交的可能性；客戶從三個(gè)月未交電話費(fèi)到變成壞債的可能性，以及壞債客戶變成死債客戶的可能性。同時(shí)，還對(duì)追交拖欠電話費(fèi)用的策略提供線索，確認(rèn)哪些帳戶應(yīng)該進(jìn)行追債活動(dòng)；哪些帳戶有可能拖欠電話費(fèi)；并且提供量化的追債策略，對(duì)不同的帳戶采用不同的辦法。 

　　這個(gè)系統(tǒng)能有效地避免帳戶從拖欠電話費(fèi)變成呆債壞債，減少死債的出現(xiàn)。減少需要進(jìn)行收債部門的人員數(shù)目，從而降低了成本。在美國(guó)的電話公司中，一個(gè)拖欠電話費(fèi)的客戶，用信件來(lái)追繳的成本大約是1美元；而通過(guò)電話來(lái)追繳，平均成本在30美元左右。正確選用信件追繳還是電話追繳，可以節(jié)省大約25美元的成本。采用高強(qiáng)度的追繳比用低強(qiáng)度的追繳多花大約60美元?？梢?jiàn)，數(shù)據(jù)挖掘能起到的經(jīng)濟(jì)效益是非常高的。 

　　如何在中國(guó)建數(shù)據(jù)挖掘系統(tǒng)？

　　建立數(shù)據(jù)挖掘系統(tǒng)，首先要考慮資金的問(wèn)題。SAS 軟件系統(tǒng)的年費(fèi)根據(jù)計(jì)算機(jī)的計(jì)算速度不同價(jià)格不同，大概從十幾萬(wàn)人民幣到近百萬(wàn)人民幣一年。在SAS之上建立的數(shù)據(jù)挖掘系統(tǒng)大約系統(tǒng)本身要50萬(wàn)人民幣左右，系統(tǒng)的安裝，調(diào)試和人員的培訓(xùn)大約要25萬(wàn)到50萬(wàn)人民幣不等。 

　　需要指出的是，SAS 公司也有自己的數(shù)據(jù)挖掘的子系統(tǒng)，但是它有一些問(wèn)題，即是數(shù)據(jù)變換不靈活；也沒(méi)有很多報(bào)告的功能和產(chǎn)生圖的功能，格式化也不容易；而且價(jià)格也不菲。所以有條件的話，數(shù)據(jù)挖掘系統(tǒng)還是專門定制好。 

　　數(shù)據(jù)挖掘系統(tǒng)的人員要求也很重要。數(shù)據(jù)挖掘的人員首先要有良好的統(tǒng)計(jì)概念，其次要懂得基本的商業(yè)和行業(yè)概念。選擇怎樣的客戶是決策的關(guān)鍵。就拿信用卡來(lái)說(shuō)，如果嚴(yán)格要求客戶的信用太好，反而像美國(guó)電報(bào)電話公司一樣，你肯定賺不到錢； 反過(guò)來(lái)，如果隨便就給人信用，同樣也賺不到錢，因?yàn)檫@樣壞帳呆帳會(huì)太多了。追繳策略樣本

追繳電話費(fèi)考慮的變量

　　最后，數(shù)據(jù)挖掘部門的任務(wù)就是發(fā)現(xiàn)在什么基準(zhǔn)線上做出合理的解決方案。數(shù)據(jù)挖掘的人員需要通過(guò)計(jì)算解決以下的幾個(gè)問(wèn)題才能得出答案，即是平均一個(gè)好客戶能賺多少錢？平均一個(gè)壞客戶能虧損多少錢？數(shù)據(jù)挖掘出來(lái)的模型的分辯好壞的分辨率是多少？所有可能的客戶群里面好客戶和壞客戶的比例大約是多少？銀行的儲(chǔ)蓄利率是多少？ 

　　也許有人要問(wèn)：這和銀行的利息有什么關(guān)系？這里邊關(guān)系到機(jī)會(huì)成本的問(wèn)題，也就是說(shuō)，如果信用卡公司不把錢給客戶用，而是存到銀行里提取利息，這個(gè)利息收入實(shí)際上是個(gè)機(jī)會(huì)成本。

 　　利用ROC曲線，就可以計(jì)算出來(lái)在什么條件下可以給人信用卡，什么條件下不給。數(shù)據(jù)挖掘的人員至少要看得懂ROC曲線，知道里面的導(dǎo)數(shù)是干什么用的。

CDA數(shù)據(jù)分析師考試相關(guān)入口一覽（建議收藏）：

? 想報(bào)名CDA認(rèn)證考試，點(diǎn)擊>>>   “CDA報(bào)名” 了解CDA考試詳情；

? 想學(xué)習(xí)CDA考試教材，點(diǎn)擊>>> “CDA教材” 了解CDA考試詳情；

? 想加入CDA考試題庫(kù)，點(diǎn)擊>>> “CDA題庫(kù)” 了解CDA考試詳情；

? 想了解CDA考試含金量，點(diǎn)擊>>> “CDA含金量” 了解CDA考試詳情；