數(shù)據(jù)挖掘在電信客戶流失分析中的應(yīng)用

數(shù)據(jù)挖掘是近年來伴隨著人工智能和數(shù)據(jù)庫技術(shù)發(fā)展而出現(xiàn)的一門新興技術(shù)。它的核心功能是從巨大的數(shù)據(jù)集或數(shù)據(jù)倉庫中獲取有用信息，以供企業(yè)分析和處理各種復雜的數(shù)據(jù)關(guān)系。隨著電信市場競爭的日益加劇，運營商普遍開始向“客戶驅(qū)動”管理模式轉(zhuǎn)變。最近幾年，數(shù)據(jù)挖掘技術(shù)以其強大的數(shù)據(jù)分析功能被普遍應(yīng)用到電信運營商客戶管理之中。

數(shù)據(jù)挖據(jù)的主要方法

作為一種先進的數(shù)據(jù)信息處理技術(shù)，數(shù)據(jù)挖掘與傳統(tǒng)的數(shù)據(jù)分析的本質(zhì)區(qū)別在于它是數(shù)據(jù)關(guān)系的一個探索過程，而且多數(shù)情況下是在未有任何假設(shè)和前提的條件下完成的。數(shù)據(jù)挖掘具備多種不同的方法，供使用者從不同的緯度對數(shù)據(jù)展開全面分析。

(1)相關(guān)分析和回歸分析。相關(guān)分析主要分析變量之間聯(lián)系的密切程度；回歸分析主要基于觀測數(shù)據(jù)與建立變量之間適當?shù)囊蕾囮P(guān)系。相關(guān)分析與回歸分析均反映的是數(shù)據(jù)變量之間的有價值的關(guān)聯(lián)或相關(guān)聯(lián)系，因此兩者又可統(tǒng)稱為關(guān)聯(lián)分析。

(2)時間序列分析。時間序列分析與關(guān)聯(lián)分析相似，其目的也是為了挖掘數(shù)據(jù)之間的內(nèi)在聯(lián)系，但不同之處在于時間序列分析側(cè)重于數(shù)據(jù)在時間先后上的因果關(guān)系，這點與關(guān)聯(lián)分析中的平行關(guān)系分析有所不同。

(3)分類與預測分析。分類與預測用于提取描述重要數(shù)據(jù)類的模型，并運用該模型判斷分類新的觀測值或者預測未來的數(shù)據(jù)趨勢。

(4)聚類分析。聚類分析就是將數(shù)據(jù)對象按照一定的特征組成多個類或者簇，在同一個簇的對象之間有較高的相似度，而不同的簇之間差異則要大很多。在過程上看，聚類分析一定程度上是分類與預測的逆過程。

數(shù)據(jù)挖掘的應(yīng)用

目前，電信運營商面臨激烈的市場競爭，客戶爭奪愈演愈烈，每個企業(yè)都存在客戶流失的問題。傳統(tǒng)意義上來講，留住一個客戶所需要的成本是爭取一個新用戶成本的1/5，尤其對于剩余客戶市場日漸稀疏的通信市場來說，減少客戶流失就意味著用更少的成本減少利潤的流失，這點已經(jīng)為運營商所廣為接受。然而問題所在是當運營商面臨海量的客戶資料時，應(yīng)如何才能夠從中提取出有效的信息以判斷客戶流失的狀況或者傾向。在此，數(shù)據(jù)挖掘所提供的數(shù)據(jù)探索能力得到了充分的發(fā)揮，下面簡要地描述數(shù)據(jù)挖掘在客戶流失分析管理中的應(yīng)用過程。

(1)定義主題客戶流失分析中的主題應(yīng)當包括流失客戶的特征；現(xiàn)有客戶的流失概率如何(包括不同細分客戶群的流失程度)；哪些因素造成了客戶的流失等。主題是數(shù)據(jù)挖掘的主要目標，決定了此后過程中數(shù)據(jù)挖掘的主要努力方向，因此在定義上應(yīng)當十分明確。

(2)數(shù)據(jù)選擇。數(shù)據(jù)選擇是數(shù)據(jù)挖掘的前提，主要是確定數(shù)據(jù)字段的收集，因為并不是所有的客戶信息都會對客戶的流失產(chǎn)生影響，應(yīng)盡可能地降低數(shù)據(jù)的復雜度以發(fā)掘較高的關(guān)聯(lián)度，但是考慮到后期客戶流失的多維分析，應(yīng)當盡量確?？蛻粜畔⒌耐暾裕虼?，應(yīng)對客戶的有價值信息予以區(qū)分收集，剔除部分冗余數(shù)據(jù)，減少數(shù)據(jù)噪音。此間要注意的是在客戶流失分析上，從數(shù)據(jù)倉庫中采集數(shù)據(jù)的主要目的是調(diào)查客戶信息的變化情況，因此對數(shù)據(jù)采集時間間隔的設(shè)置顯得尤為重要。若采集時間過長，可能在流失判斷出來時客戶已然流失；若采集時間過于緊密或者實時采集則需要考慮運營商現(xiàn)有系統(tǒng)的支撐能力。

(3)分析數(shù)據(jù)。分析數(shù)據(jù)主要是對提取的數(shù)據(jù)進行分析，找到對預測輸出影響最大的數(shù)據(jù)字段，并決定是否需要定義導出字段。在分析數(shù)據(jù)時需要謹慎選擇對預測相關(guān)的流失客戶數(shù)據(jù)參與建模才能有效建立模型。分析數(shù)據(jù)過程還應(yīng)包括數(shù)據(jù)清洗和數(shù)據(jù)預處理。數(shù)據(jù)清洗和預處理是建模前的數(shù)據(jù)準備工作，主要包括數(shù)據(jù)抽樣、數(shù)據(jù)轉(zhuǎn)換、缺損數(shù)據(jù)處理等。數(shù)據(jù)抽樣是根據(jù)事先確定的數(shù)據(jù)進行樣本抽取，選擇抽樣而不是對整體進行處理，以降低系統(tǒng)的處理量。另外樣本一般分為建模樣本和測試樣本，一部分用來建模，另一部分用來對模型進行修正和檢驗。數(shù)據(jù)轉(zhuǎn)換是為了保證數(shù)據(jù)的質(zhì)量和可用性，比如某些數(shù)據(jù)挖掘模型需要對連續(xù)數(shù)據(jù)進行離散化、歸一化處理等。缺損數(shù)據(jù)有時可以不做處理，由后面具體選擇的數(shù)據(jù)挖掘模型來處理。

(4)模型建立。對數(shù)據(jù)進行分析并利用各種數(shù)據(jù)挖掘技術(shù)和方法在多個可供選擇的模型中找出最佳模型。初始階段可能模型擬合度不高，需要反復更換模型，直到能夠找到最合適的模型來描述數(shù)據(jù)，并從中找到規(guī)律。建立模型通常由數(shù)據(jù)分析專家配合業(yè)務(wù)專家來完成，常用的流失分析模型主要有決策樹、貝葉斯網(wǎng)絡(luò)和神經(jīng)網(wǎng)絡(luò)等。

(5)模型的評估與檢驗。模型建立之后，一般要通過訓練集的測試才能考慮下一步應(yīng)用。比較常規(guī)的驗證方法是輸入一些歷史的流失客戶數(shù)據(jù)，運行此模式予以判斷，比較數(shù)據(jù)挖掘的結(jié)果與已知歷史結(jié)果的差異?？蛻袅魇袛嘁话愦嬖趦煞N錯誤結(jié)果。一是棄真錯誤，即原有歷史客戶具備流失傾向并且已經(jīng)流失，但是模型未能夠準確預測客戶的流失傾向；二是存?zhèn)五e誤，即原有用戶并未有流失的傾向，但被模型判斷為具有流失傾向。

(6)應(yīng)用模型。從前面的工作中可以得出一些簡單的結(jié)論，比如通信支出越少的客戶越容易流失、欠費頻率越高的客戶越容易流失等。除此之外，數(shù)據(jù)挖掘人員還應(yīng)配合業(yè)務(wù)專家，根據(jù)數(shù)據(jù)挖掘分析尋找流失的原因，并找出潛在的規(guī)律，對未來的客戶流失進行預測，指導業(yè)務(wù)行為。

流失分析中需要注意的問題

與其它行業(yè)客戶流失分析相比，電信行業(yè)以其龐大的客戶群而特征鮮明，因此在一些問題的處理上也應(yīng)當多加注意。

(1)過度抽樣。從實際情況上看，國內(nèi)電信企業(yè)每月的客戶流失率一般在1%～3%左右，如果直接采用某種模型(比如決策樹、人工神經(jīng)網(wǎng)絡(luò)等)可能會因為數(shù)據(jù)概率太小而導致模型的失效，因此我們需要加大流失客戶在總樣本中的比例，但是這種過度抽樣必須謹慎小心，要充分考慮它的負面效應(yīng)。

(2)模型的有效性。在實際運用的過程中，數(shù)據(jù)挖掘除了上述提到的兩類錯誤之外還可能存在客戶被判斷具備流失傾向，但當數(shù)據(jù)返回到客戶服務(wù)前臺的時候客戶已經(jīng)流失的情況，其原因可能存在于不同業(yè)務(wù)部門之間協(xié)調(diào)工作的時延過長或者數(shù)據(jù)采集間隔太長等，這使得流失判定預警喪失了原有的意義。

(3)模型的流失后分析。數(shù)據(jù)挖掘在客戶流失管理中的重要應(yīng)用不僅僅應(yīng)包括對客戶流失的提前預警，還應(yīng)包括客戶流失后的問題分析。按照不同的客戶信息緯度，查找最容易流失的客戶群，同業(yè)務(wù)部門人員配合，輔以相關(guān)調(diào)查，力求發(fā)現(xiàn)客戶流失的癥結(jié)所在。然而，這一部分往往由于過度專注于挖掘模型本身的擬合度而忽略了流失管理的實際價值所在。

隨著電信行業(yè)競爭的日益加劇，客戶保留和客戶價值開發(fā)將成長為電信企業(yè)考慮的重點所在，而技術(shù)的不斷進步將為深度的數(shù)據(jù)挖掘提供更多的支持，也必然會被越來越多地應(yīng)用到運營商的客戶關(guān)系管理之中。