數(shù)據(jù)挖掘在電信欺詐偵測中的應用_數(shù)據(jù)分析師考試

隨著移動業(yè)務的迅猛發(fā)展，移動通信業(yè)的收入日益增長。但是，隨之而來的移動網(wǎng)絡的欺詐行為也不斷涌現(xiàn)，全球移動通信業(yè)都廣泛面臨著無線欺詐的嚴重問題，從而導致電信運營商的收入受到損失，額外支出的增加，進而致使利潤下降，而移動用戶的合法權益也受到損害，電信運營商的信譽無法得到保障。 

無線欺詐類型可以簡單的分為四類：

（1）時間欺詐：占用了移動通信的時長而不付費用，該類欺詐可以分為兩類，一是技術型欺詐(包括碼機、魔術電話等)，另一類是用戶欺詐(漫游、濫用補充業(yè)務以及善意的欺詐行為)；

（2）內(nèi)部欺詐：運營商內(nèi)部人員利用職權非法牟利；

（3）手機欺詐：進行非法手機的交易，如再生盜用手機、偽造手機資源等行為；

（4）分銷商欺詐：為了獲取非法傭金而進行的欺詐；

“并非只有中國的電信運營商存在巨額的欠費損失，例如惡意欠費這樣的欺詐行為普遍存在各個國家的電信運營商里。這部分損失的比例根據(jù)電信運營商管理水平的不同在0.5%-10%之間。尤其隨著電信競爭的激烈，更可能誘發(fā)欺詐。為了吸納客戶增加用戶數(shù)，運營商經(jīng)常主動或者被動地降低入網(wǎng)門檻，從而給予某些人可乘之機?！盙artner咨詢公司負責電信運營商管理咨詢的蔣炳慶分析欺詐產(chǎn)生的一些原因，重點提到隨著電信競爭的激烈，這樣的現(xiàn)象將越來越多。欺詐用戶對企業(yè)造成了很大的損失，一方面這些用戶往往是欠費的，另一方面這些用戶實施完欺詐手段一般都會離網(wǎng)。如何發(fā)現(xiàn)欺詐客戶的特征，有效的阻止欺詐正是本文欲探討和解決的問題。

2、相關技術

2．1數(shù)據(jù)挖掘

數(shù)據(jù)挖掘也稱KDD(knowledge discovery in databases)是從大量數(shù)據(jù)中發(fā)現(xiàn)正確的新穎的潛在有用并能夠被理解的知識的過程[1]。數(shù)據(jù)挖掘的目的是提高市場決策能力；檢測異常模式；在過去的經(jīng)驗基礎上預言未來趨勢等。數(shù)據(jù)挖掘是多技術的融合，涉及的技術有統(tǒng)計推理、機器學習、可視化、并行處理等。數(shù)據(jù)經(jīng)過挖掘算法（如聚類算法、分類算法、關聯(lián)規(guī)則、線性回歸等）生成挖掘模型，挖掘模型的運行產(chǎn)生挖掘結果[2]，也就是隱藏在數(shù)據(jù)中的知識。

2.2群點發(fā)現(xiàn)

在許多數(shù)據(jù)挖掘應用中,如電信領域的欺詐行為偵測,例外情況或離群點的發(fā)現(xiàn)比常規(guī)知識的發(fā)現(xiàn)更有意義。離群點發(fā)現(xiàn)是數(shù)據(jù)挖掘中一類比較特殊而又重要的應用，大多數(shù)算法主要是發(fā)現(xiàn)常規(guī)模式，而消除噪聲影響。離群點發(fā)現(xiàn)正是尋找那些看起來像是噪聲，卻非常有價值的信息。

數(shù)據(jù)挖掘中多數(shù)聚類算法（如神經(jīng)網(wǎng)絡、Kohonen、K-means等）能夠發(fā)現(xiàn)一些例外情況。最近,有一些研究是專門針對離群點發(fā)現(xiàn)的[3～5]。本文運用三個成熟的聚類算法神經(jīng)網(wǎng)絡、Kohonen、K-means進行實驗比較，在本實驗中發(fā)現(xiàn)Kohonen算法對于離群點發(fā)現(xiàn)準確率和召回率最高。

2.3  Kohonen算法原理

在對人類的神經(jīng)系統(tǒng)及腦的研究中，人們發(fā)現(xiàn)：人腦的某些區(qū)域對某種信息或感覺敏感，如人腦的某一部分進行機械記憶特別有效；而某一部分進行抽象思維特別有效。這種情況使人們對大腦的作用的整體性與局部性特征有所認識[6]。

對大腦的研究說明，大腦是由大量協(xié)同作用的神經(jīng)元群體組成的。大腦的神經(jīng)網(wǎng)絡是一個十分復雜的反饋系統(tǒng)；在這個系統(tǒng)含有各種反饋作用，有整體反饋，局部反饋；另外，還有化學交互作用。在大腦處理信息的過程中，聚類是其極其重要的功能。大腦通過聚類過程從而識別外界信號，并產(chǎn)生自組織過程。

依據(jù)大腦對信號處理的特點，在1981年，T．Kohonen提出了一種神經(jīng)網(wǎng)絡模型，也就是自組織特征映射模型SOM(Seh—Organizing fenture Map)。

Kohonen的思想在本質上是希望解決有關外界信息在人腦中自組織地形成概念的問題。對于一個系統(tǒng)來說，就是要解決一個系統(tǒng)在受外界信息作用時在內(nèi)部自組織地形成對應表示形式。這包括神經(jīng)網(wǎng)絡的權系數(shù)調整。

在神經(jīng)網(wǎng)絡的SOM模型中，每一個權系數(shù)的有序序列 Wj=(W1j，W2j，...Wnj)都可以看作是神經(jīng)網(wǎng)絡的一種內(nèi)部表示，它是有序的輸入序列X=(X1，X2，...，Xn)的相對應映象。
SOM模型可以實現(xiàn)自組織功能。自組織的目的就是通過調整權系數(shù)Wij，使神經(jīng)網(wǎng)絡收斂于一種表示形態(tài)，在這一表示形態(tài)中的一個神經(jīng)元只對某種輸入模式特別匹配或特別
敏感。換而言之,自組織映射的目的就是使神經(jīng)元的權系數(shù)的形態(tài)表示可以間接模仿輸入的信號模式。自組織特征映射網(wǎng)絡的學習是一種無監(jiān)督的學習，輸人信號模式是環(huán)境自行給出的，而不是人為給出的。

3 欺詐偵測

以下按照CRISP-DM的步驟提出電信領域欺詐偵測的解決方案。首先進行商業(yè)理解，定位要解決的欺詐問題。在背景知識中已經(jīng)介紹過，電信領域欺詐有很多種情況，有些是可以通過完善制度解決，有些可以通過非數(shù)據(jù)挖掘技術解決（如提高實時扣費實時性等）。這里我們利用數(shù)據(jù)挖掘的手段解決惡意欠費的欺詐問題。通過用戶的通話行為屬性和已確定的欺詐行為特征比較，對可能的欺詐用戶進行預警或者停機。由于移動運行商都對通話行為進行了監(jiān)控，理想情況下有限信用用戶在超過一定的消費額度就會催繳，進而監(jiān)控停機。惡意通話欠費主要表現(xiàn)為在短時間內(nèi)的高額通話。

電信運營支撐系統(tǒng)要正常運行，需要很多表信息相互協(xié)作。如用戶資料、通話詳單、月帳單、銷帳表、欠費表、監(jiān)控信息、結算信息等等。只有對這些數(shù)據(jù)進行準確的理解，才能制定有效的解決方案。

在進行數(shù)據(jù)理解之后，進行數(shù)據(jù)準備的工作，為模型建立做準備。建立模型的數(shù)據(jù)需要是經(jīng)過清理的干凈的客觀的數(shù)據(jù)。欺詐是用戶的行為，本解決方案也從用戶的行為中偵測。而對于用戶資料這些靜態(tài)的有一定主觀性（可能會誤填）的信息，則不能用于建立模型。實驗選取某運行商某年某月的用戶的詳單信息，付款情況，欠費情況，帳單信息等數(shù)據(jù)，從通話行為的異常出發(fā)，采用聚類分析方法中的孤立點分析方法，發(fā)現(xiàn)欺詐用戶。

4 結論

本文將數(shù)據(jù)挖掘技術應用于電信領域的欺詐偵測，針對移動電信領域惡意欠費欺詐情況提出一種偵測的可行性方案，并用某移動電信運營商的真實數(shù)據(jù)進行了驗證。所謂“道高一尺，魔高一丈”，我們不能窮盡所有的欺詐行為，本文也不能窮盡所有的解決方案，本文旨在通過分析一種典型的欺詐行為，給出一種解決方案，具體的實施與要求有待與移動運營商進行深入的交流，從而使數(shù)據(jù)挖掘在多個角度不僅可以描述現(xiàn)在，而且可以預測未來。