如何做好數(shù)據(jù)挖掘模型的9條經(jīng)驗總結(jié)(2)

 第六，洞察律：數(shù)據(jù)挖掘增大對業(yè)務的認知。

    數(shù)據(jù)挖掘是如何產(chǎn)生洞察力的？這個定律接近了數(shù)據(jù)挖掘的核心：為什么數(shù)據(jù)挖掘必須是一個業(yè)務過程而不是一個技術(shù)過程。業(yè)務問題是由人而非算法解決的。數(shù)據(jù)挖掘者和業(yè)務專家從問題中找到解決方案，即從問題的定義域上達到業(yè)務目標需要的模式。數(shù)據(jù)挖掘完全或部分有助于這個認知過程。數(shù)據(jù)挖掘算法揭示的模式通常不是人類以正常的方式所能認識到的。綜合這些算法和人類正常的感知的數(shù)據(jù)挖掘過程在本質(zhì)上是敏捷的。在數(shù)據(jù)挖掘過程中，問題解決者解釋數(shù)據(jù)挖掘算法產(chǎn)生的結(jié)果，并統(tǒng)一到業(yè)務理解上，因此這是一個業(yè)務過程。

    這類似于“智能放大器”的概念，在早期的人工智能的領(lǐng)域，AI的第一個實際成果不是智能機器，而是被稱為“智能放大器”的工具，它能夠協(xié)助人類使用者提高獲取有效信息的能力。數(shù)據(jù)挖掘提供一個類似的“智能放大器”，幫助業(yè)務專家解決他們不能單獨完成的業(yè)務問題。

    總之，數(shù)據(jù)挖掘算法提供一種超越人類以正常方式探索模式的能力，數(shù)據(jù)挖掘過程允許數(shù)據(jù)挖掘者和業(yè)務專家將這種能力融合在他們的各自的問題的中和業(yè)務過程中。

    第七，預測律：預測提高了信息泛化能力。

    “預測”已經(jīng)成為數(shù)據(jù)挖掘模型可以做什么的可接受的描述，即我們常說的“預測模型”和“預測分析”。這是因為許多流行的數(shù)據(jù)挖掘模型經(jīng)常使用“預測最可能的結(jié)果”（或者解釋可能的結(jié)果如何有可能）。這種方法是分類和回歸模型的典型應用。

    但是，其他類型的數(shù)據(jù)挖掘模型，比如聚類和關(guān)聯(lián)模型也有“預測”的特征。這是一個含義比較模糊的術(shù)語。一個聚類模型被描述為“預測”一個個體屬于哪個群體，一個關(guān)聯(lián)模型可能被描述為基于已知基本屬性“預測”一個或更多屬性。

    同樣我們也可以分析“預測”這個術(shù)語在不同的主題中的應用：一個分類模型可能被說成可以預測客戶行為—-更加確切的說它可以預測以某種確定行為的目標客戶，即使不是所有的目標個體的行為都符合“預測”的結(jié)果。一個詐騙檢測模型可能被說成可以預測個別交易是否具有高風險性，即使不是所有的預測的交易都有欺詐行為。

    “預測”這個術(shù)語廣泛的使用導致了所謂的“預測分析”被作為數(shù)據(jù)挖掘的總稱，并且在業(yè)務解決方案中得到了廣泛的應用。但是我們應該意識到這不是日常所說的“預測”，我們不能期望預測一個特殊個體的行為或者一個特別的欺詐調(diào)查結(jié)果。

    那么，在這個意義下的“預測”是什么？分類、回歸、聚類和 關(guān)聯(lián)算法以及他們集成模型有什么共性呢？答案在于“評分”，這是預測模型應用到一個新樣例的方式。模型產(chǎn)生一個預估值或評分，這是這個樣例的新信息的一部分；在概括和歸納的基礎(chǔ)上，這個樣例的可利用信息得到了提高，模式被算法發(fā)現(xiàn)和模型具體化。值得注意的是這個新信息不是在“給定”意義上的“數(shù)據(jù)”，它僅有統(tǒng)計學意義。

    第八，價值律：數(shù)據(jù)挖掘的結(jié)果的價值不取決于模型的穩(wěn)定性或預測的準確性。

    準確性和穩(wěn)定性是預測模型常用的兩個度量。準確性是指正確的預測結(jié)果所占的比例；穩(wěn)定性是指當創(chuàng)建模型的數(shù)據(jù)改變時，用于同一口徑的預測數(shù)據(jù)，其預測結(jié)果變化有多大（或多?。?。鑒于數(shù)據(jù)挖掘中預測概念的核心角色，一個預測模型的準確性和穩(wěn)定性常被認為決定了其結(jié)果的價值的大小，實際上并非如此。

    體現(xiàn)預測模型價值的有兩種方式：一種是用模型的預測結(jié)果來改善或影響行為，另一種是模型能夠傳遞導致改變策略的見解（或新知識）。

    對于后者，傳遞出的任何新知識的價值和準確性的聯(lián)系并不那么緊密；一些模型的預測能力可能有必要使我們相信發(fā)現(xiàn)的模式是真實的。然而，一個難以理解的復雜的或者完全不透明的模型的預測結(jié)果具有高準確性，但傳遞的知識也不是那么有見地；然而，一個簡單的低準確度的模型可能傳遞出更有用的見解。

    準確性和價值之間的分離在改善行為的情況下并不明顯，然而一個突出問題是“預測模型是為了正確的事，還是為了正確的原因？” 換句話說，一個模型的價值和它的預測準確度一樣，都源自它的業(yè)務問題。例如，客戶流失模型可能需要高的預測準確度，否則對于業(yè)務上的指導不會那么有效。相反的是一個準確度高的客戶流失模型可能提供有效的指導，保留住老客戶，但也僅僅是最少利潤客戶群體的一部分。如果不適合業(yè)務問題，高準確度并不能提高模型的價值。

    模型穩(wěn)定性同樣如此，雖然穩(wěn)定性是預測模型的有趣的度量，穩(wěn)定性不能代替模型提供業(yè)務理解的能力或解決業(yè)務問題，其它技術(shù)手段也是如此。

    總之，預測模型的價值不是由技術(shù)指標決定的。數(shù)據(jù)挖掘者應該在模型不損害業(yè)務理解和適應業(yè)務問題的情況下關(guān)注預測準確度、模型穩(wěn)定性以及其它的技術(shù)度量。

    第九，變化律：所有的模式因業(yè)務變化而變化。

    數(shù)據(jù)挖掘發(fā)現(xiàn)的模式不是永遠不變的。數(shù)據(jù)挖掘的許多應用是眾所周知的，但是這個性質(zhì)的普遍性沒有得到廣泛的重視。

    數(shù)據(jù)挖掘在市場營銷和CRM方面的應用很容易理解，客戶行為模式隨著時間的變化而變化。行為的變化、市場的變化、競爭的變化以及整個經(jīng)濟形勢的變化，預測模型會因這些變化而過時，當他們不能準確預測時，應當定期更新。

    數(shù)據(jù)挖掘在欺詐模型和風險模型的應用中同樣如此，隨著環(huán)境的變化欺詐行為也在變化，因為罪犯要改變行為以保持領(lǐng)先于反欺詐。欺詐檢測的應用必須設計為就像處理舊的、熟悉的欺詐行為一樣能夠處理新的、未知類型的欺詐行為。

    某些種類的數(shù)據(jù)挖掘可能被認為發(fā)現(xiàn)的模式不會隨時間而變化，比如數(shù)據(jù)挖掘在科學上的應用，我們有沒有發(fā)現(xiàn)不變的普遍的規(guī)律？也許令人驚奇的是，答案是即使是這些模式也期望得到改變。理由是這些模式并不是簡單的存在于這個世界上的規(guī)則，而是數(shù)據(jù)的反應—-這些規(guī)則可能在某些領(lǐng)域確實是靜態(tài)的。

    然而，數(shù)據(jù)挖掘發(fā)現(xiàn)的模式是認知過程的一部分，是數(shù)據(jù)挖掘在數(shù)據(jù)描述的世界與觀測者或業(yè)務專家的認知之間建立的一個動態(tài)過程。因為我們的認知在持續(xù)發(fā)展和增長，所以我們也期望模式也會變化。明天的數(shù)據(jù)表面上看起來相似，但是它可能已經(jīng)集合了不同的模式、（可能巧妙地）不同的目的、不同的語義；分析過程因受業(yè)務知識驅(qū)動，所以會隨著業(yè)務知識的變化而變化。基于這些原因，模式會有所不同。

    總之，所有的模式都會變化，因為他們不僅反映了一個變化的世界，也反映了我們變化的認知。

    后記：

    這九條定律是關(guān)于數(shù)據(jù)挖掘的簡單的真知。這九條定律的大部分已為數(shù)據(jù)挖掘者熟知，但仍有一些不熟悉（例如，第五、第六、第七）。大多數(shù)新觀點的解釋都和這九條定律有關(guān)，它試圖解釋眾所周知的數(shù)據(jù)挖掘過程中的背后的原因。

    我們?yōu)槭裁春伪卦谝?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘過程所采用的形式呢？除了知識和理解這些簡單的訴求，有實實在在的理由去探討這些問題。

    數(shù)據(jù)挖掘過程以現(xiàn)在的形式存在是因為技術(shù)的發(fā)展—-機器學習算法的普及以及綜合其它技術(shù)集成這些算法的平臺的發(fā)展，使得商業(yè)用戶易于接受。我們是否應該期望因技術(shù)的改變而改變數(shù)據(jù)挖掘過程？最終它會改變，但是如果我們理解數(shù)據(jù)挖掘過程形成的原因，然后我們可以辨別技術(shù)可以改變的和不能改變的。

    一些技術(shù)的發(fā)展在預測分析領(lǐng)域具有革命性的作用，例如數(shù)據(jù)預處理的自動化、模型的重建以及在部署的框架里通過預測模型集成業(yè)務規(guī)則。數(shù)據(jù)挖掘的九條定律及其解釋說明：技術(shù)的發(fā)展不會改變數(shù)據(jù)挖掘過程的本質(zhì)。這九條定律以及這些思想的進一步發(fā)展，除了有對數(shù)據(jù)挖掘者的教育價值之外，應該被用來判別未來任何數(shù)據(jù)挖掘過程革命性變化的訴求。