一小時了解數(shù)據(jù)挖掘④：商務(wù)智能原理解讀の數(shù)據(jù)挖掘九大定律

馬云在2012年網(wǎng)商大會上的演講中說過：“假如我們數(shù)據(jù)分析師有了一個數(shù)據(jù)預(yù)報臺，就像為企業(yè)裝上了一個GPS和雷達(dá)，企業(yè)的出海將會更有把握。”。這里的數(shù)據(jù)預(yù)報臺就是下文所述的商業(yè)智能。

什么是商業(yè)智能（Business Intelligence）

數(shù)據(jù)挖掘的最終目的是要實現(xiàn)數(shù)據(jù)的價值，而商業(yè)智能是在企業(yè)中實現(xiàn)數(shù)據(jù)價值的最佳方式之一。商業(yè)智能（Business Intelligence，簡 稱BI）的概念最早是Gartner公司于1996年提出來的。當(dāng)時將商業(yè)智能定義為一類由數(shù)據(jù)倉庫（或數(shù)據(jù)集市）、查詢報表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成的，以幫助企業(yè)決策為目的技術(shù)及其應(yīng)用。Gartner 公司的Howard Dressner把商業(yè)智能定義成為把數(shù)據(jù)轉(zhuǎn)化成信息，并通過迭代發(fā)現(xiàn)（Iterative Discoveries）把信息轉(zhuǎn)化成商業(yè)上可用的知識。

在我們數(shù)據(jù)分析師看來，商業(yè)智能就是能夠從（海量）業(yè)務(wù)和相關(guān)數(shù)據(jù)中提取有用的信息，把信息轉(zhuǎn)化成知識，然后根據(jù)這些知識采用正確的商務(wù)行為的工具。在本書的范疇內(nèi)，我們提到的BI（商業(yè)智能）工具都是指在數(shù)據(jù)挖掘基礎(chǔ)上的工具。如圖所示。

商業(yè)智能示意圖

現(xiàn)在數(shù)據(jù)挖掘技術(shù)在商業(yè)應(yīng)用中已經(jīng)相當(dāng)廣泛，因為對數(shù)據(jù)挖掘技術(shù)進(jìn)行支持的三種基礎(chǔ)技術(shù)已經(jīng)發(fā)展成熟，這三種基礎(chǔ)技術(shù)是：

• 海量數(shù)據(jù)收集和存儲技術(shù)。
• 強(qiáng)大的計算機(jī)集群和分布式計算技術(shù)。
• 數(shù)據(jù)挖掘算法。

商業(yè)數(shù)據(jù)庫現(xiàn)在正在以一個空前的速度增長，并且數(shù)據(jù)倉庫正在廣泛地應(yīng)用于各種行業(yè)。對計算機(jī)硬件性能越來越高的要求，也可以用現(xiàn)在已經(jīng)成熟的并行多處理機(jī)的技術(shù)來滿足。另外數(shù)據(jù)挖掘算法經(jīng)過了這10多年的發(fā)展也已經(jīng)成為一種成熟、穩(wěn)定，且易于理解和操作的技術(shù)。

現(xiàn)在面臨的尷尬的境地是數(shù)據(jù)豐富，信息匱乏（Data Rich But Information Poor）?？焖僭鲩L的海量數(shù)據(jù)，已經(jīng)遠(yuǎn)遠(yuǎn)地超過了人們的理解能力，如果不借助強(qiáng)有力的工具，很難弄清大堆數(shù)據(jù)中所蘊含的知識。結(jié)果，重要決策只是基于制定決策者的個人經(jīng)驗，而不是基于信息豐富的數(shù)據(jù)。數(shù)據(jù)挖掘就這樣應(yīng)運而生，數(shù)據(jù)挖掘填補(bǔ)了數(shù)據(jù)和信息之間的鴻溝。Erik Brynjolfsson曾經(jīng)說過：有數(shù)據(jù)支持的（商業(yè)）決定總是更好的決定。數(shù)據(jù)在商業(yè)運營上要能起到作用，我們必須要做到：

• 理解數(shù)據(jù)的上下文，明白數(shù)據(jù)到底支持商業(yè)運營的什么過程。
• 簡化過程，使得數(shù)據(jù)更加便于管理。
• 在不同的渠道、應(yīng)用和設(shè)備上整合數(shù)據(jù)。
• 豐富、匹配和清理數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量。
• 充分利用數(shù)據(jù)，比如整合關(guān)于消費者、市場和機(jī)會的數(shù)據(jù)。
• 選擇合適的存儲介質(zhì)，比如私有云、公有云還是專門設(shè)計的云存儲。
• 獲取最終結(jié)果數(shù)據(jù)并在各種終端上用可視化方式展示（包括移動終端）。

在最開始制定商業(yè)智能數(shù)據(jù)戰(zhàn)略時，考慮的不應(yīng)該是技術(shù)，而是從商業(yè)角度出發(fā)，看到底需要完成怎樣的商業(yè)目標(biāo)，再來制定數(shù)據(jù)挖掘過程。

比如在商業(yè)銀行信用卡部門，我們需要做信用卡欺詐監(jiān)測。商業(yè)目的很明確，就是要以最快的速度發(fā)現(xiàn)90%以上的欺詐交易，而可以提供的數(shù)據(jù)就是之前所有的交易記錄。那么如何判別某一個交易可能是欺詐行為呢？常用的數(shù)據(jù)挖掘方式是通過神經(jīng)網(wǎng)絡(luò)。我們通過正面和負(fù)面的實例訓(xùn)練這個神經(jīng)網(wǎng)絡(luò)，然后給每個交易打分，如果低于某個數(shù)值，那么就判定這條交易是正常的，否則就判定它為欺詐交易。

商業(yè)智能還有一個重要的原因是競爭?，F(xiàn)在的企業(yè)競爭對象不一定來自身邊，甚至不一定來自于同一個國家，商業(yè)競爭的全球化導(dǎo)致了中國企業(yè)必須提高對商業(yè)智能的重視，因為商業(yè)智能在歐美的企業(yè)中正相當(dāng)普及。

當(dāng)我們已經(jīng)建立了一套完整的商業(yè)智能系統(tǒng)之后，可以通過如圖所示的流程來定期做數(shù)據(jù)分析。

商業(yè)智能分析示意圖

下面我們對上圖的商業(yè)智能分析中的各個階段做個簡單的解釋。

看趨勢：即觀察關(guān)鍵考核指標(biāo)KPI數(shù)據(jù)的日、周、月、季度、年的圖表曲線趨勢。KPI數(shù)據(jù)是上升了還是下降了。關(guān)聯(lián)的其他相關(guān)KPI曲線，是否呈現(xiàn)了應(yīng)該有的關(guān)聯(lián)性。環(huán)比同比的百分比如何等。

尋找變異：即找到單一KPI數(shù)據(jù)中的異常值，或者關(guān)聯(lián)數(shù)據(jù)中非關(guān)聯(lián)的異常部分。

分析原因：當(dāng)我們數(shù)據(jù)分析師找到了異常值，就需要分析造成這一異常的原因?？串惓０l(fā)生的時間節(jié)點，看內(nèi)部和外部的關(guān)聯(lián)活動，看問題發(fā)生原因的構(gòu)成，并把原因分解成獨立的元素一一列出，標(biāo)出權(quán)重，哪些是相對影響較大的，哪些又是可能的原因等。

制定對策：數(shù)據(jù)分析師在正確的分析了相關(guān)原因后，就需要給出解決方法和策略。一般來說，一個原因?qū)?yīng)一個解決策略。當(dāng)然也可能有多個解決策略對應(yīng)于同一個原因。我們選擇最切合實際，最可執(zhí)行的對策和行動策略。

數(shù)據(jù)挖掘的九大定律

數(shù)據(jù)挖掘通用流程CRISP-DM的締造者之一Tom Khabaza曾總結(jié)了在數(shù)據(jù)挖掘上的九大定律，如下所示。

（1）Business Goals Law：每個數(shù)據(jù)挖掘解決方案的根源都是有商業(yè)目的的。

（2）Business Knowledge Law：數(shù)據(jù)挖掘過程的每一步都需要以商業(yè)信息為中心。

（3）Data Preparation Law：數(shù)據(jù)挖掘過程前期的數(shù)據(jù)準(zhǔn)備工作要超過整個過程的一半。

（4）NFL Law：NFL（沒有免費午餐，No Free Lunch）。 對于數(shù)據(jù)挖掘者來說沒有免費的午餐，數(shù)據(jù)挖掘的任何一個過程都是來之不易的。

（5）Watkins’ Law：此定律以此命名是因為David Watkins首次提出這個概念。這個定律說的是在數(shù)據(jù)的世界里，總是有模式可循的。您找不到規(guī)律不是因為規(guī)律不存在，而是因為您還沒有發(fā)現(xiàn)它。

（6）Insight Law：數(shù)據(jù)挖掘可以把商業(yè)領(lǐng)域的信息放大。

（7）Prediction Law：預(yù)測可以為我們增加信息。

（8）Value Law：數(shù)據(jù)挖掘模式的精準(zhǔn)和穩(wěn)定并不決定數(shù)據(jù)挖掘過程的價值，換句話說技術(shù)手段再精妙，沒有商業(yè)意義和合適的商業(yè)應(yīng)用是沒有價值的。

（9）Law of Change：所有的模式都會變化。

上面這九條其實歸根到底就是一條，商業(yè)決定數(shù)據(jù)挖掘。數(shù)據(jù)挖掘各類技術(shù)和算法的飛速發(fā)展不能讓我們偏離以商業(yè)行為為核心的方向，只是純粹為了追求高深的技術(shù)而忽略或損害到商業(yè)目的就本末倒置了。

數(shù)據(jù)挖掘很糾結(jié)

數(shù)據(jù)挖掘的世界既是地雷陣，同時又是金礦。大量的數(shù)據(jù)沒能被及時處理，稱得上是暴殄天物。雖然通過保存相關(guān)數(shù)據(jù)，我們可以保證以后對數(shù)據(jù)信息的方便使用，但是對于工作量日趨繁
重的數(shù)據(jù)保存工作，很多企業(yè)可能還是選擇荒廢部分?jǐn)?shù)據(jù)。大數(shù)據(jù)時代已經(jīng)來臨，不管有多大困難，我們從現(xiàn)在開始都需要考慮評估和集成數(shù)據(jù)挖掘應(yīng)用。即使不能找到合適的數(shù)據(jù)挖掘方法來處理數(shù)據(jù)，至少我們需要用數(shù)據(jù)倉庫把原始數(shù)據(jù)保留起來，以供將來使用。

下面列舉一些我們在給企業(yè)做數(shù)據(jù)挖掘時看到的問題：

對于數(shù)據(jù)挖掘需要解決的問題，很少有現(xiàn)成的解決方案，而且于某個問題，可能有多種數(shù)據(jù)挖掘算法可以使用，但通常只有一個最好的算法。當(dāng)我們選擇了一個數(shù)據(jù)挖掘算法時，首先要弄清楚它是否適合想解決的問題。如果本身方法選擇不合適，那么再好的執(zhí)行也沒有用。

從市場角度來看，數(shù)據(jù)挖掘依舊面臨其他因素的挑戰(zhàn)。數(shù)據(jù)挖掘非常有前景，但是市場中數(shù)據(jù)噪聲太多，會導(dǎo)致數(shù)據(jù)價值大大降低。以無線營銷為例，大量的虛假應(yīng)用下載和使用以及虛假好評差評等數(shù)據(jù)嚴(yán)重干擾了數(shù)據(jù)的準(zhǔn)確性，大大降低了數(shù)據(jù)的價值。

在中國，數(shù)據(jù)挖掘市場整體來說還不成熟。首先在意識上，一些商業(yè)領(lǐng)袖們對數(shù)據(jù)挖掘將信將疑，不愿意做投入；另一方面，采用了數(shù)據(jù)挖掘的公司只追求最后的結(jié)果，而對數(shù)據(jù)挖掘過程、數(shù)據(jù)的存儲、數(shù)據(jù)挖掘結(jié)果的知識積累和呈現(xiàn)不重視。

數(shù)據(jù)挖掘有時導(dǎo)出的結(jié)果是不完善的，每次導(dǎo)出的結(jié)果和應(yīng)用的數(shù)據(jù)集直接相關(guān)。如果數(shù)據(jù)集發(fā)生變化，就需要重新進(jìn)行挖掘。如果沒有考慮數(shù)據(jù)變化而盲目采用數(shù)據(jù)變化之前的策略，那么結(jié)果是不可預(yù)料的。

這些問題都是確實存在的，其中關(guān)于市場的問題在一定時間之后會有好轉(zhuǎn)，而數(shù)據(jù)挖掘過程中的這些問題就需要數(shù)據(jù)分析師和數(shù)據(jù)應(yīng)用使用者提高自己的經(jīng)驗來解決了。