一小時(shí)了解數(shù)據(jù)挖掘④：商務(wù)智能原理解讀の數(shù)據(jù)挖掘九大定律

馬云在2012年網(wǎng)商大會(huì)上的演講中說過：“假如我們數(shù)據(jù)分析師有了一個(gè)數(shù)據(jù)預(yù)報(bào)臺(tái)，就像為企業(yè)裝上了一個(gè)GPS和雷達(dá)，企業(yè)的出海將會(huì)更有把握?！薄＿@里的數(shù)據(jù)預(yù)報(bào)臺(tái)就是下文所述的商業(yè)智能。

什么是商業(yè)智能（Business Intelligence）

數(shù)據(jù)挖掘的最終目的是要實(shí)現(xiàn)數(shù)據(jù)的價(jià)值，而商業(yè)智能是在企業(yè)中實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最佳方式之一。商業(yè)智能（Business Intelligence，簡(jiǎn) 稱BI）的概念最早是Gartner公司于1996年提出來的。當(dāng)時(shí)將商業(yè)智能定義為一類由數(shù)據(jù)倉庫（或數(shù)據(jù)集市）、查詢報(bào)表、數(shù)據(jù)分析、數(shù)據(jù)挖掘、數(shù)據(jù)備份和恢復(fù)等部分組成的，以幫助企業(yè)決策為目的技術(shù)及其應(yīng)用。Gartner 公司的Howard Dressner把商業(yè)智能定義成為把數(shù)據(jù)轉(zhuǎn)化成信息，并通過迭代發(fā)現(xiàn)（Iterative Discoveries）把信息轉(zhuǎn)化成商業(yè)上可用的知識(shí)。

在我們數(shù)據(jù)分析師看來，商業(yè)智能就是能夠從（海量）業(yè)務(wù)和相關(guān)數(shù)據(jù)中提取有用的信息，把信息轉(zhuǎn)化成知識(shí)，然后根據(jù)這些知識(shí)采用正確的商務(wù)行為的工具。在本書的范疇內(nèi)，我們提到的BI（商業(yè)智能）工具都是指在數(shù)據(jù)挖掘基礎(chǔ)上的工具。如圖所示。

商業(yè)智能示意圖

現(xiàn)在數(shù)據(jù)挖掘技術(shù)在商業(yè)應(yīng)用中已經(jīng)相當(dāng)廣泛，因?yàn)閷?duì)數(shù)據(jù)挖掘技術(shù)進(jìn)行支持的三種基礎(chǔ)技術(shù)已經(jīng)發(fā)展成熟，這三種基礎(chǔ)技術(shù)是：

• 海量數(shù)據(jù)收集和存儲(chǔ)技術(shù)。
• 強(qiáng)大的計(jì)算機(jī)集群和分布式計(jì)算技術(shù)。
• 數(shù)據(jù)挖掘算法。

商業(yè)數(shù)據(jù)庫現(xiàn)在正在以一個(gè)空前的速度增長(zhǎng)，并且數(shù)據(jù)倉庫正在廣泛地應(yīng)用于各種行業(yè)。對(duì)計(jì)算機(jī)硬件性能越來越高的要求，也可以用現(xiàn)在已經(jīng)成熟的并行多處理機(jī)的技術(shù)來滿足。另外數(shù)據(jù)挖掘算法經(jīng)過了這10多年的發(fā)展也已經(jīng)成為一種成熟、穩(wěn)定，且易于理解和操作的技術(shù)。

現(xiàn)在面臨的尷尬的境地是數(shù)據(jù)豐富，信息匱乏（Data Rich But Information Poor）?？焖僭鲩L(zhǎng)的海量數(shù)據(jù)，已經(jīng)遠(yuǎn)遠(yuǎn)地超過了人們的理解能力，如果不借助強(qiáng)有力的工具，很難弄清大堆數(shù)據(jù)中所蘊(yùn)含的知識(shí)。結(jié)果，重要決策只是基于制定決策者的個(gè)人經(jīng)驗(yàn)，而不是基于信息豐富的數(shù)據(jù)。數(shù)據(jù)挖掘就這樣應(yīng)運(yùn)而生，數(shù)據(jù)挖掘填補(bǔ)了數(shù)據(jù)和信息之間的鴻溝。Erik Brynjolfsson曾經(jīng)說過：有數(shù)據(jù)支持的（商業(yè)）決定總是更好的決定。數(shù)據(jù)在商業(yè)運(yùn)營上要能起到作用，我們必須要做到：

• 理解數(shù)據(jù)的上下文，明白數(shù)據(jù)到底支持商業(yè)運(yùn)營的什么過程。
• 簡(jiǎn)化過程，使得數(shù)據(jù)更加便于管理。
• 在不同的渠道、應(yīng)用和設(shè)備上整合數(shù)據(jù)。
• 豐富、匹配和清理數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量。
• 充分利用數(shù)據(jù)，比如整合關(guān)于消費(fèi)者、市場(chǎng)和機(jī)會(huì)的數(shù)據(jù)。
• 選擇合適的存儲(chǔ)介質(zhì)，比如私有云、公有云還是專門設(shè)計(jì)的云存儲(chǔ)。
• 獲取最終結(jié)果數(shù)據(jù)并在各種終端上用可視化方式展示（包括移動(dòng)終端）。

在最開始制定商業(yè)智能數(shù)據(jù)戰(zhàn)略時(shí)，考慮的不應(yīng)該是技術(shù)，而是從商業(yè)角度出發(fā)，看到底需要完成怎樣的商業(yè)目標(biāo)，再來制定數(shù)據(jù)挖掘過程。

比如在商業(yè)銀行信用卡部門，我們需要做信用卡欺詐監(jiān)測(cè)。商業(yè)目的很明確，就是要以最快的速度發(fā)現(xiàn)90%以上的欺詐交易，而可以提供的數(shù)據(jù)就是之前所有的交易記錄。那么如何判別某一個(gè)交易可能是欺詐行為呢？常用的數(shù)據(jù)挖掘方式是通過神經(jīng)網(wǎng)絡(luò)。我們通過正面和負(fù)面的實(shí)例訓(xùn)練這個(gè)神經(jīng)網(wǎng)絡(luò)，然后給每個(gè)交易打分，如果低于某個(gè)數(shù)值，那么就判定這條交易是正常的，否則就判定它為欺詐交易。

商業(yè)智能還有一個(gè)重要的原因是競(jìng)爭(zhēng)?，F(xiàn)在的企業(yè)競(jìng)爭(zhēng)對(duì)象不一定來自身邊，甚至不一定來自于同一個(gè)國家，商業(yè)競(jìng)爭(zhēng)的全球化導(dǎo)致了中國企業(yè)必須提高對(duì)商業(yè)智能的重視，因?yàn)?a href='/map/shangyezhineng/' style='color:#000;font-size:inherit;'>商業(yè)智能在歐美的企業(yè)中正相當(dāng)普及。

當(dāng)我們已經(jīng)建立了一套完整的商業(yè)智能系統(tǒng)之后，可以通過如圖所示的流程來定期做數(shù)據(jù)分析。

商業(yè)智能分析示意圖

下面我們對(duì)上圖的商業(yè)智能分析中的各個(gè)階段做個(gè)簡(jiǎn)單的解釋。

看趨勢(shì)：即觀察關(guān)鍵考核指標(biāo)KPI數(shù)據(jù)的日、周、月、季度、年的圖表曲線趨勢(shì)。KPI數(shù)據(jù)是上升了還是下降了。關(guān)聯(lián)的其他相關(guān)KPI曲線，是否呈現(xiàn)了應(yīng)該有的關(guān)聯(lián)性。環(huán)比同比的百分比如何等。

尋找變異：即找到單一KPI數(shù)據(jù)中的異常值，或者關(guān)聯(lián)數(shù)據(jù)中非關(guān)聯(lián)的異常部分。

分析原因：當(dāng)我們數(shù)據(jù)分析師找到了異常值，就需要分析造成這一異常的原因?？串惓０l(fā)生的時(shí)間節(jié)點(diǎn)，看內(nèi)部和外部的關(guān)聯(lián)活動(dòng)，看問題發(fā)生原因的構(gòu)成，并把原因分解成獨(dú)立的元素一一列出，標(biāo)出權(quán)重，哪些是相對(duì)影響較大的，哪些又是可能的原因等。

制定對(duì)策：數(shù)據(jù)分析師在正確的分析了相關(guān)原因后，就需要給出解決方法和策略。一般來說，一個(gè)原因?qū)?yīng)一個(gè)解決策略。當(dāng)然也可能有多個(gè)解決策略對(duì)應(yīng)于同一個(gè)原因。我們選擇最切合實(shí)際，最可執(zhí)行的對(duì)策和行動(dòng)策略。

數(shù)據(jù)挖掘的九大定律

數(shù)據(jù)挖掘通用流程CRISP-DM的締造者之一Tom Khabaza曾總結(jié)了在數(shù)據(jù)挖掘上的九大定律，如下所示。

（1）Business Goals Law：每個(gè)數(shù)據(jù)挖掘解決方案的根源都是有商業(yè)目的的。

（2）Business Knowledge Law：數(shù)據(jù)挖掘過程的每一步都需要以商業(yè)信息為中心。

（3）Data Preparation Law：數(shù)據(jù)挖掘過程前期的數(shù)據(jù)準(zhǔn)備工作要超過整個(gè)過程的一半。

（4）NFL Law：NFL（沒有免費(fèi)午餐，No Free Lunch）。 對(duì)于數(shù)據(jù)挖掘者來說沒有免費(fèi)的午餐，數(shù)據(jù)挖掘的任何一個(gè)過程都是來之不易的。

（5）Watkins’ Law：此定律以此命名是因?yàn)镈avid Watkins首次提出這個(gè)概念。這個(gè)定律說的是在數(shù)據(jù)的世界里，總是有模式可循的。您找不到規(guī)律不是因?yàn)橐?guī)律不存在，而是因?yàn)槟€沒有發(fā)現(xiàn)它。

（6）Insight Law：數(shù)據(jù)挖掘可以把商業(yè)領(lǐng)域的信息放大。

（7）Prediction Law：預(yù)測(cè)可以為我們?cè)黾有畔ⅰ?

（8）Value Law：數(shù)據(jù)挖掘模式的精準(zhǔn)和穩(wěn)定并不決定數(shù)據(jù)挖掘過程的價(jià)值，換句話說技術(shù)手段再精妙，沒有商業(yè)意義和合適的商業(yè)應(yīng)用是沒有價(jià)值的。

（9）Law of Change：所有的模式都會(huì)變化。

上面這九條其實(shí)歸根到底就是一條，商業(yè)決定數(shù)據(jù)挖掘。數(shù)據(jù)挖掘各類技術(shù)和算法的飛速發(fā)展不能讓我們偏離以商業(yè)行為為核心的方向，只是純粹為了追求高深的技術(shù)而忽略或損害到商業(yè)目的就本末倒置了。

數(shù)據(jù)挖掘很糾結(jié)

數(shù)據(jù)挖掘的世界既是地雷陣，同時(shí)又是金礦。大量的數(shù)據(jù)沒能被及時(shí)處理，稱得上是暴殄天物。雖然通過保存相關(guān)數(shù)據(jù)，我們可以保證以后對(duì)數(shù)據(jù)信息的方便使用，但是對(duì)于工作量日趨繁
重的數(shù)據(jù)保存工作，很多企業(yè)可能還是選擇荒廢部分?jǐn)?shù)據(jù)。大數(shù)據(jù)時(shí)代已經(jīng)來臨，不管有多大困難，我們從現(xiàn)在開始都需要考慮評(píng)估和集成數(shù)據(jù)挖掘應(yīng)用。即使不能找到合適的數(shù)據(jù)挖掘方法來處理數(shù)據(jù)，至少我們需要用數(shù)據(jù)倉庫把原始數(shù)據(jù)保留起來，以供將來使用。

下面列舉一些我們?cè)诮o企業(yè)做數(shù)據(jù)挖掘時(shí)看到的問題：

對(duì)于數(shù)據(jù)挖掘需要解決的問題，很少有現(xiàn)成的解決方案，而且于某個(gè)問題，可能有多種數(shù)據(jù)挖掘算法可以使用，但通常只有一個(gè)最好的算法。當(dāng)我們選擇了一個(gè)數(shù)據(jù)挖掘算法時(shí)，首先要弄清楚它是否適合想解決的問題。如果本身方法選擇不合適，那么再好的執(zhí)行也沒有用。

從市場(chǎng)角度來看，數(shù)據(jù)挖掘依舊面臨其他因素的挑戰(zhàn)。數(shù)據(jù)挖掘非常有前景，但是市場(chǎng)中數(shù)據(jù)噪聲太多，會(huì)導(dǎo)致數(shù)據(jù)價(jià)值大大降低。以無線營銷為例，大量的虛假應(yīng)用下載和使用以及虛假好評(píng)差評(píng)等數(shù)據(jù)嚴(yán)重干擾了數(shù)據(jù)的準(zhǔn)確性，大大降低了數(shù)據(jù)的價(jià)值。

在中國，數(shù)據(jù)挖掘市場(chǎng)整體來說還不成熟。首先在意識(shí)上，一些商業(yè)領(lǐng)袖們對(duì)數(shù)據(jù)挖掘將信將疑，不愿意做投入；另一方面，采用了數(shù)據(jù)挖掘的公司只追求最后的結(jié)果，而對(duì)數(shù)據(jù)挖掘過程、數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)挖掘結(jié)果的知識(shí)積累和呈現(xiàn)不重視。

數(shù)據(jù)挖掘有時(shí)導(dǎo)出的結(jié)果是不完善的，每次導(dǎo)出的結(jié)果和應(yīng)用的數(shù)據(jù)集直接相關(guān)。如果數(shù)據(jù)集發(fā)生變化，就需要重新進(jìn)行挖掘。如果沒有考慮數(shù)據(jù)變化而盲目采用數(shù)據(jù)變化之前的策略，那么結(jié)果是不可預(yù)料的。

這些問題都是確實(shí)存在的，其中關(guān)于市場(chǎng)的問題在一定時(shí)間之后會(huì)有好轉(zhuǎn)，而數(shù)據(jù)挖掘過程中的這些問題就需要數(shù)據(jù)分析師和數(shù)據(jù)應(yīng)用使用者提高自己的經(jīng)驗(yàn)來解決了。