數(shù)據(jù)挖掘的五個誤區(qū)

許多成功的企業(yè)都發(fā)現(xiàn)了圍繞著數(shù)據(jù)挖掘而產(chǎn)生的神話確實就是誤解。這些企業(yè)沒有成為這些誤區(qū)的犧牲品，而是通過使用數(shù)據(jù)挖掘技術(shù)解決復(fù)雜的業(yè)務(wù)問題來增加利潤，獲取更大的競爭優(yōu)勢。

實際上正是復(fù)雜的數(shù)據(jù)挖掘技術(shù)使得鄉(xiāng)村地區(qū)的Wal-Mart超市連鎖店決定在秋季準(zhǔn)備大量某種廣告郵件 。雖然可笑， 但Spamouflage-經(jīng)過巧妙包裝的廣告郵件已經(jīng)取得了極大的成功。不單單是一個可愛的想法，Spamouflage幫助Wal-Mart從現(xiàn)有的顧客群中獲得了額外的利潤，并且也顯示了Wal-Mart是多么深刻地理解著他們所服務(wù)的人群。

數(shù)據(jù)挖掘到底是什么？

數(shù)據(jù)挖掘是一種非常有力的分析工具，它可以幫助企業(yè)主管們通過了解顧客的歷史行為的信息來預(yù)測他們將來的行為。它找到了解開顧客行為秘密的模式。這些發(fā)現(xiàn)可被用于創(chuàng)造利潤，縮減成本，以及抓住商業(yè)機會，獲得新的競爭優(yōu)勢。

關(guān)于數(shù)據(jù)挖掘所產(chǎn)生的誤解的部分原因是人們并不十分了解它究竟是什么。從最本質(zhì)上講，數(shù)據(jù)挖掘就是一套用于發(fā)現(xiàn)和解釋詳細數(shù)據(jù)的未知模式的復(fù)雜的數(shù)學(xué)技術(shù)。自從80年代中期以來，數(shù)據(jù)挖掘的應(yīng)用領(lǐng)域從學(xué)術(shù)、醫(yī)藥、科學(xué)研究領(lǐng)域擴展開來，已被非常有效地應(yīng)用在零售、銀行、電信、保險、旅行和服務(wù)行業(yè)。

因為數(shù)據(jù)挖掘被認為是一種分析工具，它經(jīng)常與在線分析處理（OLAP）相混淆。OLAP是一種有價值的分析技術(shù)，它被用于分析業(yè)務(wù)操作來對已發(fā)生的事情做出歷史性的回顧。例如，一位市場部經(jīng)理想要了解為什么某個地區(qū)的銷售額下滑了。OLAP工具可以幫助他從各個不同的方面提出問題，例如以商店統(tǒng)計的銷售額、以產(chǎn)品統(tǒng)計的銷售額和一段時間內(nèi)的銷售額。通過從不同的角度觀察這些歷史數(shù)據(jù)，他就會分析出對銷售額產(chǎn)生影響的因素（商店、產(chǎn)品，或是時間）。

數(shù)據(jù)挖掘則處理另一類問題。它可被用于預(yù)測未來事件，例如，基于促銷情況或者哪類顧客最有可能對促銷感興趣來預(yù)測下個月的銷售額。

一些企業(yè)使用數(shù)據(jù)挖掘的方式消除了關(guān)于數(shù)據(jù)挖掘的5個誤區(qū)。

誤區(qū)1：數(shù)據(jù)挖掘提供了即時的未來預(yù)測

數(shù)據(jù)挖掘既不是水晶球也不是一按按鈕就能魔術(shù)般出現(xiàn)答案的技術(shù)。它是一個多步驟的處理過程，其中包括：定義業(yè)務(wù)問題，掃描并按條件搜索數(shù)據(jù)，開發(fā)模型，運用獲得的知識。典型情況是，企業(yè)花費大量時間預(yù)處理并且按照條件搜索數(shù)據(jù)，保證其干凈、一致、良好整合，以便于應(yīng)用他們所需要的商務(wù)智能。數(shù)據(jù)挖掘全部圍繞著數(shù)據(jù)，成功的數(shù)據(jù)挖掘需要能夠準(zhǔn)確反映業(yè)務(wù)的數(shù)據(jù)。

企業(yè)必須懂得，數(shù)據(jù)挖掘的威力在于：抓住那些能夠從本質(zhì)上被預(yù)測或者被描述的特殊的業(yè)務(wù)難題。其中包括：

顧客分類
預(yù)測顧客的購買傾向
監(jiān)測欺詐
優(yōu)化供應(yīng)和發(fā)貨渠道

理解了這個過程的企業(yè)就看到了真正的效果。一家中西部地區(qū)的保健供應(yīng)商識別了高風(fēng)險病人，并且使用了能夠保證護理質(zhì)量和管理風(fēng)險的病例管理程序。一家南美電信公司通過分析電話的使用、購買的服務(wù)和服務(wù)質(zhì)量的評定等可能導(dǎo)致顧客減少的模式之后，發(fā)現(xiàn)了風(fēng)險并防止了高價值顧客的流失。一家美國的保險公司通過數(shù)據(jù)挖掘解決方案的時間段來預(yù)測并且很快地檢測欺詐，然后采取迅速行動來最小化成本。

誤區(qū)2：數(shù)據(jù)挖掘對于商務(wù)應(yīng)用程序仍然是不可用的

數(shù)據(jù)挖掘是一種可用的技術(shù)，并且由于他的商業(yè)效果受到了很高的評價。這個謊言似乎是那些需要解釋為什么他們不能使用這個處理過程，并且在下面這兩句話中轉(zhuǎn)來轉(zhuǎn)去的人所編造的。第一句是：“大的數(shù)據(jù)庫不能被有效地挖掘”。第二句是：“數(shù)據(jù)挖掘不能在數(shù)據(jù)倉庫引擎中完成”。這兩句話都曾經(jīng)是正確的；就像飛機曾經(jīng)無法離開地面一樣。

讓我們同時分析這兩句話。因為今天的數(shù)據(jù)庫是這樣的大，企業(yè)都擔(dān)心數(shù)據(jù)挖掘項目所需的額外的IT體系結(jié)構(gòu)會帶來巨大的成本，以及每個項目的數(shù)據(jù)處理過程都會消耗太長時間。但是今天的某些數(shù)據(jù)庫使用的并行技術(shù)使得數(shù)據(jù)庫內(nèi)部的挖掘成為可能。通過在數(shù)據(jù)庫內(nèi)部進行挖掘，企業(yè)可以消除數(shù)據(jù)移動，利用并行處理的性能，最小化數(shù)據(jù)冗余，以及消除數(shù)據(jù)挖掘專用的整個新的冗余的數(shù)據(jù)庫的創(chuàng)建及維護成本。

例如，一個包裝零售生產(chǎn)企業(yè)使用數(shù)據(jù)挖掘來維護一個顧客忠誠度程序，這個程序可以幫助它的零售伙伴監(jiān)控促銷的效果，并且分析購買者的購物籃。最初這個分析曾經(jīng)是鼓勵它的伙伴促銷他們的產(chǎn)品的有效手段。然而隨這需要處理的數(shù)據(jù)量變得越來越大，以致于這個提供給零售伙伴的服務(wù)成本變得過于昂貴。雖然這個分析過程是在一個很強大的服務(wù)器上面進行的，但是5個分析應(yīng)用程序仍然用了超過312個小時來處理數(shù)據(jù)。

在結(jié)束這個有價值的服務(wù)之前，這家企業(yè)嘗試了數(shù)據(jù)庫內(nèi)部的數(shù)據(jù)挖掘技術(shù)。他們將數(shù)據(jù)載入一個集中的數(shù)據(jù)倉庫，然后將5個分析程序全部轉(zhuǎn)換為一個在數(shù)據(jù)庫中運行的SQL（標(biāo)準(zhǔn)查詢語言）程序，利用它的并行處理能力。通過轉(zhuǎn)換為數(shù)據(jù)庫內(nèi)部的數(shù)據(jù)挖掘，他們能夠?qū)?zhí)行時間從用戶忠誠度程序的超過312小時縮小到12小時。

誤區(qū)3：數(shù)據(jù)挖掘需要單獨的、專用的數(shù)據(jù)庫

數(shù)據(jù)挖掘產(chǎn)品供應(yīng)商會強調(diào)你需要一個昂貴的、專用的數(shù)據(jù)庫、數(shù)據(jù)中心或者分析服務(wù)器來進行數(shù)據(jù)挖掘，因為需要將數(shù)據(jù)轉(zhuǎn)換為一種特別的格式來進行有效地處理。這些數(shù)據(jù)中心不僅采購和維護成本很高，每個單獨的數(shù)據(jù)挖掘項目還需要單獨抽取數(shù)據(jù)，而數(shù)據(jù)的抽取是很昂貴并且非常費時的。

數(shù)據(jù)庫技術(shù)的發(fā)展使得現(xiàn)在數(shù)據(jù)挖掘再也不需要在一個單獨的數(shù)據(jù)中心進行了。實際上，有效的數(shù)據(jù)挖掘需要一個企業(yè)范圍的數(shù)據(jù)倉庫，它的全部投資成本也比使用獨立的多個數(shù)據(jù)中心便宜得多了。

原因是這樣的：由于企業(yè)需在整個企業(yè)范圍之上實現(xiàn)數(shù)據(jù)挖掘項目，利用數(shù)據(jù)挖掘模型的用戶數(shù)量和其對數(shù)據(jù)基礎(chǔ)設(shè)施型都會持續(xù)增長。一個先進的企業(yè)數(shù)據(jù)倉庫不僅能有效地存儲所有的企業(yè)數(shù)據(jù)，同時也消除大多數(shù)額外的數(shù)據(jù)中心或數(shù)據(jù)倉庫的需求，另外這也為數(shù)據(jù)挖掘項目提供一個理想的基礎(chǔ)。這個基礎(chǔ)就是一個單一的企業(yè)范圍的數(shù)據(jù)倉庫，這個數(shù)據(jù)倉庫可以提供一個具有一致性和即時性的顧客視圖。并且通過在數(shù)據(jù)倉庫內(nèi)部合并數(shù)據(jù)挖掘的外延，企業(yè)可以以兩種另外的方式縮減成本。第一種方式是，沒有必要購買和維護僅為數(shù)據(jù)挖掘使用的額外的硬件。第二種方式是，企業(yè)將為實施數(shù)據(jù)挖掘項目所需的數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入導(dǎo)出的工作量減少到最低，這已經(jīng)是公認的極耗費工時和資源的處理過程。

誤區(qū)4：只有擁有博士學(xué)位才可以進行數(shù)據(jù)挖掘

一些人認為數(shù)據(jù)挖掘非常復(fù)雜，以致必須擁有至少三個博士才可以執(zhí)行它：一個是統(tǒng)計學(xué)或者計量方法專業(yè)博士，一個是能夠懂得客戶的商務(wù)博士，一個是計算機專業(yè)博士。

實際情況是在成功項目的實施者中根本用不到一個博士。例如，Teradata最近完成了一個南美電信公司的項目，它成功地追蹤了顧客行為變化，幫助公司在電信市場開放期間保住了98％的高價值客戶。通過協(xié)力工作，一個多學(xué)科的小組成功地完成了任務(wù)。

數(shù)據(jù)挖掘是一項需要三個專業(yè)領(lǐng)域的技術(shù)專家共同合作的工作。商務(wù)人員必須通過創(chuàng)建一組商業(yè)問題來引導(dǎo)項目，解釋凸現(xiàn)的模式。具有對數(shù)據(jù)挖掘技術(shù)、統(tǒng)計學(xué)和工具的充分了解的分析建模人員構(gòu)建可靠的模型。IT人員提供對處理過程的深刻觀察，理解數(shù)據(jù)，并提供關(guān)鍵的技術(shù)支持。

誤區(qū)5：數(shù)據(jù)挖掘是給那些擁有大量客戶數(shù)據(jù)的大公司提供的

一個簡單的事實就是，一個公司，無論大小，只要擁有能夠精確反映業(yè)務(wù)或者客戶情況的數(shù)據(jù)，都能在這些數(shù)據(jù)基礎(chǔ)上構(gòu)建模型，對應(yīng)重要的業(yè)務(wù)挑戰(zhàn)。公司處理的顧客數(shù)據(jù)量從來就不是關(guān)鍵。