實施數(shù)據(jù)挖掘項目考慮的問題

問題一 
  談到數(shù)據(jù)挖掘應(yīng)從以下三方面加以考慮，一是用數(shù)據(jù)挖掘解決什么樣的商業(yè)問題，二是為進行數(shù)據(jù)挖掘所做的數(shù)據(jù)準(zhǔn)備，三是數(shù)據(jù)挖掘的各種分析算法。 

數(shù)據(jù)挖掘的分析算法主要來自于以下兩個方面：統(tǒng)計分析和人工智能（機器學(xué)習(xí)、模式識別等）。數(shù)據(jù)挖掘研究人員和數(shù)據(jù)挖掘軟件供應(yīng)商，在這一方面所做的主要工作是優(yōu)化現(xiàn)有的一些算法，以適應(yīng)大數(shù)據(jù)量。另外需要強調(diào)的是，任何一種數(shù)據(jù)挖掘的算法，不管是統(tǒng)計分析方法、神經(jīng)元網(wǎng)絡(luò)、各種樹分析方法，還是遺傳算法，沒有一種算法是萬能的。不同的商業(yè)問題，需要用不同的方法去解決。即使對于同一個商業(yè)問題，可能有多種算法，這個時候，也需要評估對于這一特定問題和特定數(shù)據(jù)哪一種算法表現(xiàn)好。

做數(shù)據(jù)挖掘研究的人，往往把主要的精力用于改進現(xiàn)有算法和研究新算法上。人們都知道數(shù)據(jù)準(zhǔn)備是必不可少的一步，但很少有人去真正花時間和精力去研究。其實數(shù)據(jù)挖掘最后成功與失敗，是否有經(jīng)濟效益，數(shù)據(jù)準(zhǔn)備起到了至關(guān)重要的作用。數(shù)據(jù)準(zhǔn)備包含很多方面：一是從多種數(shù)據(jù)源去綜合數(shù)據(jù)挖掘所需要的數(shù)據(jù)，保證數(shù)據(jù)的綜合性、易用性、數(shù)據(jù)的質(zhì)量和數(shù)據(jù)的時效性，這有可能要用到數(shù)據(jù)倉庫的思想和技術(shù)；另一方面就是如何從現(xiàn)有數(shù)據(jù)中衍生出所需要的指標(biāo)，這主要取決于數(shù)據(jù)挖掘者的分析經(jīng)驗和工具的方便性。

眾所周知，SQL是廣泛用于數(shù)據(jù)庫查詢的語言，有很多數(shù)據(jù)挖掘軟件提供商利用SQL來為數(shù)據(jù)挖掘做數(shù)據(jù)準(zhǔn)備，但就筆者多年來的分析經(jīng)驗和同其他專家探討感覺到，SQL在很多時候有些力不從心，因為數(shù)據(jù)挖掘和分析的一些算法通常要求數(shù)據(jù)具有一定的格式和規(guī)范性。

還需要強調(diào)的一點是，人們通常把數(shù)據(jù)挖掘工具看得過份神秘，認為只要有了一個數(shù)據(jù)挖掘工具，就能自動挖掘出所需要的信息，就能更好地進行企業(yè)運作，這是認識上的一個誤區(qū)。其實要想真正做好數(shù)據(jù)挖掘，數(shù)據(jù)挖掘工具只是其中的一個方面，同時還需要對企業(yè)業(yè)務(wù)的深入了解和數(shù)據(jù)分析經(jīng)驗。一個企業(yè)要想在未來的市場中具有競爭力，必須有一些數(shù)據(jù)挖掘方面的專家，專門從事數(shù)據(jù)分析和數(shù)據(jù)挖掘工作。再同其他部門協(xié)調(diào)，把挖掘出來的信息供管理者決策參考，最后把挖掘出的知識物化。在國內(nèi)的企業(yè)中，還很少有決策人員認識到這一點。如果管理者沒有這方面的意識，數(shù)據(jù)挖掘和數(shù)據(jù)分析就很難發(fā)揮應(yīng)有的作用，很容易走向兩個極端，一是認為數(shù)據(jù)挖掘沒有用處，二是開始認為數(shù)據(jù)挖掘是萬能的。如此得到的結(jié)果往往與初始期望相去太遠。

- 問題二

1.超大規(guī)模數(shù)據(jù)庫和高維數(shù)據(jù)問題； 

2.數(shù)據(jù)丟失問題；

3.變化的數(shù)據(jù)和知識問題；

4.模式的易懂性問題；

5.非標(biāo)準(zhǔn)格式的數(shù)據(jù)、多媒體數(shù)據(jù)、面向?qū)ο髷?shù)據(jù)處理問題；

6.與其他系統(tǒng)的集成問題；

7.網(wǎng)絡(luò)與分布式環(huán)境下的KDD問題。

8.個人隱私問題

當(dāng)然數(shù)據(jù)挖掘也會帶來一些社會問題，其中最敏感的要屬個人隱私問題。當(dāng)消費者感覺到他們的個人信息被非授權(quán)使用、濫用甚至出賣時，他們會感到他們的個人隱私受到了嚴重侵害。例如，在西方有的警察為了防止來自罪犯的報復(fù)，往往要注意保守自己家庭地址和電話號碼不被泄露，但當(dāng)他的新生嬰兒在醫(yī)院出生后，醫(yī)院可能會將相應(yīng)的信息出賣給專營新生兒用品或服務(wù)的公司，使他全然失去安全感。也許當(dāng)你用信用卡為你妻子的婦科診療付費后，你會回家后收到來自保險公司的婦科保險征訂單、來自廠商的婦科保健用品廣告等，你會如何感受？正是由于這種狀況，在有些發(fā)達國家，許多人認為政府和商業(yè)機構(gòu)對他們個人的事知道得太多了，為此，他們寧可放棄使用信用卡消費。