實(shí)施數(shù)據(jù)挖掘項(xiàng)目考慮的問(wèn)題

問(wèn)題一 
  談到數(shù)據(jù)挖掘應(yīng)從以下三方面加以考慮，一是用數(shù)據(jù)挖掘解決什么樣的商業(yè)問(wèn)題，二是為進(jìn)行數(shù)據(jù)挖掘所做的數(shù)據(jù)準(zhǔn)備，三是數(shù)據(jù)挖掘的各種分析算法。 

數(shù)據(jù)挖掘的分析算法主要來(lái)自于以下兩個(gè)方面：統(tǒng)計(jì)分析和人工智能（機(jī)器學(xué)習(xí)、模式識(shí)別等）。數(shù)據(jù)挖掘研究人員和數(shù)據(jù)挖掘軟件供應(yīng)商，在這一方面所做的主要工作是優(yōu)化現(xiàn)有的一些算法，以適應(yīng)大數(shù)據(jù)量。另外需要強(qiáng)調(diào)的是，任何一種數(shù)據(jù)挖掘的算法，不管是統(tǒng)計(jì)分析方法、神經(jīng)元網(wǎng)絡(luò)、各種樹(shù)分析方法，還是遺傳算法，沒(méi)有一種算法是萬(wàn)能的。不同的商業(yè)問(wèn)題，需要用不同的方法去解決。即使對(duì)于同一個(gè)商業(yè)問(wèn)題，可能有多種算法，這個(gè)時(shí)候，也需要評(píng)估對(duì)于這一特定問(wèn)題和特定數(shù)據(jù)哪一種算法表現(xiàn)好。

做數(shù)據(jù)挖掘研究的人，往往把主要的精力用于改進(jìn)現(xiàn)有算法和研究新算法上。人們都知道數(shù)據(jù)準(zhǔn)備是必不可少的一步，但很少有人去真正花時(shí)間和精力去研究。其實(shí)數(shù)據(jù)挖掘最后成功與失敗，是否有經(jīng)濟(jì)效益，數(shù)據(jù)準(zhǔn)備起到了至關(guān)重要的作用。數(shù)據(jù)準(zhǔn)備包含很多方面：一是從多種數(shù)據(jù)源去綜合數(shù)據(jù)挖掘所需要的數(shù)據(jù)，保證數(shù)據(jù)的綜合性、易用性、數(shù)據(jù)的質(zhì)量和數(shù)據(jù)的時(shí)效性，這有可能要用到數(shù)據(jù)倉(cāng)庫(kù)的思想和技術(shù)；另一方面就是如何從現(xiàn)有數(shù)據(jù)中衍生出所需要的指標(biāo)，這主要取決于數(shù)據(jù)挖掘者的分析經(jīng)驗(yàn)和工具的方便性。

眾所周知，SQL是廣泛用于數(shù)據(jù)庫(kù)查詢的語(yǔ)言，有很多數(shù)據(jù)挖掘軟件提供商利用SQL來(lái)為數(shù)據(jù)挖掘做數(shù)據(jù)準(zhǔn)備，但就筆者多年來(lái)的分析經(jīng)驗(yàn)和同其他專家探討感覺(jué)到，SQL在很多時(shí)候有些力不從心，因?yàn)?a href='/map/shujuwajue/' style='color:#000;font-size:inherit;'>數(shù)據(jù)挖掘和分析的一些算法通常要求數(shù)據(jù)具有一定的格式和規(guī)范性。

還需要強(qiáng)調(diào)的一點(diǎn)是，人們通常把數(shù)據(jù)挖掘工具看得過(guò)份神秘，認(rèn)為只要有了一個(gè)數(shù)據(jù)挖掘工具，就能自動(dòng)挖掘出所需要的信息，就能更好地進(jìn)行企業(yè)運(yùn)作，這是認(rèn)識(shí)上的一個(gè)誤區(qū)。其實(shí)要想真正做好數(shù)據(jù)挖掘，數(shù)據(jù)挖掘工具只是其中的一個(gè)方面，同時(shí)還需要對(duì)企業(yè)業(yè)務(wù)的深入了解和數(shù)據(jù)分析經(jīng)驗(yàn)。一個(gè)企業(yè)要想在未來(lái)的市場(chǎng)中具有競(jìng)爭(zhēng)力，必須有一些數(shù)據(jù)挖掘方面的專家，專門(mén)從事數(shù)據(jù)分析和數(shù)據(jù)挖掘工作。再同其他部門(mén)協(xié)調(diào)，把挖掘出來(lái)的信息供管理者決策參考，最后把挖掘出的知識(shí)物化。在國(guó)內(nèi)的企業(yè)中，還很少有決策人員認(rèn)識(shí)到這一點(diǎn)。如果管理者沒(méi)有這方面的意識(shí)，數(shù)據(jù)挖掘和數(shù)據(jù)分析就很難發(fā)揮應(yīng)有的作用，很容易走向兩個(gè)極端，一是認(rèn)為數(shù)據(jù)挖掘沒(méi)有用處，二是開(kāi)始認(rèn)為數(shù)據(jù)挖掘是萬(wàn)能的。如此得到的結(jié)果往往與初始期望相去太遠(yuǎn)。

- 問(wèn)題二

1.超大規(guī)模數(shù)據(jù)庫(kù)和高維數(shù)據(jù)問(wèn)題； 

2.數(shù)據(jù)丟失問(wèn)題；

3.變化的數(shù)據(jù)和知識(shí)問(wèn)題；

4.模式的易懂性問(wèn)題；

5.非標(biāo)準(zhǔn)格式的數(shù)據(jù)、多媒體數(shù)據(jù)、面向?qū)ο髷?shù)據(jù)處理問(wèn)題；

6.與其他系統(tǒng)的集成問(wèn)題；

7.網(wǎng)絡(luò)與分布式環(huán)境下的KDD問(wèn)題。

8.個(gè)人隱私問(wèn)題

當(dāng)然數(shù)據(jù)挖掘也會(huì)帶來(lái)一些社會(huì)問(wèn)題，其中最敏感的要屬個(gè)人隱私問(wèn)題。當(dāng)消費(fèi)者感覺(jué)到他們的個(gè)人信息被非授權(quán)使用、濫用甚至出賣(mài)時(shí)，他們會(huì)感到他們的個(gè)人隱私受到了嚴(yán)重侵害。例如，在西方有的警察為了防止來(lái)自罪犯的報(bào)復(fù)，往往要注意保守自己家庭地址和電話號(hào)碼不被泄露，但當(dāng)他的新生嬰兒在醫(yī)院出生后，醫(yī)院可能會(huì)將相應(yīng)的信息出賣(mài)給專營(yíng)新生兒用品或服務(wù)的公司，使他全然失去安全感。也許當(dāng)你用信用卡為你妻子的婦科診療付費(fèi)后，你會(huì)回家后收到來(lái)自保險(xiǎn)公司的婦科保險(xiǎn)征訂單、來(lái)自廠商的婦科保健用品廣告等，你會(huì)如何感受？正是由于這種狀況，在有些發(fā)達(dá)國(guó)家，許多人認(rèn)為政府和商業(yè)機(jī)構(gòu)對(duì)他們個(gè)人的事知道得太多了，為此，他們寧可放棄使用信用卡消費(fèi)。