數(shù)據(jù)挖掘中易犯的11大錯誤(1)

按照Elder博士的總結(jié)，這10大易犯錯誤包括：

0. 缺乏數(shù)據(jù)（Lack Data）

1. 太關(guān)注訓(xùn)練（Focus on Training）

2. 只依賴一項技術(shù)（Rely on One Technique）

3. 提錯了問題（Ask the Wrong Question）

4. 只靠數(shù)據(jù)來說話（Listen (only) to the Data）

5. 使用了未來的信息（Accept Leaks from the Future）

6. 拋棄了不該忽略的案例（Discount Pesky Cases）

7. 輕信預(yù)測（Extrapolate）

8. 試圖回答所有問題（Answer Every Inquiry）

9. 隨便地進(jìn)行抽樣（Sample Casually）

10. 太相信最佳模型（Believe the Best Model）

0. 缺乏數(shù)據(jù)（Lack Data）

對于分類問題或預(yù)估問題來說，常常缺乏準(zhǔn)確標(biāo)注的案例。

例如：

－欺詐偵測（Fraud Detection）：在上百萬的交易中，可能只有屈指可數(shù)的欺詐交易，還有很多的欺詐交易沒有被正確標(biāo)注出來，這就需要在建模前花費(fèi)大量人力來修正。

－信用評分（Credit Scoring）：需要對潛在的高風(fēng)險客戶進(jìn)行長期跟蹤（比如兩年），從而積累足夠的評分樣本。

1. 太關(guān)注訓(xùn)練（Focus on Training）

IDMer：就象體育訓(xùn)練中越來越注重實戰(zhàn)訓(xùn)練，因為單純的封閉式訓(xùn)練常常會訓(xùn)練時狀態(tài)神勇，比賽時一塌糊涂。

實際上，只有樣本外數(shù)據(jù)上的模型評分結(jié)果才真正有用?。ǚ駝t的話，直接用參照表好了?。?

例如：

－癌癥檢測（Cancer detection）：MD Anderson的醫(yī)生和研究人員（1993）使用神經(jīng)網(wǎng)絡(luò)來進(jìn)行癌癥檢測，驚奇地發(fā)現(xiàn)，訓(xùn)練時間越長（從幾天延長至數(shù)周），對訓(xùn)練集的性能改善非常輕微，但在測試集上的性能卻明顯下降。

－機(jī)器學(xué)習(xí)或計算機(jī)科學(xué)研究者常常試圖讓模型在已知數(shù)據(jù)上表現(xiàn)最優(yōu)，這樣做的結(jié)果通常會導(dǎo)致過度擬合（overfit）。

解決方法：

解決這個問題的典型方法是重抽樣（Re-Sampling）。重抽樣技術(shù)包括：bootstrap、cross-validation、jackknife、leave-one-out…等等。

2. 只依賴一項技術(shù)（Rely on One Technique）

IDMer：這個錯誤和第10種錯誤有相通之處，請同時參照其解決方法。沒有對比也就沒有所謂的好壞，辯證法的思想在此體現(xiàn)無遺。

“當(dāng)小孩子手拿一把錘子時，整個世界看起來就是一枚釘子。”要想讓工作盡善盡美，就需要一套完整的工具箱。

不要簡單地信賴你用單個方法分析的結(jié)果，至少要和傳統(tǒng)方法（比如線性回歸或線性判別分析）做個比較。

研究結(jié)果：按照《神經(jīng)網(wǎng)絡(luò)》期刊的統(tǒng)計，在過去3年來，只有1/6的文章中做到了上述兩點(diǎn)。也就是說，在獨(dú)立于訓(xùn)練樣本之外的測試集上進(jìn)行了開集測試，并與其它廣泛采用的方法進(jìn)行了對比。

解決方法：

使用一系列好的工具和方法。（每種工具或方法可能最多帶來5%~10%的改進(jìn)）。

3. 提錯了問題（Ask the Wrong Question）

IDMer：一般在分類算法中都會給出分類精度作為衡量模型好壞的標(biāo)準(zhǔn)，但在實際項目中我們卻幾乎不看這個指標(biāo)。為什么？因為那不是我們關(guān)注的目標(biāo)。

a)項目的目標(biāo)：一定要鎖定正確的目標(biāo)

例如：

欺詐偵測（關(guān)注的是正例?。⊿hannon實驗室在國際長途電話上的分析）：不要試圖在一般的通話中把欺詐和非欺詐行為分類出來，重點(diǎn)應(yīng)放在如何描述正常通話的特征，然后據(jù)此發(fā)現(xiàn)異常通話行為。

b)模型的目標(biāo)：讓計算機(jī)去做你希望它做的事

大多數(shù)研究人員會沉迷于模型的收斂性來盡量降低誤差，這樣讓他們可以獲得數(shù)學(xué)上的美感。但更應(yīng)該讓計算機(jī)做的事情應(yīng)該是如何改善業(yè)務(wù)，而不是僅僅側(cè)重模型計算上的精度。

4. 只靠數(shù)據(jù)來說話（Listen (only) to the Data）

IDMer：“讓數(shù)據(jù)說話”沒有錯，關(guān)鍵是還要記得另一句話：兼聽則明，偏聽則暗！如果數(shù)據(jù)＋工具就可以解決問題的話，還要人做什么呢？