數(shù)據(jù)挖掘的六大步驟

數(shù)據(jù)挖掘(Data Mining)，就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過程，簡單的說，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識。
此過程包括以下六個基本步驟：

1.      定義問題

2.      準(zhǔn)備數(shù)據(jù)

3.      瀏覽數(shù)據(jù)

4.      生成模型

5.      瀏覽和驗證模型

6.      部署和更新模型

1、定義問題

該步驟包括分析業(yè)務(wù)需求，定義問題的范圍，定義計算模型所使用的度量，以及定義數(shù)據(jù)挖掘項目的特定目標(biāo)。 這些任務(wù)轉(zhuǎn)換為下列問題：

·您在查找什么？ 您要嘗試找到什么類型的關(guān)系？

·您要嘗試解決的問題是否反映了業(yè)務(wù)策略或流程？

·您要通過數(shù)據(jù)挖掘模型進(jìn)行預(yù)測，還是僅僅查找受關(guān)注的模式和關(guān)聯(lián)？

·您要嘗試預(yù)測哪個結(jié)果或?qū)傩裕?

·您具有什么類型的數(shù)據(jù)以及每列中包含什么類型的信息？ 或者如果有多個表，則表如何關(guān)聯(lián)？ 您是否需要執(zhí)行任何清除、聚合或處理以使數(shù)據(jù)可用？

·數(shù)據(jù)如何分布？ 數(shù)據(jù)是否具有季節(jié)性性質(zhì)？ 數(shù)據(jù)是否可以準(zhǔn)確反映業(yè)務(wù)流程？

若要回答這些問題，可能必須進(jìn)行數(shù)據(jù)可用性研究，必須調(diào)查業(yè)務(wù)用戶對可用數(shù)據(jù)的需求。 如果數(shù)據(jù)不支持用戶的需求，則還必須重新定義項目。

此外，還需要考慮如何將模型結(jié)果納入用于度量業(yè)務(wù)進(jìn)度的關(guān)鍵績效指標(biāo) (KPI)。

2、準(zhǔn)備數(shù)據(jù)

數(shù)據(jù)可以分散在公司的各個部門并以不同的格式存儲，或者可能包含錯誤項或缺少項之類的不一致性。 例如，數(shù)據(jù)可能顯示客戶在產(chǎn)品推向市場之前購買該產(chǎn)品，或者客戶在距離她家 2,000 英里的商店定期購物。

數(shù)據(jù)清除不僅僅是刪除錯誤數(shù)據(jù)或插入缺失值，還包括查找數(shù)據(jù)中的隱含相關(guān)性、標(biāo)識最準(zhǔn)確的數(shù)據(jù)源并確定哪些列最適合用于分析。 例如，應(yīng)當(dāng)使用發(fā)貨日期還是訂購日期？ 最佳銷售影響因素是數(shù)量、總價格，還是打折價格？ 不完整數(shù)據(jù)、錯誤數(shù)據(jù)和輸入看似獨立，但實際上都有很強(qiáng)的關(guān)聯(lián)性，它們可以以意想不到的方式影響模型的結(jié)果。

3、瀏覽數(shù)據(jù)

瀏覽技術(shù)包括計算最小值和最大值，計算平均偏差和標(biāo)準(zhǔn)偏差，以及查看數(shù)據(jù)的分布。 例如，通過查看最大值、最小值和平均值，您可以確定數(shù)據(jù)并不能代表客戶或業(yè)務(wù)流程，因此您必須獲取更多均衡數(shù)據(jù)或查看您的預(yù)期結(jié)果所依據(jù)的假定。 標(biāo)準(zhǔn)偏差和其他分發(fā)值可以提供有關(guān)結(jié)果的穩(wěn)定性和準(zhǔn)確性的有用信息。 大型標(biāo)準(zhǔn)偏差可以指示添加更多數(shù)據(jù)可以幫助改進(jìn)模型。 與標(biāo)準(zhǔn)分發(fā)偏差很大的數(shù)據(jù)可能已被扭曲，抑或準(zhǔn)確反映了現(xiàn)實問題，但很難使模型適合數(shù)據(jù)。

4、生成模型

通過創(chuàng)建挖掘結(jié)構(gòu)定義要使用的數(shù)據(jù)列。 將挖掘結(jié)構(gòu)鏈接到數(shù)據(jù)源，但只有對挖掘結(jié)構(gòu)進(jìn)行處理后，該結(jié)構(gòu)才會實際包含數(shù)據(jù)。

5、瀏覽和驗證模型

在將模型部署到生產(chǎn)環(huán)境之前，您需要測試模型的性能。 此外，在生成模型時，您通常需要使用不同配置創(chuàng)建多個模型，并對所有這些模型進(jìn)行測試，以便查看哪個模型為您的問題和數(shù)據(jù)生成最佳結(jié)果。

6、部署和更新模型