數(shù)據(jù)挖掘的六大步驟

數(shù)據(jù)挖掘(Data Mining)，就是從大量數(shù)據(jù)中獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡過(guò)程，簡(jiǎn)單的說(shuō)，數(shù)據(jù)挖掘就是從大量數(shù)據(jù)中提取或“挖掘”知識(shí)。
此過(guò)程包括以下六個(gè)基本步驟：

1.      定義問(wèn)題

2.      準(zhǔn)備數(shù)據(jù)

3.      瀏覽數(shù)據(jù)

4.      生成模型

5.      瀏覽和驗(yàn)證模型

6.      部署和更新模型

1、定義問(wèn)題

該步驟包括分析業(yè)務(wù)需求，定義問(wèn)題的范圍，定義計(jì)算模型所使用的度量，以及定義數(shù)據(jù)挖掘項(xiàng)目的特定目標(biāo)。 這些任務(wù)轉(zhuǎn)換為下列問(wèn)題：

·您在查找什么？ 您要嘗試找到什么類型的關(guān)系？

·您要嘗試解決的問(wèn)題是否反映了業(yè)務(wù)策略或流程？

·您要通過(guò)數(shù)據(jù)挖掘模型進(jìn)行預(yù)測(cè)，還是僅僅查找受關(guān)注的模式和關(guān)聯(lián)？

·您要嘗試預(yù)測(cè)哪個(gè)結(jié)果或?qū)傩裕?

·您具有什么類型的數(shù)據(jù)以及每列中包含什么類型的信息？ 或者如果有多個(gè)表，則表如何關(guān)聯(lián)？ 您是否需要執(zhí)行任何清除、聚合或處理以使數(shù)據(jù)可用？

·數(shù)據(jù)如何分布？ 數(shù)據(jù)是否具有季節(jié)性性質(zhì)？ 數(shù)據(jù)是否可以準(zhǔn)確反映業(yè)務(wù)流程？

若要回答這些問(wèn)題，可能必須進(jìn)行數(shù)據(jù)可用性研究，必須調(diào)查業(yè)務(wù)用戶對(duì)可用數(shù)據(jù)的需求。 如果數(shù)據(jù)不支持用戶的需求，則還必須重新定義項(xiàng)目。

此外，還需要考慮如何將模型結(jié)果納入用于度量業(yè)務(wù)進(jìn)度的關(guān)鍵績(jī)效指標(biāo) (KPI)。

2、準(zhǔn)備數(shù)據(jù)

數(shù)據(jù)可以分散在公司的各個(gè)部門(mén)并以不同的格式存儲(chǔ)，或者可能包含錯(cuò)誤項(xiàng)或缺少項(xiàng)之類的不一致性。 例如，數(shù)據(jù)可能顯示客戶在產(chǎn)品推向市場(chǎng)之前購(gòu)買(mǎi)該產(chǎn)品，或者客戶在距離她家 2,000 英里的商店定期購(gòu)物。

數(shù)據(jù)清除不僅僅是刪除錯(cuò)誤數(shù)據(jù)或插入缺失值，還包括查找數(shù)據(jù)中的隱含相關(guān)性、標(biāo)識(shí)最準(zhǔn)確的數(shù)據(jù)源并確定哪些列最適合用于分析。 例如，應(yīng)當(dāng)使用發(fā)貨日期還是訂購(gòu)日期？ 最佳銷售影響因素是數(shù)量、總價(jià)格，還是打折價(jià)格？ 不完整數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)和輸入看似獨(dú)立，但實(shí)際上都有很強(qiáng)的關(guān)聯(lián)性，它們可以以意想不到的方式影響模型的結(jié)果。

3、瀏覽數(shù)據(jù)

瀏覽技術(shù)包括計(jì)算最小值和最大值，計(jì)算平均偏差和標(biāo)準(zhǔn)偏差，以及查看數(shù)據(jù)的分布。 例如，通過(guò)查看最大值、最小值和平均值，您可以確定數(shù)據(jù)并不能代表客戶或業(yè)務(wù)流程，因此您必須獲取更多均衡數(shù)據(jù)或查看您的預(yù)期結(jié)果所依據(jù)的假定。 標(biāo)準(zhǔn)偏差和其他分發(fā)值可以提供有關(guān)結(jié)果的穩(wěn)定性和準(zhǔn)確性的有用信息。 大型標(biāo)準(zhǔn)偏差可以指示添加更多數(shù)據(jù)可以幫助改進(jìn)模型。 與標(biāo)準(zhǔn)分發(fā)偏差很大的數(shù)據(jù)可能已被扭曲，抑或準(zhǔn)確反映了現(xiàn)實(shí)問(wèn)題，但很難使模型適合數(shù)據(jù)。

4、生成模型

通過(guò)創(chuàng)建挖掘結(jié)構(gòu)定義要使用的數(shù)據(jù)列。 將挖掘結(jié)構(gòu)鏈接到數(shù)據(jù)源，但只有對(duì)挖掘結(jié)構(gòu)進(jìn)行處理后，該結(jié)構(gòu)才會(huì)實(shí)際包含數(shù)據(jù)。

5、瀏覽和驗(yàn)證模型

在將模型部署到生產(chǎn)環(huán)境之前，您需要測(cè)試模型的性能。 此外，在生成模型時(shí)，您通常需要使用不同配置創(chuàng)建多個(gè)模型，并對(duì)所有這些模型進(jìn)行測(cè)試，以便查看哪個(gè)模型為您的問(wèn)題和數(shù)據(jù)生成最佳結(jié)果。

6、部署和更新模型