數(shù)據(jù)挖掘的基本概念：數(shù)據(jù)庫、數(shù)據(jù)倉庫、機器學(xué)習(xí)，統(tǒng)計學(xué)

“數(shù)據(jù)挖掘“(Data Mining)又被稱為“數(shù)據(jù)中的知識發(fā)現(xiàn)”（KDD），顧名思義，也就是通過數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)變換、數(shù)據(jù)挖掘、模式評估、知識表示等一些列步驟，對數(shù)據(jù)進行分類、聚類，發(fā)現(xiàn)其中的關(guān)聯(lián)關(guān)系或者離群點，來發(fā)現(xiàn)新的知識。

1、數(shù)據(jù)類型

上世紀70-80年代，“數(shù)據(jù)庫”技術(shù)的發(fā)展而產(chǎn)生的數(shù)據(jù)庫管理系統(tǒng)，方便用戶進行關(guān)系型的數(shù)據(jù)管理，用戶可以進行SQL查詢等數(shù)據(jù)操作，關(guān)系型數(shù)據(jù)庫實際上就是二維表；然而對于大型的跨地域公司，要匯總各個地方數(shù)據(jù)庫卻不容易，于是就產(chǎn)生了“數(shù)據(jù)倉庫”，數(shù)據(jù)倉庫將數(shù)據(jù)庫的數(shù)據(jù)進行整合，下鉆（drill down）和上卷（roll up）操作可以得到詳細信息和匯總信息，由此誕生了高級數(shù)據(jù)庫系統(tǒng)和高級數(shù)據(jù)分析，數(shù)據(jù)倉庫可以看做是數(shù)據(jù)立方體（Data Cube）。20世紀90年代，萬維網(wǎng)迅速發(fā)展，各式各類的數(shù)據(jù)類型出現(xiàn)，時間序列數(shù)據(jù)、超文本和多媒體數(shù)據(jù)（圖片、視頻、聲音），空間數(shù)據(jù)（地圖），網(wǎng)狀數(shù)據(jù)（社會關(guān)系網(wǎng)絡(luò)）等各種復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)，總之，可以大致的將數(shù)據(jù)挖掘的數(shù)據(jù)類型分為以下幾類：
（１）數(shù)據(jù)庫 數(shù)據(jù)

數(shù)據(jù)庫系統(tǒng)，又稱為數(shù)據(jù)庫管理系統(tǒng)（DBMS），是一種關(guān)系型數(shù)據(jù)庫，又不同的表組成，每一個表有一個唯一的“關(guān)鍵字標識”來表示一個對象，每個對象有又若干屬性，每個對象及其屬性構(gòu)成一個“元組”。

對于一個學(xué)生關(guān)系表，學(xué)號是唯一的“關(guān)鍵字標識”，姓名、性別、院系、年級都是屬性，每一行都是一個“元組”。
（２）數(shù)據(jù)倉庫　數(shù)據(jù)

數(shù)據(jù)立方體

數(shù)據(jù)倉庫的數(shù)據(jù)格式可以看做是一個數(shù)據(jù)立方體，是一個多維的數(shù)據(jù)結(jié)構(gòu)，如圖有三個維度，分別是時間維、機構(gòu)維、指標維。對數(shù)據(jù)立方體進行切片可以得到截面數(shù)據(jù)，豎直方向切片可以得到周一（Monday）三個地方借記卡情況。
下鉆是對數(shù)據(jù)的具體化，如對時間維下鉆，可以得到周一10:00至14:00的四個小時內(nèi)的借記卡使用情況；
上卷又稱上鉆，是對數(shù)據(jù)匯總，對機構(gòu)維上卷，可以得到中國借記卡使用情況。
（3）事務(wù)數(shù)據(jù)
事務(wù)數(shù)據(jù)庫數(shù)據(jù)中每個記錄是一個事務(wù)，如淘寶的一次訂單。
（4）其他數(shù)據(jù)
數(shù)據(jù)庫一般是結(jié)構(gòu)化的數(shù)據(jù)，還有許多非結(jié)構(gòu)化數(shù)據(jù)。如序列數(shù)據(jù)（時間序列、生物序列等），空間數(shù)據(jù)（地圖），工程設(shè)計數(shù)據(jù)（建筑結(jié)構(gòu)設(shè)計），超文本和多媒體數(shù)據(jù)、網(wǎng)狀數(shù)據(jù)等。

2 數(shù)據(jù)挖掘的步驟

（1）數(shù)據(jù)清理：消除噪音數(shù)據(jù)
（2）數(shù)據(jù)集成：多種數(shù)據(jù)組合一起
（3）數(shù)據(jù)選擇：選擇相關(guān)數(shù)據(jù)
（4）數(shù)據(jù)變換：匯總等操作將數(shù)據(jù)變換成適合挖掘的數(shù)據(jù)
（5）數(shù)據(jù)挖掘：對數(shù)據(jù)進行操作
（6）模式評估：根據(jù)某種模式來評估其價值
（7）知識表示：可視化表現(xiàn)

3 數(shù)據(jù)挖掘模式

（1）類和概念：特征化與區(qū)分
對數(shù)據(jù)匯總和分類，考察其具有什么樣的特征。
（2）挖掘頻繁模式：關(guān)聯(lián)和相關(guān)性
頻繁出現(xiàn)的序列：出現(xiàn)次數(shù)最多的事件；頻繁出現(xiàn)的子序列：事件之間的關(guān)聯(lián)性，如購買A的情況下再購買B的模式
（3）預(yù)測分析的分類和回歸
分類：決策樹、神經(jīng)網(wǎng)絡(luò)

回歸：相關(guān)性描述和預(yù)測，描述解釋變量與被解釋變量之間的相關(guān)性，并構(gòu)造數(shù)學(xué)模型來預(yù)測被解釋變量。
（4）聚類
根據(jù)“最大化類內(nèi)相似性，最小化類間相似性”的原則進行聚類和分組。

（5）離群點
異常的值，有的時候需要拋棄異常值，但有時通過異常值可以發(fā)現(xiàn)問題，如欺詐行為。

4 數(shù)據(jù)挖掘相關(guān)內(nèi)容

（1）統(tǒng)計學(xué)
統(tǒng)計學(xué)中數(shù)值描述（如均值、中位數(shù)、眾數(shù)、方差，柱狀圖、散點圖等），回歸分析（線性回歸、非線性回歸、一元回歸、多元回歸），離散型和連續(xù)性數(shù)據(jù)的概率分布、描述性統(tǒng)計和推斷性統(tǒng)計都和數(shù)據(jù)挖掘相關(guān)。
（2）機器學(xué)習(xí)
機器學(xué)習(xí)是用數(shù)據(jù)對機器不斷訓(xùn)練以來提高機器性能，類似條件反射。比如機器最開始只能識別“中華田園犬”，“犬”類庫中只有中華田園犬，通過一次又一次學(xué)習(xí)，將薩摩耶、吉娃娃、哈士奇、泰迪都納入“犬”庫，機器就知道了這些也是“犬”。隨著圖片和種類的增加，機器對犬的識別度也逐漸增加。
（3）數(shù)據(jù)庫和數(shù)據(jù)倉庫
數(shù)據(jù)庫和數(shù)據(jù)倉庫本身就是用于數(shù)據(jù)的管理，其包含的海量數(shù)據(jù)可以用來做OLTP，OLAP。
（4）信息檢索