機器學習中分類與聚類的本質(zhì)區(qū)別

機器學習中有兩類的大問題，一個是分類，一個是聚類。

在我們的生活中，我們常常沒有過多的去區(qū)分這兩個概念，覺得聚類就是分類，分類也差不多就是聚類，下面，我們就具體來研究下分類與聚類之間在數(shù)據(jù)挖掘中本質(zhì)的區(qū)別。

分類

分類有如下幾種說法，但表達的意思是相同的。

分類（classification）:分類任務就是通過學習得到一個目標函數(shù)f，把每個屬性集x映射到一個預先定義的類標號y中。

分類是根據(jù)一些給定的已知類別標號的樣本，訓練某種學習機器（即得到某種目標函數(shù)），使它能夠?qū)ξ粗悇e的樣本進行分類。這屬于supervised learning（監(jiān)督學習）。

分類：通過學習來得到樣本屬性與類標號之間的關系。

用自己的話來說，就是我們根據(jù)已知的一些樣本（包括屬性與類標號）來得到分類模型（即得到樣本屬性與類標號之間的函數(shù)），然后通過此目標函數(shù)來對只包含屬性的樣本數(shù)據(jù)進行分類。

分類算法的局限

分類作為一種監(jiān)督學習方法，要求必須事先明確知道各個類別的信息，并且斷言所有待分類項都有一個類別與之對應。但是很多時候上述條件得不到滿足，尤其是在處理海量數(shù)據(jù)的時候，如果通過預處理使得數(shù)據(jù)滿足分類算法的要求，則代價非常大，這時候可以考慮使用聚類算法。

聚類

聚類的相關的一些概念如下

而聚類指事先并不知道任何樣本的類別標號，希望通過某種算法來把一組未知類別的樣本劃分成若干類別，聚類的時候，我們并不關心某一類是什么，我們需要實現(xiàn)的目標只是把相似的東西聚到一起，這在機器學習中被稱作 unsupervised learning （無監(jiān)督學習）

通常，人們根據(jù)樣本間的某種距離或者相似性來定義聚類，即把相似的（或距離近的）樣本聚為同一類，而把不相似的（或距離遠的）樣本歸在其他類。

聚類的目標：組內(nèi)的對象相互之間時相似的（相關的），而不同組中的對象是不同的（不相關的）。組內(nèi)的相似性越大，組間差別越大，聚類就越好。

分類與聚類的比較

聚類分析是研究如何在沒有訓練的條件下把樣本劃分為若干類。

在分類中，對于目標數(shù)據(jù)庫中存在哪些類是知道的，要做的就是將每一條記錄分別屬于哪一類標記出來。

聚類需要解決的問題是將已給定的若干無標記的模式聚集起來使之成為有意義的聚類，聚類是在預先不知道目標數(shù)據(jù)庫到底有多少類的情況下，希望將所有的記錄組成不同的類或者說聚類，并且使得在這種分類情況下，以某種度量（例如：距離）為標準的相似性，在同一聚類之間最小化，而在不同聚類之間最大化。

與分類不同，無監(jiān)督學習不依賴預先定義的類或帶類標記的訓練實例，需要由聚類學習算法自動確定標記，而分類學習的實例或數(shù)據(jù)樣本有類別標記。

要說明內(nèi)容

因為最近在研究者兩種算法，也就剛好用來說一下分類和聚類不同的算法。
SVM與二分K均值算法的區(qū)別之一：支持向量機（SVM）是一種分類算法，二分k均值算法屬于一種聚類算法。

在《數(shù)據(jù)挖掘導論（完整版）》這本書第306頁中有這樣一句話：聚類可以看做一種分類，它用類標號創(chuàng)建對象的標記，然而只能從數(shù)據(jù)導出這些標號。相比之下，前面所說的分類是監(jiān)督分類（supervised classification）:即使用有類標號已知的對象開發(fā)的模型，對新的、無標記的對象賦予類標號。為此，有時稱聚類分析為非監(jiān)督分類（unsupervised classification）。在數(shù)據(jù)挖掘中，不附加任何條件使用術語分類時，通常是指監(jiān)督分類。

因此，SVM與二分K均值算法的區(qū)別之一：支持向量機（SVM）是一種監(jiān)督分類算法，二分k均值算法屬于一種非監(jiān)督分類算法。