k-近鄰算法采用測(cè)量不同特征值之間的距離方法進(jìn)行分類(lèi)。

它的工作原理是：存在一個(gè)樣本數(shù)

據(jù)集合，也稱(chēng)作訓(xùn)練樣本集，并且樣本集中每個(gè)數(shù)據(jù)都存在標(biāo)簽，即我們知道樣本集中每一數(shù)據(jù)

與所屬分類(lèi)的對(duì)應(yīng)關(guān)系。輸入沒(méi)有標(biāo)簽的新數(shù)據(jù)后，將新數(shù)據(jù)的每個(gè)特征與樣本集中數(shù)據(jù)對(duì)應(yīng)的

特征進(jìn)行比較，然后算法提取樣本集中特征最相似數(shù)據(jù)（最近鄰）的分類(lèi)標(biāo)簽。一般來(lái)說(shuō)，我們

只選擇樣本數(shù)據(jù)集中前k個(gè)最相似的數(shù)據(jù)，這就是k-近鄰算法中k的出處，通常k是不大于20的整數(shù)。

最后，選擇k個(gè)最相似數(shù)據(jù)中出現(xiàn)次數(shù)最多的分類(lèi)，作為新數(shù)據(jù)的分類(lèi)。

優(yōu)點(diǎn)：精度高、對(duì)異常值不敏感、無(wú)數(shù)據(jù)輸入假定。

缺點(diǎn)：計(jì)算復(fù)雜度高、空間復(fù)雜度高。

適用數(shù)據(jù)范圍：數(shù)值型和標(biāo)稱(chēng)型。