問、K值怎么選擇？

答：

K值的選擇會(huì)對(duì)K近鄰法的結(jié)果產(chǎn)生重大影響．

如果選擇較小的K值，就相當(dāng)著于用較小的鄰域中的訓(xùn)練實(shí)例進(jìn)行預(yù)測，“學(xué)習(xí)”的近似誤差會(huì)減小，只有與輸入實(shí)例較近的（相似的）訓(xùn)練實(shí)例才會(huì)對(duì)預(yù)測結(jié)果起作用．但缺點(diǎn)是“學(xué)習(xí)＂的估計(jì)誤差會(huì)增大，預(yù)測結(jié)果會(huì)對(duì)近鄰的實(shí)例點(diǎn)非常敏感。如果鄰近的實(shí)例點(diǎn)恰巧是噪聲， 預(yù)測就會(huì)出錯(cuò)．換句話說，K值的減小就意味著整體模型變得復(fù)雜，容易發(fā)生過擬合．

如果選擇較大的K值，就相當(dāng)于用較大鄰域中的訓(xùn)練實(shí)例進(jìn)行預(yù)測．其優(yōu)點(diǎn)是可以減少學(xué)習(xí)的估計(jì)誤差．但缺點(diǎn)是學(xué)習(xí)的近似誤差會(huì)增大．這時(shí)與輸入實(shí)例較遠(yuǎn)的（不相似的）訓(xùn)練實(shí)例也會(huì)對(duì)預(yù)測起作用，使預(yù)測發(fā)生錯(cuò)誤.k值的增大就意味著整體的模型變得簡單．

如果k=N,那么無論輸入實(shí)例是什么，都將簡單地預(yù)測它屬千在訓(xùn)練實(shí)例中最多的類．這時(shí)，模型過于簡單，完全忽略訓(xùn)練實(shí)例中的大量有用信息，是不可取的．

在應(yīng)用中，K值一般取一個(gè)比較小的數(shù)值．通常采用交叉驗(yàn)證法來選取最優(yōu)的K值．