問(wèn):
KNN模型如何選取最優(yōu)K值?
答:
KNN中的 代表的是距離需要分類(lèi)的測(cè)試點(diǎn) 最近的 個(gè)樣本點(diǎn),如果不輸?這個(gè)值,那么算法中重
要部分 "選出 個(gè)最近鄰" 就?法實(shí)現(xiàn)。從 NN的原理中可?,是否能夠確認(rèn)合適的 值對(duì)算法有極?
的影響。
如果選擇的 值較?,就相當(dāng)于較?的鄰域中的訓(xùn)練實(shí)例進(jìn)?預(yù)測(cè),這時(shí)候只有與輸?實(shí)例較近的(相
似的)訓(xùn)練實(shí)例才會(huì)對(duì)預(yù)測(cè)結(jié)果起作?,但缺點(diǎn)是預(yù)測(cè)結(jié)果會(huì)對(duì)近鄰的實(shí)例點(diǎn)?常敏感。如果鄰近的實(shí)
例點(diǎn)恰好是噪聲,預(yù)測(cè)就會(huì)出錯(cuò)。換句話說(shuō), 值的減?意味著整體模型變得復(fù)雜,容易發(fā)?過(guò)擬合。
相反地,如果選擇的 值較?,就相當(dāng)于較?的鄰域中的訓(xùn)練實(shí)例進(jìn)?預(yù)測(cè)。這時(shí)與輸?實(shí)例較遠(yuǎn)的
(不相似的)訓(xùn)練實(shí)例也會(huì)對(duì)預(yù)測(cè)起作?,使預(yù)測(cè)發(fā)?錯(cuò)誤。 值的增?意味著整體模型變得簡(jiǎn)單因此,
超參數(shù) 的選定是 NN的頭號(hào)問(wèn)題
在應(yīng)?中, k值?般取?個(gè)?較?的值,通常采?交叉驗(yàn)證法來(lái)來(lái)選取最優(yōu)的K值。 在這里我們可以借助
參數(shù)學(xué)習(xí)曲線來(lái)找出最優(yōu)k值,參數(shù)學(xué)習(xí)曲線是?條以不同的參數(shù)取值為橫坐標(biāo),不同參數(shù)取值下的模型結(jié)果為
縱坐標(biāo)的曲線,我們往往選擇模型表現(xiàn)最佳點(diǎn)的參數(shù)取值作為這個(gè)參數(shù)的取值 。








暫無(wú)數(shù)據(jù)