嶺回歸(英文名:ridge regression, Tikhonov regularization)是一種專用于共線性數(shù)據(jù)分析的有偏估計(jì)回歸方法，實(shí)質(zhì)上是一種改良的最小二乘估計(jì)法，通過(guò)放棄最小二乘法的無(wú)偏性，以損失部分信息、降低精度為代價(jià)獲得回歸系數(shù)更為符合實(shí)際、更可靠的回歸方法，對(duì)病態(tài)數(shù)據(jù)的擬合要強(qiáng)于最小二乘法。

原理

　　嶺回歸的原理較為復(fù)雜。根據(jù)高斯馬爾科夫定理，多重相關(guān)性并不影響最小二乘估計(jì)量的無(wú)偏性和最小方差性，但是，雖然最小二乘估計(jì)量在所有線性無(wú)偏估計(jì)量中是方差最小的，但是這個(gè)方差卻不一定小。而實(shí)際上可以找一個(gè)有偏估計(jì)量，這個(gè)估計(jì)量雖然有微小的偏差，但它的精度卻能夠大大高于無(wú)偏的估計(jì)量。嶺回歸分析就是依據(jù)這個(gè)原理，通過(guò)在正規(guī)方程中引入有偏常數(shù)而求得回歸估計(jì)量的，具體分析計(jì)算過(guò)程較為復(fù)雜，詳細(xì)情況可查閱相關(guān)資料。

缺點(diǎn)

　　通常嶺回歸方程的R平方值會(huì)稍低于普通回歸分析，但回歸系數(shù)的顯著性往往明顯高于普通回歸，在存在共線性問(wèn)題和病態(tài)數(shù)據(jù)偏多的研究中有較大的實(shí)用價(jià)值。