廣義上說(shuō)共線性指的自變量之間的相關(guān)性，那么相關(guān)性有雙變量間的相關(guān)，也有多變量間的相關(guān)，由此可以進(jìn)一步區(qū)分為共線性和多重共線性。下文首先從共線性的闡述逐步過(guò)渡到多重共線性。假設(shè)我們需要擬合包含了兩個(gè)影響因素線性回歸，并且假設(shè)x_1和x_2的相關(guān)系數(shù)為r_12，

k 表示自變量數(shù)?？梢?jiàn)參與β ?計(jì)算的是由3部分統(tǒng)計(jì)量組成，分子的殘差平方和、分母的自變量方差、自變量間的相關(guān)性。殘差平方和可以看成是來(lái)自于因變量的信息，方差可以看成是來(lái)自于自變量的信息，相關(guān)系數(shù)來(lái)自于自變量之間的信息。

如果我們假設(shè)變量之間的相關(guān)性為0，回歸系數(shù)β ?的方差是最小的。當(dāng)然，這在數(shù)學(xué)上看起來(lái)很完美，但并不符合實(shí)際應(yīng)用，因?yàn)樵诨貧w分析中，所有影響因素可以看成是共享同一個(gè)因變量，如果能夠共享同一個(gè)潛在的因變量，影響因素之間沒(méi)有任何關(guān)系，則違反普通的理論或業(yè)務(wù)假定，所以相關(guān)系數(shù)為零，表示完全無(wú)共線性，在理論上行得通，但實(shí)際應(yīng)用比較少。

如果相關(guān)系數(shù)取最大值1，會(huì)導(dǎo)致整個(gè)回歸系數(shù)方差變得不可估計(jì)，我們把這種現(xiàn)象稱之為完全共線性。完全共線性的場(chǎng)景，在小數(shù)據(jù)中極為少見(jiàn)，甚至不會(huì)出現(xiàn)，但在大數(shù)據(jù)中，由于數(shù)據(jù)鏈的存在，幾乎不可避免，但常見(jiàn)的方法論可以事先篩選掉這類問(wèn)題。不過(guò)一旦出現(xiàn)完全共線性問(wèn)題，并不會(huì)同時(shí)將涉及共線性的變量放入方程，因?yàn)檫@樣仍會(huì)帶來(lái)如過(guò)擬合、速度、冗余等問(wèn)題。總體來(lái)說(shuō)無(wú)需傾注太多關(guān)注。

因此我們最常見(jiàn)的場(chǎng)景是介于0到1之間的相關(guān)性。理論統(tǒng)計(jì)研究顯示變量間出現(xiàn)適度的相關(guān)性，不會(huì)帶來(lái)嚴(yán)重的統(tǒng)計(jì)估計(jì)問(wèn)題，但如果相關(guān)性很高，嚴(yán)重的估計(jì)問(wèn)題就會(huì)出現(xiàn)，這是不容忽視的。如下圖所示，R方取值越大，對(duì)應(yīng)的系數(shù)估計(jì)方差的倍數(shù)越大，如果R方等于0.9，系數(shù)方差是原來(lái)（R方取值0）的10倍，0.95對(duì)應(yīng)的是20倍的方差。理論研究顯示 系數(shù)方差超出10倍，則對(duì)系數(shù)估計(jì)穩(wěn)定性造成一定程度的影響。由此得出的結(jié)論是將R方為0.9視作為出現(xiàn)共線性診斷的標(biāo)準(zhǔn)之一，如果R方超過(guò)0.95則存在嚴(yán)重的共線性。