作者：丁點(diǎn)helper 

來(lái)源：丁點(diǎn)幫你

上一篇文章介紹了一般線性回歸的典型操作，并且留了一個(gè)思考題。感謝小伙伴的參與，大家很厲害，沒(méi)有被迷惑到，線性回歸獲得的系數(shù)代表的是相關(guān)關(guān)系，而非因果關(guān)聯(lián)。

回歸是相關(guān)不是因果

多重線性回歸，一般是指有多個(gè)自變量X，只有一個(gè)因變量Y。前面我們主要是以簡(jiǎn)單線性回歸為例在介紹，兩者的差距主要在于自變量X的數(shù)量，在只有一個(gè)X時(shí)，就稱簡(jiǎn)單線性回歸。

因?yàn)?，回歸的使用僅能說(shuō)明數(shù)據(jù)之前存在關(guān)聯(lián)，但這種關(guān)聯(lián)是否真正代表了兩者的內(nèi)在聯(lián)系還需要更深入的研究。

之所以采用回歸分析，就是通過(guò)納入多個(gè)自變量，達(dá)到控制混雜因素的作用，但是我們無(wú)法納入所有可能的因素，即所謂的“遺漏變量”（omitted variables），從而導(dǎo)致回歸的結(jié)果不準(zhǔn)確。

例如，探究教育程度與收入的關(guān)系，如果我們?cè)?a href='/map/huiguifenxi/' style='color:#000;font-size:inherit;'>回歸分析中沒(méi)有納入“父母的平均教育程度”這個(gè)變量，此時(shí)，這個(gè)變量就被稱為“遺漏變量”。

根據(jù)常識(shí)，父母的教育程度應(yīng)該是孩子未來(lái)收入的重要影響因素，同時(shí)也幾乎決定了孩子的教育程度。因此，遺漏這個(gè)變量有可能讓我們得出有偏差的結(jié)果（一般會(huì)高估個(gè)人教育程度對(duì)未來(lái)收入的影響）。

同時(shí)，如果X與Y之間的關(guān)系，不是X導(dǎo)致Y，而是Y導(dǎo)致X（稱作“反向因果”），此時(shí)的回歸分析也會(huì)得出有統(tǒng)計(jì)學(xué)意義的結(jié)果（總體回歸系數(shù)不為0）。

但這個(gè)結(jié)果無(wú)法顯示相關(guān)關(guān)系的方向，即無(wú)法判斷是X→Y，還是Y→X，從而誤導(dǎo)我們的判斷。

例如，常有人說(shuō)，一個(gè)國(guó)家保護(hù)私人產(chǎn)權(quán)制度越完善，這個(gè)國(guó)家就越富裕。

這意味著完備的產(chǎn)權(quán)促進(jìn)了國(guó)家經(jīng)濟(jì)的發(fā)展，于是人們建議：貧窮的國(guó)家都要實(shí)施良好的私有產(chǎn)權(quán)保護(hù)。

不可否認(rèn)，產(chǎn)權(quán)對(duì)提升經(jīng)濟(jì)發(fā)展的確有作用。但我們不能忽略這其中的反向因果。

也就是說(shuō)，很有可能是一個(gè)國(guó)家富裕之后才開(kāi)始注意產(chǎn)權(quán)保護(hù)，產(chǎn)權(quán)制度才會(huì)更加完善，由此，并非是產(chǎn)權(quán)促進(jìn)了經(jīng)濟(jì)的發(fā)展，而是經(jīng)濟(jì)發(fā)展促進(jìn)了產(chǎn)權(quán)的完善。

所以，我們不能只從兩組數(shù)據(jù)的相關(guān)就推測(cè)因果，除了那些沒(méi)有納入考慮的變量，反向因果也有可能對(duì)我們進(jìn)行誤導(dǎo)。

由此來(lái)看，回歸分析更像是一種探索，它提供某種線索，啟示我們下一步的研究方向。

回歸診斷——?dú)埐顖D

多重線性回歸，一般是指有多個(gè)自變量X，只有一個(gè)因變量Y。前面我們主要是以簡(jiǎn)單線性回歸為例在介紹，兩者的差距主要在于自變量X的數(shù)量，在只有一個(gè)X時(shí)，就稱簡(jiǎn)單線性回歸。

回歸分析有時(shí)候之所以不能揭示因果，除了上面談到的遺漏變量效應(yīng)和反向因果外，某些假設(shè)條件的違反也會(huì)導(dǎo)致回歸的結(jié)果不準(zhǔn)。

所以，我們要牢記做完回歸并不意味著萬(wàn)事大吉，進(jìn)行必要的診斷性分析十分必要。

回歸診斷，就是通過(guò)各種方法來(lái)驗(yàn)證回歸分析的假設(shè)條件以及其他因素的影響，這里我們重點(diǎn)講講回歸LINE條件的診斷和多重共線性的識(shí)別。

前文我們提到過(guò)做線性回歸的時(shí)候一般需滿足：線性、獨(dú)立、正態(tài)、方差齊（LINE）條件。

對(duì)這些假設(shè)條件的診斷其實(shí)有各種各樣的辦法，其中一種使用十分廣泛，簡(jiǎn)單易學(xué)，同時(shí)效率也比較高的做法是作殘差圖。

畫(huà)殘差圖，一般是以回歸分析Y的預(yù)測(cè)值為橫軸，以殘差為縱軸做散點(diǎn)圖。

如果打開(kāi)SPSS，可以看到回歸分析模塊中有很多種殘差：未標(biāo)準(zhǔn)化、標(biāo)準(zhǔn)化、學(xué)生化等等。

簡(jiǎn)單起見(jiàn)，大家可以選擇所謂的“學(xué)生化”殘差。

不知有同學(xué)是否了解過(guò)，什么叫“學(xué)生化殘差”？（不能再古怪了?。?

實(shí)際上，它和我們前面學(xué)習(xí)的t檢驗(yàn)還有聯(lián)系。

t檢驗(yàn)發(fā)明者的筆名就叫“學(xué)生”，即student，所以這里的“學(xué)生化殘差”可以簡(jiǎn)單理解為一種t變換（與標(biāo)準(zhǔn)化，即z變換類似）。

具體的細(xì)節(jié)感興趣的同學(xué)可以去查一查。在我們的具體應(yīng)用中，采用“學(xué)生化殘差”和“預(yù)測(cè)值”做散點(diǎn)圖還是挺簡(jiǎn)單的，而且可以發(fā)現(xiàn)一些問(wèn)題。

一條原則：如果線性回歸效果較好，則殘差圖的各個(gè)散點(diǎn)會(huì)圍繞著“殘差=0”水平線上下均勻分布，如下圖中的紅線。

這可能是最簡(jiǎn)單的診斷方法，通過(guò)觀察散點(diǎn)在上述紅線上下的分布情況來(lái)推測(cè)回歸分析的質(zhì)量，同時(shí)提示需要改進(jìn)的方向。

例如，下面這張散點(diǎn)圖，就提示Y與自變量X之間可能存在某種曲線關(guān)系。

當(dāng)增加某個(gè)自變量的二次項(xiàng)后，回歸被改善。

沒(méi)有添加任何二次項(xiàng)

增加x1的二次項(xiàng)，擬合效果提示

除此以外，線性回歸診斷另一個(gè)常見(jiàn)的問(wèn)題是，當(dāng)自變量X之間互相存在高度相關(guān)性時(shí)，會(huì)導(dǎo)致回歸方程估計(jì)結(jié)果不穩(wěn)定，回歸系數(shù)的標(biāo)準(zhǔn)誤大大增加（可以通過(guò)數(shù)學(xué)公式證明，標(biāo)準(zhǔn)誤計(jì)算的分母因?yàn)閄之間的相關(guān)系數(shù)而變大，從而整個(gè)標(biāo)準(zhǔn)誤變?。Q為共線性。

共線性最大的問(wèn)題是，導(dǎo)致本身有意義（P＜0.05）的結(jié)果變?yōu)闊o(wú)意義（P＞0.05）。

SPSS在線性回歸分析模塊也有專門(mén)的共線性診斷指標(biāo)，我們?cè)诜治鰰r(shí)點(diǎn)選即可：

根據(jù)上一篇文章中的例子，共線性診斷的的指標(biāo)均在要求之內(nèi)，提示共線性問(wèn)題不嚴(yán)重。

最后，如果線性回歸的LINE沒(méi)有通過(guò)診斷分析，需要怎樣改進(jìn)呢？如下圖，大家作為參考，這些內(nèi)容后期有機(jī)會(huì)我們逐漸給大家講解。