作者：丁點helper 

來源：丁點幫你

上一篇文章介紹了一般線性回歸的典型操作，并且留了一個思考題。感謝小伙伴的參與，大家很厲害，沒有被迷惑到，線性回歸獲得的系數(shù)代表的是相關(guān)關(guān)系，而非因果關(guān)聯(lián)。

回歸是相關(guān)不是因果

多重線性回歸，一般是指有多個自變量X，只有一個因變量Y。前面我們主要是以簡單線性回歸為例在介紹，兩者的差距主要在于自變量X的數(shù)量，在只有一個X時，就稱簡單線性回歸。

因為，回歸的使用僅能說明數(shù)據(jù)之前存在關(guān)聯(lián)，但這種關(guān)聯(lián)是否真正代表了兩者的內(nèi)在聯(lián)系還需要更深入的研究。

之所以采用回歸分析，就是通過納入多個自變量，達(dá)到控制混雜因素的作用，但是我們無法納入所有可能的因素，即所謂的“遺漏變量”（omitted variables），從而導(dǎo)致回歸的結(jié)果不準(zhǔn)確。

例如，探究教育程度與收入的關(guān)系，如果我們在回歸分析中沒有納入“父母的平均教育程度”這個變量，此時，這個變量就被稱為“遺漏變量”。

根據(jù)常識，父母的教育程度應(yīng)該是孩子未來收入的重要影響因素，同時也幾乎決定了孩子的教育程度。因此，遺漏這個變量有可能讓我們得出有偏差的結(jié)果（一般會高估個人教育程度對未來收入的影響）。

同時，如果X與Y之間的關(guān)系，不是X導(dǎo)致Y，而是Y導(dǎo)致X（稱作“反向因果”），此時的回歸分析也會得出有統(tǒng)計學(xué)意義的結(jié)果（總體回歸系數(shù)不為0）。

但這個結(jié)果無法顯示相關(guān)關(guān)系的方向，即無法判斷是X→Y，還是Y→X，從而誤導(dǎo)我們的判斷。

例如，常有人說，一個國家保護(hù)私人產(chǎn)權(quán)制度越完善，這個國家就越富裕。

這意味著完備的產(chǎn)權(quán)促進(jìn)了國家經(jīng)濟(jì)的發(fā)展，于是人們建議：貧窮的國家都要實施良好的私有產(chǎn)權(quán)保護(hù)。

不可否認(rèn)，產(chǎn)權(quán)對提升經(jīng)濟(jì)發(fā)展的確有作用。但我們不能忽略這其中的反向因果。

也就是說，很有可能是一個國家富裕之后才開始注意產(chǎn)權(quán)保護(hù)，產(chǎn)權(quán)制度才會更加完善，由此，并非是產(chǎn)權(quán)促進(jìn)了經(jīng)濟(jì)的發(fā)展，而是經(jīng)濟(jì)發(fā)展促進(jìn)了產(chǎn)權(quán)的完善。

所以，我們不能只從兩組數(shù)據(jù)的相關(guān)就推測因果，除了那些沒有納入考慮的變量，反向因果也有可能對我們進(jìn)行誤導(dǎo)。

由此來看，回歸分析更像是一種探索，它提供某種線索，啟示我們下一步的研究方向。

回歸診斷——殘差圖

多重線性回歸，一般是指有多個自變量X，只有一個因變量Y。前面我們主要是以簡單線性回歸為例在介紹，兩者的差距主要在于自變量X的數(shù)量，在只有一個X時，就稱簡單線性回歸。

回歸分析有時候之所以不能揭示因果，除了上面談到的遺漏變量效應(yīng)和反向因果外，某些假設(shè)條件的違反也會導(dǎo)致回歸的結(jié)果不準(zhǔn)。

所以，我們要牢記做完回歸并不意味著萬事大吉，進(jìn)行必要的診斷性分析十分必要。

回歸診斷，就是通過各種方法來驗證回歸分析的假設(shè)條件以及其他因素的影響，這里我們重點講講回歸LINE條件的診斷和多重共線性的識別。

前文我們提到過做線性回歸的時候一般需滿足：線性、獨立、正態(tài)、方差齊（LINE）條件。

對這些假設(shè)條件的診斷其實有各種各樣的辦法，其中一種使用十分廣泛，簡單易學(xué)，同時效率也比較高的做法是作殘差圖。

畫殘差圖，一般是以回歸分析Y的預(yù)測值為橫軸，以殘差為縱軸做散點圖。

如果打開SPSS，可以看到回歸分析模塊中有很多種殘差：未標(biāo)準(zhǔn)化、標(biāo)準(zhǔn)化、學(xué)生化等等。

簡單起見，大家可以選擇所謂的“學(xué)生化”殘差。

不知有同學(xué)是否了解過，什么叫“學(xué)生化殘差”？（不能再古怪了?。?

實際上，它和我們前面學(xué)習(xí)的t檢驗還有聯(lián)系。

t檢驗發(fā)明者的筆名就叫“學(xué)生”，即student，所以這里的“學(xué)生化殘差”可以簡單理解為一種t變換（與標(biāo)準(zhǔn)化，即z變換類似）。

具體的細(xì)節(jié)感興趣的同學(xué)可以去查一查。在我們的具體應(yīng)用中，采用“學(xué)生化殘差”和“預(yù)測值”做散點圖還是挺簡單的，而且可以發(fā)現(xiàn)一些問題。

一條原則：如果線性回歸效果較好，則殘差圖的各個散點會圍繞著“殘差=0”水平線上下均勻分布，如下圖中的紅線。

這可能是最簡單的診斷方法，通過觀察散點在上述紅線上下的分布情況來推測回歸分析的質(zhì)量，同時提示需要改進(jìn)的方向。

例如，下面這張散點圖，就提示Y與自變量X之間可能存在某種曲線關(guān)系。

當(dāng)增加某個自變量的二次項后，回歸被改善。

沒有添加任何二次項

增加x1的二次項，擬合效果提示

除此以外，線性回歸診斷另一個常見的問題是，當(dāng)自變量X之間互相存在高度相關(guān)性時，會導(dǎo)致回歸方程估計結(jié)果不穩(wěn)定，回歸系數(shù)的標(biāo)準(zhǔn)誤大大增加（可以通過數(shù)學(xué)公式證明，標(biāo)準(zhǔn)誤計算的分母因為X之間的相關(guān)系數(shù)而變大，從而整個標(biāo)準(zhǔn)誤變小），稱為共線性。

共線性最大的問題是，導(dǎo)致本身有意義（P＜0.05）的結(jié)果變?yōu)闊o意義（P＞0.05）。

SPSS在線性回歸分析模塊也有專門的共線性診斷指標(biāo)，我們在分析時點選即可：

根據(jù)上一篇文章中的例子，共線性診斷的的指標(biāo)均在要求之內(nèi)，提示共線性問題不嚴(yán)重。

最后，如果線性回歸的LINE沒有通過診斷分析，需要怎樣改進(jìn)呢？如下圖，大家作為參考，這些內(nèi)容后期有機(jī)會我們逐漸給大家講解。