
作者:丁點(diǎn)helper
來(lái)源:丁點(diǎn)幫你
上一篇文章介紹了一般線性回歸的典型操作,并且留了一個(gè)思考題。感謝小伙伴的參與,大家很厲害,沒(méi)有被迷惑到,線性回歸獲得的系數(shù)代表的是相關(guān)關(guān)系,而非因果關(guān)聯(lián)。
回歸是相關(guān)不是因果
多重線性回歸,一般是指有多個(gè)自變量X,只有一個(gè)因變量Y。前面我們主要是以簡(jiǎn)單線性回歸為例在介紹,兩者的差距主要在于自變量X的數(shù)量,在只有一個(gè)X時(shí),就稱簡(jiǎn)單線性回歸。
因?yàn)?,回歸的使用僅能說(shuō)明數(shù)據(jù)之前存在關(guān)聯(lián),但這種關(guān)聯(lián)是否真正代表了兩者的內(nèi)在聯(lián)系還需要更深入的研究。
之所以采用回歸分析,就是通過(guò)納入多個(gè)自變量,達(dá)到控制混雜因素的作用,但是我們無(wú)法納入所有可能的因素,即所謂的“遺漏變量”(omitted variables),從而導(dǎo)致回歸的結(jié)果不準(zhǔn)確。
例如,探究教育程度與收入的關(guān)系,如果我們?cè)?a href='/map/huiguifenxi/' style='color:#000;font-size:inherit;'>回歸分析中沒(méi)有納入“父母的平均教育程度”這個(gè)變量,此時(shí),這個(gè)變量就被稱為“遺漏變量”。
根據(jù)常識(shí),父母的教育程度應(yīng)該是孩子未來(lái)收入的重要影響因素,同時(shí)也幾乎決定了孩子的教育程度。因此,遺漏這個(gè)變量有可能讓我們得出有偏差的結(jié)果(一般會(huì)高估個(gè)人教育程度對(duì)未來(lái)收入的影響)。
同時(shí),如果X與Y之間的關(guān)系,不是X導(dǎo)致Y,而是Y導(dǎo)致X(稱作“反向因果”),此時(shí)的回歸分析也會(huì)得出有統(tǒng)計(jì)學(xué)意義的結(jié)果(總體回歸系數(shù)不為0)。
但這個(gè)結(jié)果無(wú)法顯示相關(guān)關(guān)系的方向,即無(wú)法判斷是X→Y,還是Y→X,從而誤導(dǎo)我們的判斷。
例如,常有人說(shuō),一個(gè)國(guó)家保護(hù)私人產(chǎn)權(quán)制度越完善,這個(gè)國(guó)家就越富裕。
這意味著完備的產(chǎn)權(quán)促進(jìn)了國(guó)家經(jīng)濟(jì)的發(fā)展,于是人們建議:貧窮的國(guó)家都要實(shí)施良好的私有產(chǎn)權(quán)保護(hù)。
不可否認(rèn),產(chǎn)權(quán)對(duì)提升經(jīng)濟(jì)發(fā)展的確有作用。但我們不能忽略這其中的反向因果。
也就是說(shuō),很有可能是一個(gè)國(guó)家富裕之后才開(kāi)始注意產(chǎn)權(quán)保護(hù),產(chǎn)權(quán)制度才會(huì)更加完善,由此,并非是產(chǎn)權(quán)促進(jìn)了經(jīng)濟(jì)的發(fā)展,而是經(jīng)濟(jì)發(fā)展促進(jìn)了產(chǎn)權(quán)的完善。
所以,我們不能只從兩組數(shù)據(jù)的相關(guān)就推測(cè)因果,除了那些沒(méi)有納入考慮的變量,反向因果也有可能對(duì)我們進(jìn)行誤導(dǎo)。
由此來(lái)看,回歸分析更像是一種探索,它提供某種線索,啟示我們下一步的研究方向。
回歸診斷——?dú)埐顖D
多重線性回歸,一般是指有多個(gè)自變量X,只有一個(gè)因變量Y。前面我們主要是以簡(jiǎn)單線性回歸為例在介紹,兩者的差距主要在于自變量X的數(shù)量,在只有一個(gè)X時(shí),就稱簡(jiǎn)單線性回歸。
回歸分析有時(shí)候之所以不能揭示因果,除了上面談到的遺漏變量效應(yīng)和反向因果外,某些假設(shè)條件的違反也會(huì)導(dǎo)致回歸的結(jié)果不準(zhǔn)。
所以,我們要牢記做完回歸并不意味著萬(wàn)事大吉,進(jìn)行必要的診斷性分析十分必要。
回歸診斷,就是通過(guò)各種方法來(lái)驗(yàn)證回歸分析的假設(shè)條件以及其他因素的影響,這里我們重點(diǎn)講講回歸LINE條件的診斷和多重共線性的識(shí)別。
前文我們提到過(guò)做線性回歸的時(shí)候一般需滿足:線性、獨(dú)立、正態(tài)、方差齊(LINE)條件。
對(duì)這些假設(shè)條件的診斷其實(shí)有各種各樣的辦法,其中一種使用十分廣泛,簡(jiǎn)單易學(xué),同時(shí)效率也比較高的做法是作殘差圖。
畫(huà)殘差圖,一般是以回歸分析Y的預(yù)測(cè)值為橫軸,以殘差為縱軸做散點(diǎn)圖。
如果打開(kāi)SPSS,可以看到回歸分析模塊中有很多種殘差:未標(biāo)準(zhǔn)化、標(biāo)準(zhǔn)化、學(xué)生化等等。
簡(jiǎn)單起見(jiàn),大家可以選擇所謂的“學(xué)生化”殘差。
不知有同學(xué)是否了解過(guò),什么叫“學(xué)生化殘差”?(不能再古怪了?。?
實(shí)際上,它和我們前面學(xué)習(xí)的t檢驗(yàn)還有聯(lián)系。
t檢驗(yàn)發(fā)明者的筆名就叫“學(xué)生”,即student,所以這里的“學(xué)生化殘差”可以簡(jiǎn)單理解為一種t變換(與標(biāo)準(zhǔn)化,即z變換類似)。
具體的細(xì)節(jié)感興趣的同學(xué)可以去查一查。在我們的具體應(yīng)用中,采用“學(xué)生化殘差”和“預(yù)測(cè)值”做散點(diǎn)圖還是挺簡(jiǎn)單的,而且可以發(fā)現(xiàn)一些問(wèn)題。
一條原則:如果線性回歸效果較好,則殘差圖的各個(gè)散點(diǎn)會(huì)圍繞著“殘差=0”水平線上下均勻分布,如下圖中的紅線。
這可能是最簡(jiǎn)單的診斷方法,通過(guò)觀察散點(diǎn)在上述紅線上下的分布情況來(lái)推測(cè)回歸分析的質(zhì)量,同時(shí)提示需要改進(jìn)的方向。
例如,下面這張散點(diǎn)圖,就提示Y與自變量X之間可能存在某種曲線關(guān)系。
當(dāng)增加某個(gè)自變量的二次項(xiàng)后,回歸被改善。
沒(méi)有添加任何二次項(xiàng)
增加x1的二次項(xiàng),擬合效果提示
除此以外,線性回歸診斷另一個(gè)常見(jiàn)的問(wèn)題是,當(dāng)自變量X之間互相存在高度相關(guān)性時(shí),會(huì)導(dǎo)致回歸方程估計(jì)結(jié)果不穩(wěn)定,回歸系數(shù)的標(biāo)準(zhǔn)誤大大增加(可以通過(guò)數(shù)學(xué)公式證明,標(biāo)準(zhǔn)誤計(jì)算的分母因?yàn)閄之間的相關(guān)系數(shù)而變大,從而整個(gè)標(biāo)準(zhǔn)誤變?。Q為共線性。
共線性最大的問(wèn)題是,導(dǎo)致本身有意義(P<0.05)的結(jié)果變?yōu)闊o(wú)意義(P>0.05)。
SPSS在線性回歸分析模塊也有專門(mén)的共線性診斷指標(biāo),我們?cè)诜治鰰r(shí)點(diǎn)選即可:
根據(jù)上一篇文章中的例子,共線性診斷的的指標(biāo)均在要求之內(nèi),提示共線性問(wèn)題不嚴(yán)重。
最后,如果線性回歸的LINE沒(méi)有通過(guò)診斷分析,需要怎樣改進(jìn)呢?如下圖,大家作為參考,這些內(nèi)容后期有機(jī)會(huì)我們逐漸給大家講解。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門(mén)控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書(shū)考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開(kāi)啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03