作者：丁點(diǎn)helper 

來(lái)源：丁點(diǎn)幫你

線性回歸，可能是統(tǒng)計(jì)學(xué)上運(yùn)用最廣泛的一類(lèi)方法了，之所以說(shuō)它是一類(lèi)方法，是因?yàn)樗宋覀兪熘母鞣N模型：簡(jiǎn)單線性回歸、多重線性回歸、Logistic回歸等等。

線性回歸運(yùn)用這么廣泛很大程度在于它的內(nèi)在邏輯十分簡(jiǎn)單。一般情況下，就是找Y的影響因素或者說(shuō)是衡量自變量（X）對(duì)因變量（Y）的影響程度，即便不理解其中的數(shù)學(xué)計(jì)算也可以很容易地憑借各種軟件找到我們想要的結(jié)果。

確實(shí)如此，線性回歸，尤其是一般線性模型（一個(gè)Y，多個(gè)X）使用起來(lái)沒(méi)什么障礙，但大家是否完全理解清楚了所有應(yīng)該掌握的內(nèi)容（非數(shù)學(xué)計(jì)算）可能有待思考，這個(gè)系列的文章我們以“線性回歸”為主題，希望能讓大家對(duì)這個(gè)問(wèn)題的認(rèn)識(shí)能再全面一丁點(diǎn)。

回歸一詞的來(lái)源

初學(xué)的小伙伴有沒(méi)有思考過(guò)，為什么叫“回歸”？

回歸，這個(gè)詞，英文叫“Regression”，最早出現(xiàn)在1886年英國(guó)遺傳學(xué)家Francis Galton發(fā)表的一篇研究身高的論文（”Regression towards mediocrity in hereditary stature”），他發(fā)現(xiàn)子女的身高會(huì)向整個(gè)群體身高的均值回歸。

什么叫均值回歸？

大家是否想過(guò)人類(lèi)生活繁衍了無(wú)數(shù)代，但總體來(lái)看，成年男子的身高并沒(méi)有發(fā)生太大的變化，基本穩(wěn)定在1米6至1米8（暫不考慮人種差異）。

這種現(xiàn)象很大程度就是因?yàn)榇嬖诰祷貧w，即身高較高的父母雖然子女也比較高，但往往比父母矮；身高較矮的父母，其子女的身高往往比父母高。

所以，這里的均值回歸，就是指子代的身高會(huì)向整個(gè)人類(lèi)的平均身高靠攏的趨勢(shì)。

換句話講：姚明的孩子大概率會(huì)比姚明矮、潘長(zhǎng)江的孩子大概率會(huì)比潘長(zhǎng)江高。

因此，正是因?yàn)樯砀叩木祷貧w現(xiàn)象（向整個(gè)群體的平均身高回歸），整個(gè)人類(lèi)的身高水平才能比較均衡。

倘若，個(gè)子高的父親生的孩子比自己還高，而個(gè)子矮的父親生的孩子比自己還矮，那么整個(gè)人類(lèi)的身高就會(huì)呈現(xiàn)“兩極分化”的態(tài)勢(shì)：要么特別高、要么特別矮。

由此來(lái)看，最早的“回歸”實(shí)際上描述的是一種“現(xiàn)象“，即人們的身高不會(huì)無(wú)限制地上升或降低，而是會(huì)朝著平均水平回歸。

當(dāng)然，這種現(xiàn)象并不僅限于“身高”，我們身邊的很多現(xiàn)象都有向均值回歸的趨勢(shì)。比如考試成績(jī)，一般來(lái)講，成績(jī)很難持續(xù)提升或下降，而是大概率呈現(xiàn)波動(dòng)狀態(tài)，維持在一個(gè)平均水平。

而現(xiàn)如今，回歸更多是指代一種“方法”，即研究?jī)蓚€(gè)或兩個(gè)以上變量相關(guān)關(guān)系的方法。以一個(gè)變量為因變量（Y），另一個(gè)或一些變量為自變量（X），構(gòu)建一個(gè)方程——左邊為Y，右邊為X，通過(guò)計(jì)算X的系數(shù)來(lái)估計(jì)X對(duì)Y的影響。

比如通過(guò)父母的平均身高來(lái)估計(jì)子女的身高。我們以父母的平均身高為“X”，以孩子的身高為“Y”，然后探討這兩個(gè)變量之間的線性關(guān)系，這就是一個(gè)典型的回歸模型。

Francis Galton的研究——父母平均身高與子女身高的回歸線

區(qū)分總體和樣本

在剛開(kāi)始接觸統(tǒng)計(jì)的時(shí)候，我們會(huì)經(jīng)常強(qiáng)調(diào)一對(duì)概念——總體和樣本。但是，這個(gè)問(wèn)題在做回歸時(shí)可能會(huì)被忽略。

因?yàn)闊o(wú)論做哪種統(tǒng)計(jì)分析，我們獲得數(shù)據(jù)幾乎永遠(yuǎn)都是”樣本數(shù)據(jù)“：統(tǒng)計(jì)量的大小僅僅反映了這組數(shù)據(jù)的情況。

比如，我們想考察”教育年限（X）“與”收入（Y）“是否存在相關(guān)關(guān)系。通過(guò)抽樣，獲得了兩組數(shù)據(jù)（例如1000名對(duì)象的教育年限和目前的月收入），得出相關(guān)系數(shù)為0.8。

但是，這個(gè)相關(guān)系數(shù)僅僅反映了這1000名對(duì)象的情況，對(duì)于所有人（即我們研究的總體），這個(gè)相關(guān)關(guān)系是否仍然成立？

所以，我們必須要進(jìn)行檢驗(yàn)，即相關(guān)系數(shù)的假設(shè)檢驗(yàn)。因?yàn)槲覀冴P(guān)心的是相關(guān)關(guān)系的有無(wú)，所以，最主要的是檢驗(yàn)總體相關(guān)系數(shù)是否為0（H0假設(shè)）。因?yàn)椤?“代表無(wú)關(guān)，只要不為”0“，就證明總體數(shù)據(jù)的相關(guān)關(guān)系存在。

同樣的，我們也可以用獲得的這1000名對(duì)象的數(shù)據(jù)，做回歸分析，以”教育年限“（X）為自變量，以”月收入“（Y）為因變量，得到回歸方程：Y = 2000+200X+ε

這里，我們最關(guān)注的是X的回歸系數(shù)——200。

這里的200，意味著教育程度每增加一年，月收入增加200元。

但是，這個(gè)關(guān)系也只是反映了這1000名研究對(duì)象的情況，對(duì)于所有人，是否教育程度每增加一年，月收入都會(huì)增加200元？

這就有待進(jìn)行假設(shè)檢驗(yàn)，同樣我們也是關(guān)注：總體回歸系數(shù)是否為0。

因此，在接觸回歸的第一步，我們需要明確，自己手頭上數(shù)據(jù)所獲得的回歸方程僅僅是一個(gè)樣本的情況。

如果重復(fù)抽樣，再進(jìn)行相同的回歸分析，就會(huì)得到另一個(gè)回歸方程。

也就是說(shuō)，目前得到的這個(gè)回歸方程（以及其中的回歸系數(shù)），它是可變的，是一個(gè)樣本值，隨著樣本的變化而變化。也正因?yàn)榇?，我們才需要?duì)回歸系數(shù)進(jìn)行檢驗(yàn)。

實(shí)際上，教科書(shū)對(duì)總體回歸和樣本回歸也有著清晰地區(qū)分，就連方程的術(shù)語(yǔ)和符號(hào)也不例外：

所以，”戴帽子“(^)的都是樣本值，或者說(shuō)是總體的估計(jì)值。

理清了這一點(diǎn)，才能更好地搞懂回歸系數(shù)的假設(shè)檢驗(yàn)等問(wèn)題。

最后出個(gè)題目考考大家，當(dāng)我們做回歸系數(shù)（β）的假設(shè)檢驗(yàn)時(shí)，下面A、B兩種寫(xiě)法哪種正確：