回歸分析的認(rèn)識(shí)及簡(jiǎn)單運(yùn)用

 回歸分析（regression analysis)是確定兩種或兩種以上變量間相互依賴的定量關(guān)系的一種統(tǒng)計(jì)分析方法。運(yùn)用十分廣泛，回歸分析按照涉及的自變量的多少，分為回歸和多重回歸分析；按照自變量的多少，可分為一元回歸分析和多元回歸分析；按照自變量和因變量之間的關(guān)系類型，可分為線性回歸分析和非線性回歸分析。如果在回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多重線性回歸分析。

 定義

 回歸分析是應(yīng)用極其廣泛的數(shù)據(jù)分析方法之一。它基于觀測(cè)數(shù)據(jù)建立變量間適當(dāng)?shù)囊蕾囮P(guān)系，以分析數(shù)據(jù)內(nèi)在規(guī)律，并可用于預(yù)報(bào)、控制等問(wèn)題。

 方差齊性

 線性關(guān)系

 效應(yīng)累加

 變量無(wú)測(cè)量誤差

 變量服從多元正態(tài)分布

 觀察獨(dú)立

 模型完整（沒(méi)有包含不該進(jìn)入的變量、也沒(méi)有漏掉應(yīng)該進(jìn)入的變量）

 誤差項(xiàng)獨(dú)立且服從（0，1）正態(tài)分布。

 現(xiàn)實(shí)數(shù)據(jù)常常不能完全符合上述假定。因此，統(tǒng)計(jì)學(xué)家研究出許多的回歸模型來(lái)解決線性回歸模型假定過(guò)程的約束。

 研究一個(gè)或多個(gè)隨機(jī)變量Y1 ，Y2 ，…，Yi與另一些變量X1、X2，…，Xk之間的關(guān)系的統(tǒng)計(jì)方法，又稱多重回歸分析。通常稱Y1，Y2，…，Yi為因變量，X1、X2，…，Xk為自變量。回歸分析是一類數(shù)學(xué)模型，特別當(dāng)因變量和自變量為線性關(guān)系時(shí)，它是一種特殊的線性模型。最簡(jiǎn)單的情形是一個(gè)自變量和一個(gè)因變量，且它們大體上有線性關(guān)系，這叫一元線性回歸，即模型為Y=a+bX+ε，這里X是自變量，Y是因變量，ε是隨機(jī)誤差，通常假定隨機(jī)誤差的均值為0，方差為σ^2（σ^2大于0）σ^2與X的值無(wú)關(guān)。若進(jìn)一步假定隨機(jī)誤差遵從正態(tài)分布，就叫做正態(tài)線性模型。一般的情形，它有k個(gè)自變量和一個(gè)因變量，因變量的值可以分解為兩部分：一部分是由于自變量的影響，即表示為自變量的函數(shù)，其中函數(shù)形式已知，但含一些未知參數(shù)；另一部分是由于其他未被考慮的因素和隨機(jī)性的影響，即隨機(jī)誤差。當(dāng)函數(shù)形式為未知參數(shù)的線性函數(shù)時(shí)，稱線性回歸分析模型；當(dāng)函數(shù)形式為未知參數(shù)的非線性函數(shù)時(shí)，稱為非線性回歸分析模型。當(dāng)自變量的個(gè)數(shù)大于1時(shí)稱為多元回歸，當(dāng)因變量個(gè)數(shù)大于1時(shí)稱為多重回歸。

 回歸分析的主要內(nèi)容為：

 ①?gòu)囊唤M數(shù)據(jù)出發(fā)，確定某些變量之間的定量關(guān)系式，即建立數(shù)學(xué)模型并估計(jì)其中的未知參數(shù)。估計(jì)參數(shù)的常用方法是最小二乘法。

 ②對(duì)這些關(guān)系式的可信程度進(jìn)行檢驗(yàn)。

 ③在許多自變量共同影響著一個(gè)因變量的關(guān)系中，判斷哪個(gè)（或哪些）自變量的影響是顯著的，哪些自變量的影響是不顯著的，將影響顯著的自變量入模型中，而剔除影響不顯著的變量，通常用逐步回歸、向前回歸和向后回歸等方法。

 ④利用所求的關(guān)系式對(duì)某一生產(chǎn)過(guò)程進(jìn)行預(yù)測(cè)或控制。回歸分析的應(yīng)用是非常廣泛的，統(tǒng)計(jì)軟件包使各種回歸方法計(jì)算十分方便。

 在回歸分析中，把變量分為兩類。一類是因變量，它們通常是實(shí)際問(wèn)題中所關(guān)心的一類指標(biāo)，通常用Y表示；而影響因變量取值的的另一類變量稱為自變量，用X來(lái)表示。

 回歸分析研究的主要問(wèn)題是：

 （1）確定Y與X間的定量關(guān)系表達(dá)式，這種表達(dá)式稱為回歸方程；

 （2）對(duì)求得的回歸方程的可信度進(jìn)行檢驗(yàn)；

 （3）判斷自變量X對(duì)因變量Y有無(wú)影響；

 （4）利用所求得的回歸方程進(jìn)行預(yù)測(cè)和控制。

 回歸分析可以說(shuō)是統(tǒng)計(jì)學(xué)中內(nèi)容最豐富、應(yīng)用最廣泛的分支。這一點(diǎn)幾乎不帶夸張。包括最簡(jiǎn)單的t檢驗(yàn)、方差分析也都可以歸到線性回歸的類別。而卡方檢驗(yàn)也完全可以用logistic回歸代替。

 眾多回歸的名稱張口即來(lái)的就有一大片，線性回歸、logistic回歸、cox回歸、poission回歸、probit回歸等等等等，可以一直說(shuō)的你頭暈。為了讓大家對(duì)眾多回歸有一個(gè)清醒的認(rèn)識(shí)，這里簡(jiǎn)單地做一下總結(jié)：

 1、線性回歸，這是我們學(xué)習(xí)統(tǒng)計(jì)學(xué)時(shí)最早接觸的回歸，就算其它的你都不明白，最起碼你一定要知道，線性回歸的因變量是連續(xù)變量，自變量可以是連續(xù)變量，也可以是分類變量。如果只有一個(gè)自變量，且只有兩類，那這個(gè)回歸就等同于t檢驗(yàn)。如果只有一個(gè)自變量，且有三類或更多類，那這個(gè)回歸就等同于方差分析。如果有2個(gè)自變量，一個(gè)是連續(xù)變量，一個(gè)是分類變量，那這個(gè)回歸就等同于協(xié)方差分析。所以線性回歸一定要認(rèn)準(zhǔn)一點(diǎn)，因變量一定要是連續(xù)變量。

 2、logistic回歸，與線性回歸并成為兩大回歸，應(yīng)用范圍一點(diǎn)不亞于線性回歸，甚至有青出于藍(lán)之勢(shì)。因?yàn)閘ogistic回歸太好用了，而且太有實(shí)際意義了。解釋起來(lái)直接就可以說(shuō)，如果具有某個(gè)危險(xiǎn)因素，發(fā)病風(fēng)險(xiǎn)增加2.3倍，聽(tīng)起來(lái)多么地讓人通俗易懂。線性回歸相比之下其實(shí)際意義就弱了。logistic回歸與線性回歸恰好相反，因變量一定要是分類變量，不可能是連續(xù)變量。分類變量既可以是二分類，也可以是多分類，多分類中既可以是有序，也可以是無(wú)序。二分類logistic回歸有時(shí)候根據(jù)研究目的又分為條件logistic回歸和非條件logistic回歸。條件logistic回歸用于配對(duì)資料的分析，非條件logistic回歸用于非配對(duì)資料的分析，也就是直接隨機(jī)抽樣的資料。無(wú)序多分類logistic回歸有時(shí)候也成為多項(xiàng)logit模型，有序logistic回歸有時(shí)也稱為累積比數(shù)logit模型。

 3、cox回歸，cox回歸的因變量就有些特殊，因?yàn)樗囊蜃兞勘仨毻瑫r(shí)有2個(gè)，一個(gè)代表狀態(tài)，必須是分類變量，一個(gè)代表時(shí)間，應(yīng)該是連續(xù)變量。只有同時(shí)具有這兩個(gè)變量，才能用cox回歸分析。cox回歸主要用于生存資料的分析，生存資料至少有兩個(gè)結(jié)局變量，一是死亡狀態(tài)，是活著還是死亡？二是死亡時(shí)間，如果死亡，什么時(shí)間死亡？如果活著，從開(kāi)始觀察到結(jié)束時(shí)有多久了？所以有了這兩個(gè)變量，就可以考慮用cox回歸分析。

 4、poisson回歸，poisson回歸相比就不如前三個(gè)用的廣泛了。但實(shí)際上，如果你能用logistic回歸，通常也可以用poission回歸，poisson回歸的因變量是個(gè)數(shù)，也就是觀察一段時(shí)間后，發(fā)病了多少人？或者死亡了多少人？等等。其實(shí)跟logistic回歸差不多，因?yàn)閘ogistic回歸的結(jié)局是是否發(fā)病，是否死亡，也需要用到發(fā)病例數(shù)、死亡例數(shù)。大家仔細(xì)想想，其實(shí)跟發(fā)病多少人，死亡多少人一個(gè)道理。只是poission回歸名氣不如logistic回歸大，所以用的人也不如logistic回歸多。但不要因此就覺(jué)得poisson回歸沒(méi)有用。

 5、probit回歸，在醫(yī)學(xué)里真的是不大用，最關(guān)鍵的問(wèn)題就是probit這個(gè)詞太難理解了，通常翻譯為概率單位。probit函數(shù)其實(shí)跟logistic函數(shù)十分接近，二者分析結(jié)果也十分接近。可惜的是，probit回歸的實(shí)際含義真的不如logistic回歸容易理解，由此導(dǎo)致了它的默默無(wú)名，但據(jù)說(shuō)在社會(huì)學(xué)領(lǐng)域用的似乎更多一些。

 6、負(fù)二項(xiàng)回歸。所謂負(fù)二項(xiàng)指的是一種分布，其實(shí)跟poission回歸、logistic回歸有點(diǎn)類似，poission回歸用于服從poission分布的資料，logistic回歸用于服從二項(xiàng)分布的資料，負(fù)二項(xiàng)回歸用于服從負(fù)二項(xiàng)分布的資料。說(shuō)起這些分布，大家就不愿意聽(tīng)了，多么抽象的名詞，我也很頭疼。如果簡(jiǎn)單點(diǎn)理解，二項(xiàng)分布你可以認(rèn)為就是二分類數(shù)據(jù)，poission分布你可以認(rèn)為是計(jì)數(shù)資料，也就是個(gè)數(shù)，而不是像身高等可能有小數(shù)點(diǎn)，個(gè)數(shù)是不可能有小數(shù)點(diǎn)的。負(fù)二項(xiàng)分布呢，也是個(gè)數(shù)，只不過(guò)比poission分布更苛刻，如果你的結(jié)局是個(gè)數(shù)，而且結(jié)局可能具有聚集性，那可能就是負(fù)二項(xiàng)分布。簡(jiǎn)單舉例，如果調(diào)查流感的影響因素，結(jié)局當(dāng)然是流感的例數(shù)，如果調(diào)查的人有的在同一個(gè)家庭里，由于流感具有傳染性，那么同一個(gè)家里如果一個(gè)人得流感，那其他人可能也被傳染，因此也得了流感，那這就是具有聚集性，這樣的數(shù)據(jù)盡管結(jié)果是個(gè)數(shù)，但由于具有聚集性，因此用poission回歸不一定合適，就可以考慮用負(fù)二項(xiàng)回歸。既然提到這個(gè)例子，用于logistic回歸的數(shù)據(jù)通常也能用poission回歸，就像上面案例，我們可以把結(jié)局作為二分類，每個(gè)人都有兩個(gè)狀態(tài)，得流感或者不得流感，這是個(gè)二分類結(jié)局，那就可以用logistic回歸。但是這里的數(shù)據(jù)存在聚集性怎么辦呢，幸虧logistic回歸之外又有了更多的擴(kuò)展，你可以用多水平logistic回歸模型，也可以考慮廣義估計(jì)方程。這兩種方法都可以處理具有層次性或重復(fù)測(cè)量資料的二分類因變量。

 7、weibull回歸，有時(shí)中文音譯為威布爾回歸。weibull回歸估計(jì)你可能就沒(méi)大聽(tīng)說(shuō)過(guò)了，其實(shí)這個(gè)名字只不過(guò)是個(gè)噱頭，嚇唬人而已。上一篇說(shuō)過(guò)了，生存資料的分析常用的是cox回歸，這種回歸幾乎統(tǒng)治了整個(gè)生存分析。但其實(shí)夾縫中還有幾個(gè)方法在頑強(qiáng)生存著，而且其實(shí)很有生命力，只是國(guó)內(nèi)大多不愿用而已。weibull回歸就是其中之一。cox回歸為什么受歡迎呢，因?yàn)樗?jiǎn)單，用的時(shí)候不用考慮條件（除了等比例條件之外），大多數(shù)生存數(shù)據(jù)都可以用。而weibull回歸則有條件限制，用的時(shí)候數(shù)據(jù)必須符合weibull分布。怎么，又是分布？！估計(jì)大家頭又大了，是不是想直接不往下看了，還是用cox回歸吧。不過(guò)我還是建議看下去。為什么呢？相信大家都知道參數(shù)檢驗(yàn)和非參數(shù)檢驗(yàn)，而且可能更喜歡用參數(shù)檢驗(yàn)，如t檢驗(yàn)，而不喜歡用非參數(shù)檢驗(yàn)，如秩和檢驗(yàn)。那這里的weibull回歸和cox回歸基本上可以說(shuō)是分別對(duì)應(yīng)參數(shù)檢驗(yàn)和非參數(shù)檢驗(yàn)。參數(shù)檢驗(yàn)和非參數(shù)檢驗(yàn)的優(yōu)缺點(diǎn)我也在前面文章里通俗介紹了，如果數(shù)據(jù)符合weibull分布，那么直接套用weibull回歸當(dāng)然是最理想的選擇，他可以給出你最合理的估計(jì)。如果數(shù)據(jù)不符合weibull分布，那如果還用weibull回歸，那就套用錯(cuò)誤，肯定結(jié)果也不會(huì)真實(shí)到哪兒去。所以說(shuō)，如果你能判斷出你的數(shù)據(jù)是否符合weibull分布，那當(dāng)然最好的使用參數(shù)回歸，也就是weibull回歸。但是如果你實(shí)在沒(méi)什么信心去判斷數(shù)據(jù)分布，那也可以老老實(shí)實(shí)地用cox回歸。cox回歸可以看作是非參數(shù)的，無(wú)論數(shù)據(jù)什么分布都能用，但正因?yàn)樗裁磾?shù)據(jù)都能用，所以不可避免地有個(gè)缺點(diǎn)，每個(gè)數(shù)據(jù)用的都不是恰到好處。weibull回歸就像是量體裁衣，把體形看做數(shù)據(jù)，衣服看做模型，weibull回歸就是根據(jù)你的體形做衣服，做出來(lái)的肯定對(duì)你正合身，對(duì)別人就不一定合身了。cox回歸呢，就像是到商場(chǎng)去買衣服，衣服對(duì)很多人都合適，但是對(duì)每個(gè)人都不是正合適，只能說(shuō)是大致合適。至于到底是選擇麻煩的方式量體裁衣，還是圖簡(jiǎn)單到商場(chǎng)直接去買現(xiàn)成的，那就根據(jù)你的喜好了，也根據(jù)你對(duì)自己體形的了解程度，如果非常熟悉，當(dāng)然就量體裁衣了。如果不大了解，那就直接去商場(chǎng)買大眾化衣服吧。

 8、主成分回歸。主成分回歸是一種合成的方法，相當(dāng)于主成分分析與線性回歸的合成。主要用于解決自變量之間存在高度相關(guān)的情況。這在現(xiàn)實(shí)中不算少見(jiàn)。比如你要分析的自變量中同時(shí)有血壓值和血糖值，這兩個(gè)指標(biāo)可能有一定的相關(guān)性，如果同時(shí)放入模型，會(huì)影響模型的穩(wěn)定，有時(shí)也會(huì)造成嚴(yán)重后果，比如結(jié)果跟實(shí)際嚴(yán)重不符。當(dāng)然解決方法很多，最簡(jiǎn)單的就是剔除掉其中一個(gè)，但如果你實(shí)在舍不得，畢竟這是辛辛苦苦調(diào)查上來(lái)的，刪了太可惜了。如果舍不得，那就可以考慮用主成分回歸，相當(dāng)于把這兩個(gè)變量所包含的信息用一個(gè)變量來(lái)表示，這個(gè)變量我們稱它叫主成分，所以就叫主成分回歸。當(dāng)然，用一個(gè)變量代替兩個(gè)變量，肯定不可能完全包含他們的信息，能包含80%或90%就不錯(cuò)了。但有時(shí)候我們必須做出抉擇，你是要100%的信息，但是變量非常多的模型？還是要90%的信息，但是只有1個(gè)或2個(gè)變量的模型？打個(gè)比方，你要診斷感冒，是不是必須把所有跟感冒有關(guān)的癥狀以及檢查結(jié)果都做完？還是簡(jiǎn)單根據(jù)幾個(gè)癥狀就大致判斷呢？我想根據(jù)幾個(gè)癥狀大致能能確定90%是感冒了。不用非得100%的信息不是嗎？模型也是一樣，模型是用于實(shí)際的，不是空中樓閣。既然要用于實(shí)際，那就要做到簡(jiǎn)單。對(duì)于一種疾病，如果30個(gè)指標(biāo)能夠100%確診，而3個(gè)指標(biāo)可以診斷80%，我想大家會(huì)選擇3個(gè)指標(biāo)的模型。這就是主成分回歸存在的基礎(chǔ)，用幾個(gè)簡(jiǎn)單的變量把多個(gè)指標(biāo)的信息綜合一下，這樣幾個(gè)簡(jiǎn)單的主成分可能就包含了原來(lái)很多自變量的大部分信息。這就是主成分回歸的原理。

 9、嶺回歸。嶺回歸的名稱由來(lái)我也沒(méi)有查過(guò)，可能是因?yàn)樗膱D形有點(diǎn)像嶺。不要糾結(jié)于名稱。嶺回歸也是用于處理自變量之間高度相關(guān)的情形。只是跟主成分回歸的具體估計(jì)方法不同。線性回歸的計(jì)算用的是最小二乘估計(jì)法，當(dāng)自變量之間高度相關(guān)時(shí)，最小二乘回歸估計(jì)的參數(shù)估計(jì)值會(huì)不穩(wěn)定，這時(shí)如果在公式里加點(diǎn)東西，讓它變得穩(wěn)定，那就解決了這一問(wèn)題了。嶺回歸就是這個(gè)思想，把最小二乘估計(jì)里加個(gè)k，改變它的估計(jì)值，使估計(jì)結(jié)果變穩(wěn)定。至于k應(yīng)該多大呢？可以根據(jù)嶺跡圖來(lái)判斷，估計(jì)這就是嶺回歸名稱的由來(lái)。你可以選非常多的k值，可以做出一個(gè)嶺跡圖，看看這個(gè)圖在取哪個(gè)值的時(shí)候變穩(wěn)定了，那就確定k值了，然后整個(gè)參數(shù)估計(jì)不穩(wěn)定的問(wèn)題就解決了。

 10、偏最小二乘回歸。偏最小二乘回歸也可以用于解決自變量之間高度相關(guān)的問(wèn)題。但比主成分回歸和嶺回歸更好的一個(gè)優(yōu)點(diǎn)是，偏最小二乘回歸可以用于例數(shù)很少的情形，甚至例數(shù)比自變量個(gè)數(shù)還少的情形。聽(tīng)起來(lái)有點(diǎn)不可思議，不是說(shuō)例數(shù)最好是自變量個(gè)數(shù)的10倍以上嗎？怎么可能例數(shù)比自變量還少，這還怎么計(jì)算？可惜的是，偏最小二乘回歸真的就有這么令人發(fā)指的優(yōu)點(diǎn)。所以，如果你的自變量之間高度相關(guān)、例數(shù)又特別少、而自變量又很多（這么多無(wú)奈的毛?。?，那就現(xiàn)在不用發(fā)愁了，用偏最小二乘回歸就可以了。它的原理其實(shí)跟主成分回歸有點(diǎn)像，也是提取自變量的部分信息，損失一定的精度，但保證模型更符合實(shí)際。因此這種方法不是直接用因變量和自變量分析，而是用反映因變量和自變量部分信息的新的綜合變量來(lái)分析，所以它不需要例數(shù)一定比自變量多。偏最小二乘回歸還有一個(gè)很大的優(yōu)點(diǎn)，那就是可以用于多個(gè)因變量的情形，普通的線性回歸都是只有一個(gè)因變量，而偏最小二乘回歸可用于多個(gè)因變量和多個(gè)自變量之間的分析。因?yàn)樗脑砭褪峭瑫r(shí)提取多個(gè)因變量和多個(gè)自變量的信息重新組成新的變量重新分析，所以多個(gè)因變量對(duì)它來(lái)說(shuō)無(wú)所謂。

 看了以上的講解，希望能對(duì)大家理解回歸分析的運(yùn)用有些幫助。