R語言-回歸之簡單線性回歸

8.1 回歸的多面性
回歸是一個令人困惑的詞，因?yàn)樗性S多特殊變種（見表8-1）。對于回歸模型的擬合， R提供的強(qiáng)大而豐富的功能和選項(xiàng)也同樣令人困惑。例如， 2005年Vito Ricci創(chuàng)建的列表表明， R中做回歸分析的函數(shù)已超過了205個。

在這一章中，我們的重點(diǎn)是普通最小二乘（OLS）回歸法，包括簡單線性回歸、多項(xiàng)式回歸和多元線性回歸。 OLS回歸是現(xiàn)今最常見的統(tǒng)計分析方法，其他回歸模型（Logistic回歸和泊松回歸）將在第13章介紹。

8.1.1 OLS 回歸的適用情境
OLS回歸是通過預(yù)測變量的加權(quán)和來預(yù)測量化的因變量，其中權(quán)重是通過數(shù)據(jù)估計而得的參數(shù)?，F(xiàn)在讓我們一起看一個改編自Fwa（2006）的具體示例（此處沒有任何含沙射影之意）。

一個工程師想找出跟橋梁退化有關(guān)的最重要的因素，比如使用年限、交通流量、橋梁設(shè)計、建造材料和建造方法、建造質(zhì)量以及天氣情況，并確定它們之間的數(shù)學(xué)關(guān)系。他從一個有代表性的橋梁樣本中收集了這些變量的相關(guān)數(shù)據(jù)，然后使用OLS回歸對數(shù)據(jù)進(jìn)行建模。這種方法的交互性很強(qiáng)。他擬合了一系列模型，檢驗(yàn)它們是否符合相應(yīng)的統(tǒng)計假設(shè)，探索了所有異常的發(fā)現(xiàn)，最終從許多可能的模型中選擇了“最佳”的模型。如果成功，那么結(jié)果將會幫助他完成以下任務(wù)。

 在眾多變量中判斷哪些對預(yù)測橋梁退化是有用的，得到它們的相對重要性，從而關(guān)注重要的變量。
  根據(jù)回歸所得的等式預(yù)測新的橋梁的退化情況（預(yù)測變量的值已知，但是橋梁退化程度未知），找出那些可能會有麻煩的橋梁。
  利用對異常橋梁的分析，獲得一些意外的信息。比如他發(fā)現(xiàn)某些橋梁的退化速度比預(yù)測的更快或更慢，那么研究這些“離群點(diǎn)”可能會有重大的發(fā)現(xiàn)，能夠幫助理解橋梁退化的機(jī)制。
可能橋梁的例子并不能引起你的興趣。而我是從事臨床心理學(xué)和統(tǒng)計的，對土木工程也是一無所知，但是這其中蘊(yùn)含的一般性思想適用于物理、生物和社會科學(xué)的許多問題。以下問題都可以通過OLS方法進(jìn)行處理。
  鋪路表面的面積與表面鹽度有什么關(guān)系（Montogomery， 2007）？
  一個用戶哪些方面的經(jīng)歷會導(dǎo)致他沉溺于大型多人在線角色扮演游戲（MMORPG； Hsu，Wen& Wu， 2009）？
  教育環(huán)境中的哪些因素與最能影響學(xué)生成績得分？
  血壓、鹽攝入量和年齡的關(guān)系是什么樣的？對于男性和女性是相同的嗎？
  運(yùn)動場館和職業(yè)運(yùn)動對大都市的發(fā)展有何影響（Baade & Dye， 1990）？
  哪些因素可以解釋各州的啤酒價格差異（Culbertson & Bradford， 1991）？（這個問題終于引起了你的注意?。?br /> 我們主要的困難有三個：發(fā)現(xiàn)有趣的問題， 設(shè)計一個有用的、可以測量的響應(yīng)變量，以及收集合適的數(shù)據(jù)。

8.1.2 基礎(chǔ)回顧
下面的幾節(jié)，我將介紹如何用R函數(shù)擬合OLS回歸模型、評價擬合優(yōu)度、檢驗(yàn)假設(shè)條件以及選擇模型。此處假定讀者已經(jīng)在本科統(tǒng)計課程第二學(xué)期接觸了最小二乘回歸法，不過，我還是會盡量少用數(shù)學(xué)符號，關(guān)注實(shí)際運(yùn)用而不是理論細(xì)節(jié)。有大量優(yōu)秀書籍都介紹了本章提到的統(tǒng)計知識。我最喜歡的是John Fox的Applied Regression Analysis and Generalized Linear Models （偏重理論）和An R and S-Plus Companion to Applied Regression（偏重應(yīng)用），它們?yōu)楸菊绿峁┝酥饕乃夭?。另外，一份不錯的非技術(shù)性綜述可參考Licht（1995）。
8.2 OLS 回歸
在本章大部分內(nèi)容中，我們都是利用OLS法通過一系列的預(yù)測變量來預(yù)測響應(yīng)變量（也可以說是在預(yù)測變量上“回歸”響應(yīng)變量——其名也因此而來）。 OLS回歸擬合模型的形式：

其中， n 為觀測的數(shù)目， k 為預(yù)測變量的數(shù)目。（雖然我極力避免討論公式，但這里探討公式是簡化問題的需要。）等式中相應(yīng)部分的解釋如下。

我們的目標(biāo)是通過減少響應(yīng)變量的真實(shí)值與預(yù)測值的差值來獲得模型參數(shù)（截距項(xiàng)和斜率）。具體而言，即使得殘差平方和最小。

為了能夠恰當(dāng)?shù)亟忉孫LS模型的系數(shù)，數(shù)據(jù)必須滿足以下統(tǒng)計假設(shè)。
  正態(tài)性 對于固定的自變量值，因變量值成正態(tài)分布。
  獨(dú)立性 Yi值之間相互獨(dú)立。
  線性 因變量與自變量之間為線性相關(guān)。
  同方差性 因變量的方差不隨自變量的水平不同而變化。也可稱作不變方差，但是說同方差性感覺上更犀利。
如果違背了以上假設(shè)，你的統(tǒng)計顯著性檢驗(yàn)結(jié)果和所得的置信區(qū)間很可能就不精確。注意，OLS回歸還假定自變量是固定的且測量無誤差，但在實(shí)踐中通常都放松了這個假設(shè)。

8.2.1 用 lm()擬合回歸模型
在R中，擬合線性模型最基本的函數(shù)就是lm()，格式為：

其中， formula指要擬合的模型形式， data是一個數(shù)據(jù)框，包含了用于擬合模型的數(shù)據(jù)。結(jié)果對象（本例中是myfit）存儲在一個列表中，包含了所擬合模型的大量信息。表達(dá)式（formula）形式如下：

~左邊為響應(yīng)變量，右邊為各個預(yù)測變量，預(yù)測變量之間用+符號分隔。表8-2中的符號可以不同方式修改這一表達(dá)式。
除了lm()，表8-3還列出了其他一些對做簡單或多元回歸分析有用的函數(shù)。擬合模型后，將這些函數(shù)應(yīng)用于lm()返回的對象，可以得到更多額外的模型信息。

當(dāng)回歸模型包含一個因變量和一個自變量時，我們稱為簡單線性回歸。當(dāng)只有一個預(yù)測變量，但同時包含變量的冪（比如， X、 X 2、 X 3）時，我們稱之為多項(xiàng)式回歸。當(dāng)有不止一個預(yù)測變量時，則稱為多元線性回歸?，F(xiàn)在，我們首先從一個簡單的線性回歸例子開始，然后逐步展示多項(xiàng)式回歸和多元線性回歸，最后還會介紹一個包含交互項(xiàng)的多元線性回歸的例子。

8.2.2 簡單線性回歸
讓我們通過一個回歸示例來熟悉表8-3中的函數(shù)?；A(chǔ)安裝中的數(shù)據(jù)集women提供了15個年齡在30~39歲間女性的身高和體重信息，我們想通過身高來預(yù)測體重，獲得一個等式可以幫助我們分辨出那些過重或過瘦的個體。代碼清單8-1提供了分析過程，圖8-1展示了結(jié)果圖形。通過輸出結(jié)果，可以得到預(yù)測等式：

因?yàn)樯砀卟豢赡転?，你沒必要給截距項(xiàng)一個物理解釋，它僅僅是一個常量調(diào)整項(xiàng)。在Pr(>|t|)欄，可以看到回歸系數(shù)（3.45）顯著不為0（p<0.001），表明身高每增高1英寸，體重將預(yù)期增加3.45磅①。 R平方項(xiàng)（0.991）表明模型可以解釋體重99.1%的方差，它也是實(shí)際和預(yù)測值之間的相關(guān)系數(shù)（R2 = r2?Y）。殘差標(biāo)準(zhǔn)誤（1.53 lbs）則可認(rèn)為是模型用身高預(yù)測體重的平均誤差。 F統(tǒng)計量檢驗(yàn)所有的預(yù)測變量預(yù)測響應(yīng)變量是否都在某個幾率水平之上。由于簡單回歸只有一個預(yù)測變量，此處F檢驗(yàn)等同于身高回歸系數(shù)的t檢驗(yàn)。

為了展示的需要，我們已經(jīng)輸出了真實(shí)值、預(yù)測值和殘差值。顯然，最大的殘差值在身高矮和身高高的地方出現(xiàn)，這也可以從圖8-1看出來。圖形表明你可以用含一個彎曲的曲線來提高預(yù)測的精度。比如，模型? = β0 + β1X + β1X2就能更好地擬合數(shù)據(jù)。多項(xiàng)式回歸允許你用一個解釋變量預(yù)測一個響應(yīng)變量，它們關(guān)系的形式即n次多項(xiàng)式。