回歸預測及R語言實現(xiàn)Part2回歸R語言實現(xiàn)

下面是回歸分析的各種變體的簡單介紹，解釋變量和相應變量就是指自變量和因變量。

常用普通最小二乘（OLS）回歸法來擬合實現(xiàn)簡單線性、多項式和多元線性等回歸模型。最小二乘法的基本原理前面已經(jīng)說明了，使得預測值和觀察值之差最小。

R中實現(xiàn)擬合線性模型最基本的函數(shù)是lm()，應用格式為：

myfit <- lm(Y~X1+X2+…+Xk,data)

data為觀測數(shù)據(jù)，應該為一個data.frame，前面是擬合表達式，Y是因變量，X1-Xk是自變量，+用來分隔不同的自變量的，還有可能用到的其他符號的說明如下：

另外，對lm()方法的返回結(jié)果，還有一系列的分析方法，如下：

簡單線性回歸

基礎安裝數(shù)據(jù)women中提供了15個年齡在30-39歲之前的女性的身高和體重信息，這里用身高來預測體重，來嘗試lm()方法

由summary(fit)的結(jié)果coefficients可看出，預測模型為：weight=-81.52+3.45*height。

因為身高不可能為0，你沒必要給截距項一個物理解釋，它僅僅是一個常量調(diào)整項。在Pr(>|t|)欄，可以看到回歸系數(shù)（3.45）顯著（p<0.001），表明身高每增高1英寸，體重將預期增加3.45磅。可決系數(shù)-R平方項（0.991）表明模型可以解釋體重99.1%的方差，它也是實際和預測值之間的相關系數(shù)的平方值。殘差標準誤差（1.53 lbs）則可認為是模型用身高預測體重的平均誤差。F統(tǒng)計量檢驗所有的預測變量預測響應變量是否都在某個幾率水平之上。由于簡單回歸只有一個預測變量，此處F檢驗等同于身高回歸系數(shù)的t檢驗。

多項式回歸

從上面例子最后的圖可以看出，我們可以為回歸模型增加一個X平方項來增加預測精確度。

由summary(fit2)的結(jié)果coefficients可看出，預測模型為：weight=261.88-7.35*height+0.083* height* height。在p<0.001水平下，回歸系數(shù)都非常顯著。模型的方差解釋率已經(jīng)增加到了99.9%。二次項的顯著性（t = 13.89，p<0.001）表明包含二次項提高了模型的擬合度。從圖中也能看出來，預測值和觀測值的擬合程度更好了。

介紹下car包中的scatterplot()函數(shù)，它可以很容易、方便地繪制二元關系圖。

    如上，是scatterplot()對women數(shù)據(jù)所繪的身高與體重的散點圖。直線為線性擬合，虛線為曲線平滑擬合，邊界為箱線圖。

多元線性回歸

這里以基礎包中的state.x77數(shù)據(jù)集為例，探究一個州的犯罪率和其他因素的關系，包括人口、文盲率、平均收入和結(jié)霜天數(shù)（溫度在冰點以下的平均天數(shù)）。

cor()函數(shù)顯示兩個變量之間的相關系數(shù)，從圖中可以看到，謀殺率是雙峰的曲線，每個預測變量都一定程度上出現(xiàn)了偏斜。謀殺率隨著人口和文盲率的增加而增加，隨著收入水平和結(jié)霜天數(shù)增加而下降。同時，越冷的州文盲率越低，收入水平越高。

下面對states數(shù)據(jù)做多項線性擬合，看人口、文盲率、收入水平、結(jié)霜天數(shù)對謀殺率的影響水平。

     從結(jié)果可以看出，文盲率和人口的系數(shù)是顯著的，結(jié)霜率和收入水平系數(shù)不顯著，這兩者對謀殺率的影響不是線性的。

上面的例子是自變量之間相互獨立的，下面看一個有交互項的多元線性回歸的案例。同樣是R中的基礎安裝數(shù)據(jù)mtcars，

從summary(fit)的Pr(>|t|)欄中能看出，hp:wt項是顯著的，說明汽車的馬力和車重不是相互獨立的，兩者對每英里的耗油量的影響也都是顯著的。

汽車每英里耗油量mpg的模型為mpg =49.81 + 0.12×hp + 8.22×wt + 0.03×hp×wt。

effects包可以用來分析不同wt下，mpg與hp之間的線性關系。如下，圖中能看出，當wt分別為2.2,3.2,4.2時mpg與hp之間的線性關系，差異還是很明顯的。

回歸診斷

summary()方法能獲取模型的參數(shù)和相關統(tǒng)計量，要進一步診斷模型是否合適，還需要另外的工作。

R中有許多檢驗回歸分析中統(tǒng)計假設的方法。plot()方法可以生成評價模型擬合情況的四幅圖形。用women數(shù)據(jù)集的回歸模型為例：

OLS回歸的統(tǒng)計假設。（擔心我自己的理解有偏誤，所以這里的解讀全部摘抄自R語言實戰(zhàn)！）

正態(tài)性當預測變量值固定時，因變量成正態(tài)分布，則殘差值也應該是一個均值為0的正態(tài)分布。正態(tài)Q-Q圖（Normal Q-Q，右上）是在正態(tài)分布對應的值下，標準化殘差的概率圖。若滿足正態(tài)假設，那么圖上的點應該落在呈45度角的直線上；若不是如此，那么就違反了正態(tài)性的假設。

獨立性你無法從這些圖中分辨出因變量值是否相互獨立，只能從收集的數(shù)據(jù)中來驗證。上面的例子中，沒有任何先驗的理由去相信一位女性的體重會影響另外一位女性的體重。假若你發(fā)現(xiàn)數(shù)據(jù)是從一個家庭抽樣得來的，那么可能必須要調(diào)整模型獨立性的假設。

線性若因變量與自變量線性相關，那么殘差值與預測（擬合）值就沒有任何系統(tǒng)關聯(lián)。換句話說，除了白噪聲，模型應該包含數(shù)據(jù)中所有的系統(tǒng)方差。在“殘差圖與擬合圖”（Residuals vs Fitted，左上）中可以清楚的看到一個曲線關系，這暗示著你可能需要對回歸模型加上一個二次項。

同方差性若滿足不變方差假設，那么在位置尺度圖（Scale-Location Graph，左下）中，水平線周圍的點應該隨機分布。該圖似乎滿足此假設。

最后一幅“殘差與杠桿圖”（Residualsvs Leverage，右下）提供了你可能需要關注的單個觀測點的信息。從圖形可以鑒別出離群點、高杠桿值點和強影響點。

一個觀測點是離群點，表明擬合回歸模型對其預測效果不佳（產(chǎn)生了巨大的或正或負的殘差）。

一個觀測點有很高的杠桿值，表明它是一個異常的預測變量值的組合。也就是說，在預測變量空間中，它是一個離群點。因變量值不參與計算一個觀測點的杠桿值。

一個觀測點是強影響點（influentialobservation），表明它對模型參數(shù)的估計產(chǎn)生的影響過大，非常不成比例。強影響點可以通過Cook距離即Cook’s D統(tǒng)計量來鑒別。

再來看二次擬合的診斷圖。

    圖中有兩個比較明顯的離群點，12和15，可以刪除這兩個點后再做回歸，效果會更好。

    另外car包中提供了許多方法可以增強擬合和評價回歸模型的能力，如下圖，不再細說：