【R語(yǔ)言進(jìn)行數(shù)據(jù)挖掘】回歸分析

1、線(xiàn)性回歸
線(xiàn)性回歸就是使用下面的預(yù)測(cè)函數(shù)預(yù)測(cè)未來(lái)觀(guān)測(cè)量：

其中，x1,x2,...,xk都是預(yù)測(cè)變量（影響預(yù)測(cè)的因素），y是需要預(yù)測(cè)的目標(biāo)變量（被預(yù)測(cè)變量）。

線(xiàn)性回歸模型的數(shù)據(jù)來(lái)源于澳大利亞的CPI數(shù)據(jù)，選取的是2008年到2011年的季度數(shù)據(jù)。

rep函數(shù)里面的第一個(gè)參數(shù)是向量的起始時(shí)間，從2008-2010，第二個(gè)參數(shù)表示向量里面的每個(gè)元素都被4個(gè)小時(shí)間段。

year <- rep(2008:2010, each=4)
quarter <- rep(1:4, 3)
cpi <- c(162.2, 164.6, 166.5, 166.0,

166.2, 167.0, 168.6, 169.5,

171.0, 172.1, 173.3, 174.0)

plot函數(shù)中axat=“n”表示橫坐標(biāo)刻度的標(biāo)注是沒(méi)有的

plot(cpi, xaxt="n", ylab="CPI", xlab="")

繪制橫坐標(biāo)軸

axis(1, labels=paste(year,quarter,sep="Q"), at=1:12, las=3)
接下來(lái)，觀(guān)察CPI與其他變量例如‘year(年份)’和‘quarter(季度)’之間的相關(guān)關(guān)系。

cor(year,cpi)
cor(quarter,cpi)
輸出如下：

cor(quarter,cpi)
[1] 0.3738028
cor(year,cpi)
[1] 0.9096316
cor(quarter,cpi)
[1] 0.3738028
由上圖可知，CPI與年度之間的關(guān)系是正相關(guān)，并且非常緊密，相關(guān)系數(shù)接近1；而它與季度之間的相關(guān)系數(shù)大約為0.37，只是有著微弱的正相關(guān)，關(guān)系并不明顯。

然后使用lm()函數(shù)建立一個(gè)線(xiàn)性回歸模型，其中年份和季度為預(yù)測(cè)因素，CPI為預(yù)測(cè)目標(biāo)。

建立模型fit

fit <- lm(cpi ~ year + quarter)
fit
輸出結(jié)果如下：

Call:
lm(formula = cpi ~ year + quarter)

Coefficients:
(Intercept) year quarter
-7644.488 3.888 1.167

由上面的輸出結(jié)果可以建立以下模型公式計(jì)算CPI：

其中，c0、c1和c2都是模型fit的參數(shù)分別是-7644.488、3.888和1.167。因此2011年的CPI可以通過(guò)以下方式計(jì)算：

(cpi2011 <-fit$coefficients[[1]] + fit$coefficients[[2]]*2011 +

fit$coefficients[[3]]*(1:4))

輸出的2011年的季度CPI數(shù)據(jù)分別是174.4417、175.6083、176.7750和177.9417。

模型的具體參數(shù)可以通過(guò)以下代碼查看：

查看模型的屬性

attributes(fit)
$names
[1] "coefficients" "residuals" "effects" "rank" "fitted.values"
[6] "assign" "qr" "df.residual" "xlevels" "call"
[11] "terms" "model"
$class
[1] "lm"

模型的參數(shù)

fit$coefficients

觀(guān)測(cè)值與擬合的線(xiàn)性模型之間的誤差，也稱(chēng)為殘差

residuals(fit)
1 2 3 4 5 6 7
-0.57916667 0.65416667 1.38750000 -0.27916667 -0.46666667 -0.83333333 -0.40000000
8 9 10 11 12
-0.66666667 0.44583333 0.37916667 0.41250000 -0.05416667
除了將數(shù)據(jù)代入建立的預(yù)測(cè)模型公式中，還可以通過(guò)使用predict()預(yù)測(cè)未來(lái)的值。

輸入預(yù)測(cè)時(shí)間

data2011 <- data.frame(year=2011, quarter=1:4)
cpi2011 <- predict(fit, newdata=data2011)

設(shè)置散點(diǎn)圖上的觀(guān)測(cè)值和預(yù)測(cè)值對(duì)應(yīng)點(diǎn)的風(fēng)格（顏色和形狀）

style <- c(rep(1,12), rep(2,4))
plot(c(cpi, cpi2011), xaxt="n", ylab="CPI", xlab="", pch=style, col=style)

標(biāo)簽中sep參數(shù)設(shè)置年份與季度之間的間隔

axis(1, at=1:16, las=3,

labels=c(paste(year,quarter,sep="Q"), "2011Q1", "2011Q2", "2011Q3", "2011Q4"))

預(yù)測(cè)結(jié)果如下：

上圖中紅色的三角形就是預(yù)測(cè)值。

2、Logistic回歸

Logistic回歸是通過(guò)將數(shù)據(jù)擬合到一條線(xiàn)上并根據(jù)簡(jiǎn)歷的曲線(xiàn)模型預(yù)測(cè)事件發(fā)生的概率?？梢酝ㄟ^(guò)以下等式來(lái)建立一個(gè)Logistic回歸模型：

其中，x1,x2,...,xk是預(yù)測(cè)因素，y是預(yù)測(cè)目標(biāo)。令

，上面的等式被轉(zhuǎn)換成：

使用函數(shù)glm()并設(shè)置響應(yīng)變量(被解釋變量)服從二項(xiàng)分布（family='binomial,'link='logit'）建立Logistic回歸模型，更多關(guān)于Logistic回歸模型的內(nèi)容可以通過(guò)以下鏈接查閱：

· R Data Analysis Examples - Logit Regression
· 《LogisticRegression (with R)》
3、廣義線(xiàn)性模型

廣義線(xiàn)性模型（generalizedlinear model, GLM)是簡(jiǎn)單最小二乘回歸（OLS)的擴(kuò)展，響應(yīng)變量（即模型的因變量）可以是正整數(shù)或分類(lèi)數(shù)據(jù)，其分布為某指數(shù)分布族。其次響應(yīng)變量期望值的函數(shù)（連接函數(shù)）與預(yù)測(cè)變量之間的關(guān)系為線(xiàn)性關(guān)系。因此在進(jìn)行GLM建模時(shí)，需要指定分布類(lèi)型和連接函數(shù)。這個(gè)建立模型的分布參數(shù)包括binomaial（兩項(xiàng)分布）、gaussian（正態(tài)分布）、gamma（伽馬分布）、poisson(泊松分布)等。

廣義線(xiàn)性模型可以通過(guò)glm()函數(shù)建立，使用的數(shù)據(jù)是包‘TH.data’自帶的bodyfat數(shù)據(jù)集。

data("bodyfat", package="TH.data")
myFormula <- DEXfat ~ age + waistcirc + hipcirc + elbowbreadth + kneebreadth

設(shè)置響應(yīng)變量服從正態(tài)分布，對(duì)應(yīng)的連接函數(shù)服從對(duì)數(shù)分布

bodyfat.glm <- glm(myFormula, family = gaussian("log"), data = bodyfat)

預(yù)測(cè)類(lèi)型為響應(yīng)變量

pred <- predict(bodyfat.glm, type="response")
plot(bodyfat$DEXfat, pred, xlab="Observed Values", ylab="Predicted Values")
abline(a=0, b=1)
預(yù)測(cè)結(jié)果檢驗(yàn)如下圖所示：

由上圖可知，模型雖然也有離群點(diǎn)，但是大部分的數(shù)據(jù)都是落在直線(xiàn)上或者附近的，也就說(shuō)明模型建立的比較好，能較好的擬合數(shù)據(jù)。

4、非線(xiàn)性回歸

如果說(shuō)線(xiàn)性模型是擬合擬合一條最靠近數(shù)據(jù)點(diǎn)的直線(xiàn)，那么非線(xiàn)性模型就是通過(guò)數(shù)據(jù)擬合一條曲線(xiàn)。在R中可以使用函數(shù)nls()建立一個(gè)非線(xiàn)性回歸模型，具體的使用方法可以通過(guò)輸入'?nls()'查看該函數(shù)的文檔。