相關(guān)分析：有沒有關(guān)系，關(guān)系有多大

回歸分析：關(guān)系是什么

（擴(kuò)展：智能識(shí)別設(shè)備：獨(dú)立成分分析）

事物總有著向其大概率方向回歸的趨勢。

現(xiàn)代意義：

構(gòu)成：因變量（通常1個(gè)），自變量（通常多個(gè)）

類型：一元線性回歸； 多元線性回歸；一元非線性回歸；多元非線性回歸

如何進(jìn)行一元線性回歸模型？

一般分四步：

模型設(shè)定-模型估計(jì)-模型檢驗(yàn)-模型應(yīng)用

總體

條件均值形式： E(y)=βo+β1x

個(gè)別值形式：y=βo+β1x+ε（ε隨機(jī)誤差項(xiàng)）

ε的性質(zhì)決定了模型方法的選擇和使用

樣本

條件均值形式： y尖=βo尖+β1尖x

個(gè)別值形式：y=βo尖+β1尖x+e（e殘差）

最小二乘法（最常用）

有嚴(yán)格的使用條件---一元線性回歸模型的基本假定

① 因變量y與自變量x之間具有線性關(guān)系

② 在重復(fù)抽樣中，自變量x的取值是固定的，即x非隨機(jī)。

③ 誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E(ε)=0?！玖憔怠?/p>

④ 對(duì)于所有的x值， ε的方差σ2都相同【同方差】【跨群體跨區(qū)域很難做到同方差】

⑤ 誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。

即ε~N(0,σ2 )【不同的，不相關(guān)的，無自相關(guān)】

獨(dú)立性意味著對(duì)于一個(gè)特定的 x 值，它所對(duì)應(yīng)的ε與其他 x 值所對(duì)

應(yīng)的ε不相關(guān)

對(duì)于一個(gè)特定的 x 值，它所對(duì)應(yīng)的 y 值與其他 x 所對(duì)應(yīng)的 y 值也不相關(guān)

最小二乘估計(jì)法：

回歸模型的檢驗(yàn)：

擬合優(yōu)度檢驗(yàn)：我們把樣本回歸線對(duì)樣本觀測數(shù)據(jù)擬合的優(yōu)劣

程度稱為樣本回歸線的擬合優(yōu)度。

擬合優(yōu)度的度量是建立在對(duì)數(shù)據(jù)總變差分解的

基礎(chǔ)上的。

變：特指y的變化；可能有兩個(gè)原因，一個(gè)是x導(dǎo)致，一個(gè)是x以外導(dǎo)致的。

變差：為了衡量變化作了一個(gè)差，叫變差，與均值的比較；y-y拔。

總變差：∑（y-y拔）^2 (平方的原因是防止正負(fù)抵消)

可決系數(shù)（或判定系數(shù)），記作R2。

R2 = SSR/SST = 1-SSE/SST

反映回歸直線的擬合程度

取值范圍在 [ 0, 1] 之間

R2 →1，說明回歸方程擬合的越好； R2→0，說明回歸方程擬合的越差

在一元回歸中，判定系數(shù)等于相關(guān)系數(shù)的平方，即R2＝(r)^ 2

一元線性回歸：④檢驗(yàn)步驟

如果我們希望模型沒問題的話，在這個(gè)地方拒絕原假設(shè)才好

統(tǒng)計(jì)學(xué)總是反復(fù)性說“顯著性”，統(tǒng)計(jì)學(xué)總是強(qiáng)調(diào)的不是“有和無”而是有的“明不明顯”，無的“明不明顯”。