
8.1 回歸的多面性
回歸是一個(gè)令人困惑的詞,因?yàn)樗性S多特殊變種(見(jiàn)表8-1)。對(duì)于回歸模型的擬合, R提供的強(qiáng)大而豐富的功能和選項(xiàng)也同樣令人困惑。例如, 2005年Vito Ricci創(chuàng)建的列表表明, R中做回歸分析的函數(shù)已超過(guò)了205個(gè)。在這一章中,我們的重點(diǎn)是普通最小二乘(OLS)回歸法,包括簡(jiǎn)單線性回歸、多項(xiàng)式回歸和多元線性回歸。 OLS回歸是現(xiàn)今最常見(jiàn)的統(tǒng)計(jì)分析方法,其他回歸模型(Logistic回歸和泊松回歸)將在第13章介紹。
8.1.1 OLS 回歸的適用情境
OLS回歸是通過(guò)預(yù)測(cè)變量的加權(quán)和來(lái)預(yù)測(cè)量化的因變量,其中權(quán)重是通過(guò)數(shù)據(jù)估計(jì)而得的參數(shù)?,F(xiàn)在讓我們一起看一個(gè)改編自Fwa(2006)的具體示例(此處沒(méi)有任何含沙射影之意)。
![]()
一個(gè)工程師想找出跟橋梁退化有關(guān)的最重要的因素,比如使用年限、交通流量、橋梁設(shè)計(jì)、建造材料和建造方法、建造質(zhì)量以及天氣情況,并確定它們之間的數(shù)學(xué)關(guān)系。他從一個(gè)有代表性的橋梁樣本中收集了這些變量的相關(guān)數(shù)據(jù),然后使用OLS回歸對(duì)數(shù)據(jù)進(jìn)行建模。這種方法的交互性很強(qiáng)。他擬合了一系列模型,檢驗(yàn)它們是否符合相應(yīng)的統(tǒng)計(jì)假設(shè),探索了所有異常的發(fā)現(xiàn),最終從許多可能的模型中選擇了“最佳”的模型。如果成功,那么結(jié)果將會(huì)幫助他完成以下任務(wù)。
![]()
在眾多變量中判斷哪些對(duì)預(yù)測(cè)橋梁退化是有用的,得到它們的相對(duì)重要性,從而關(guān)注重要的變量。
根據(jù)回歸所得的等式預(yù)測(cè)新的橋梁的退化情況(預(yù)測(cè)變量的值已知,但是橋梁退化程度未知),找出那些可能會(huì)有麻煩的橋梁。
利用對(duì)異常橋梁的分析,獲得一些意外的信息。比如他發(fā)現(xiàn)某些橋梁的退化速度比預(yù)測(cè)的更快或更慢,那么研究這些“離群點(diǎn)”可能會(huì)有重大的發(fā)現(xiàn),能夠幫助理解橋梁退化的機(jī)制。
可能橋梁的例子并不能引起你的興趣。而我是從事臨床心理學(xué)和統(tǒng)計(jì)的,對(duì)土木工程也是一無(wú)所知,但是這其中蘊(yùn)含的一般性思想適用于物理、生物和社會(huì)科學(xué)的許多問(wèn)題。以下問(wèn)題都可以通過(guò)OLS方法進(jìn)行處理。
鋪路表面的面積與表面鹽度有什么關(guān)系(Montogomery, 2007)?
一個(gè)用戶哪些方面的經(jīng)歷會(huì)導(dǎo)致他沉溺于大型多人在線角色扮演游戲(MMORPG; Hsu,Wen& Wu, 2009)?
教育環(huán)境中的哪些因素與最能影響學(xué)生成績(jī)得分?
血壓、鹽攝入量和年齡的關(guān)系是什么樣的?對(duì)于男性和女性是相同的嗎?
運(yùn)動(dòng)場(chǎng)館和職業(yè)運(yùn)動(dòng)對(duì)大都市的發(fā)展有何影響(Baade & Dye, 1990)?
哪些因素可以解釋各州的啤酒價(jià)格差異(Culbertson & Bradford, 1991)?(這個(gè)問(wèn)題終于引起了你的注意!)
我們主要的困難有三個(gè):發(fā)現(xiàn)有趣的問(wèn)題, 設(shè)計(jì)一個(gè)有用的、可以測(cè)量的響應(yīng)變量,以及收集合適的數(shù)據(jù)。8.1.2 基礎(chǔ)回顧
下面的幾節(jié),我將介紹如何用R函數(shù)擬合OLS回歸模型、評(píng)價(jià)擬合優(yōu)度、檢驗(yàn)假設(shè)條件以及選擇模型。此處假定讀者已經(jīng)在本科統(tǒng)計(jì)課程第二學(xué)期接觸了最小二乘回歸法,不過(guò),我還是會(huì)盡量少用數(shù)學(xué)符號(hào),關(guān)注實(shí)際運(yùn)用而不是理論細(xì)節(jié)。有大量?jī)?yōu)秀書籍都介紹了本章提到的統(tǒng)計(jì)知識(shí)。我最喜歡的是John Fox的Applied Regression Analysis and Generalized Linear Models (偏重理論)和An R and S-Plus Companion to Applied Regression(偏重應(yīng)用),它們?yōu)楸菊绿峁┝酥饕乃夭?。另外,一份不錯(cuò)的非技術(shù)性綜述可參考Licht(1995)。
8.2 OLS 回歸
在本章大部分內(nèi)容中,我們都是利用OLS法通過(guò)一系列的預(yù)測(cè)變量來(lái)預(yù)測(cè)響應(yīng)變量(也可以說(shuō)是在預(yù)測(cè)變量上“回歸”響應(yīng)變量——其名也因此而來(lái))。 OLS回歸擬合模型的形式:其中, n 為觀測(cè)的數(shù)目, k 為預(yù)測(cè)變量的數(shù)目。(雖然我極力避免討論公式,但這里探討公式是簡(jiǎn)化問(wèn)題的需要。)等式中相應(yīng)部分的解釋如下。
![]()
我們的目標(biāo)是通過(guò)減少響應(yīng)變量的真實(shí)值與預(yù)測(cè)值的差值來(lái)獲得模型參數(shù)(截距項(xiàng)和斜率)。具體而言,即使得殘差平方和最小。
為了能夠恰當(dāng)?shù)亟忉孫LS模型的系數(shù),數(shù)據(jù)必須滿足以下統(tǒng)計(jì)假設(shè)。
正態(tài)性 對(duì)于固定的自變量值,因變量值成正態(tài)分布。
獨(dú)立性 Yi值之間相互獨(dú)立。
線性 因變量與自變量之間為線性相關(guān)。
同方差性 因變量的方差不隨自變量的水平不同而變化。也可稱作不變方差,但是說(shuō)同方差性感覺(jué)上更犀利。
如果違背了以上假設(shè),你的統(tǒng)計(jì)顯著性檢驗(yàn)結(jié)果和所得的置信區(qū)間很可能就不精確。注意,OLS回歸還假定自變量是固定的且測(cè)量無(wú)誤差,但在實(shí)踐中通常都放松了這個(gè)假設(shè)。8.2.1 用 lm()擬合回歸模型
在R中,擬合線性模型最基本的函數(shù)就是lm(),格式為:
![]()
其中, formula指要擬合的模型形式, data是一個(gè)數(shù)據(jù)框,包含了用于擬合模型的數(shù)據(jù)。結(jié)果對(duì)象(本例中是myfit)存儲(chǔ)在一個(gè)列表中,包含了所擬合模型的大量信息。表達(dá)式(formula)形式如下:
![]()
~左邊為響應(yīng)變量,右邊為各個(gè)預(yù)測(cè)變量,預(yù)測(cè)變量之間用+符號(hào)分隔。表8-2中的符號(hào)可以不同方式修改這一表達(dá)式。
除了lm(),表8-3還列出了其他一些對(duì)做簡(jiǎn)單或多元回歸分析有用的函數(shù)。擬合模型后,將這些函數(shù)應(yīng)用于lm()返回的對(duì)象,可以得到更多額外的模型信息。
![]()
當(dāng)回歸模型包含一個(gè)因變量和一個(gè)自變量時(shí),我們稱為簡(jiǎn)單線性回歸。當(dāng)只有一個(gè)預(yù)測(cè)變量,但同時(shí)包含變量的冪(比如, X、 X 2、 X 3)時(shí),我們稱之為多項(xiàng)式回歸。當(dāng)有不止一個(gè)預(yù)測(cè)變量時(shí),則稱為多元線性回歸?,F(xiàn)在,我們首先從一個(gè)簡(jiǎn)單的線性回歸例子開始,然后逐步展示多項(xiàng)式回歸和多元線性回歸,最后還會(huì)介紹一個(gè)包含交互項(xiàng)的多元線性回歸的例子。
8.2.2 簡(jiǎn)單線性回歸
讓我們通過(guò)一個(gè)回歸示例來(lái)熟悉表8-3中的函數(shù)?;A(chǔ)安裝中的數(shù)據(jù)集women提供了15個(gè)年齡在30~39歲間女性的身高和體重信息,我們想通過(guò)身高來(lái)預(yù)測(cè)體重,獲得一個(gè)等式可以幫助我們分辨出那些過(guò)重或過(guò)瘦的個(gè)體。代碼清單8-1提供了分析過(guò)程,圖8-1展示了結(jié)果圖形。通過(guò)輸出結(jié)果,可以得到預(yù)測(cè)等式:
![]()
因?yàn)樯砀卟豢赡転?,你沒(méi)必要給截距項(xiàng)一個(gè)物理解釋,它僅僅是一個(gè)常量調(diào)整項(xiàng)。在Pr(>|t|)欄,可以看到回歸系數(shù)(3.45)顯著不為0(p<0.001),表明身高每增高1英寸,體重將預(yù)期增加3.45磅①。 R平方項(xiàng)(0.991)表明模型可以解釋體重99.1%的方差,它也是實(shí)際和預(yù)測(cè)值之間的相關(guān)系數(shù)(R2 = r2?Y)。殘差標(biāo)準(zhǔn)誤(1.53 lbs)則可認(rèn)為是模型用身高預(yù)測(cè)體重的平均誤差。 F統(tǒng)計(jì)量檢驗(yàn)所有的預(yù)測(cè)變量預(yù)測(cè)響應(yīng)變量是否都在某個(gè)幾率水平之上。由于簡(jiǎn)單回歸只有一個(gè)預(yù)測(cè)變量,此處F檢驗(yàn)等同于身高回歸系數(shù)的t檢驗(yàn)。
![]()
為了展示的需要,我們已經(jīng)輸出了真實(shí)值、預(yù)測(cè)值和殘差值。顯然,最大的殘差值在身高矮和身高高的地方出現(xiàn),這也可以從圖8-1看出來(lái)。圖形表明你可以用含一個(gè)彎曲的曲線來(lái)提高預(yù)測(cè)的精度。比如,模型? = β0 + β1X + β1X2就能更好地?cái)M合數(shù)據(jù)。多項(xiàng)式回歸允許你用一個(gè)解釋變量預(yù)測(cè)一個(gè)響應(yīng)變量,它們關(guān)系的形式即n次多項(xiàng)式。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03