R語(yǔ)言與點(diǎn)估計(jì)學(xué)習(xí)筆記（刀切法與最小二乘估計(jì)）

一、       刀切法（jackknife）

        刀切法的提出，是基于點(diǎn)估計(jì)準(zhǔn)則無(wú)偏性。刀切法的作用就是不斷地壓縮偏差。但需要指出的是縮小偏差并不是一個(gè)好的辦法，因?yàn)?a href='/map/piancha/' style='color:#000;font-size:inherit;'>偏差趨于0時(shí)，均方誤差會(huì)變得十分大。而且無(wú)偏性只有在大量重復(fù)時(shí)才會(huì)表現(xiàn)出與真值的偏差不大。Jackknife的想法在于：既然樣本是抽出來(lái)的，那我在作估計(jì)、推斷的時(shí)候“扔掉”幾個(gè)樣本點(diǎn)看看效果如何。

        例如我們來(lái)看使用刀切法估計(jì)正態(tài)分布N(2,25)的方差，我們認(rèn)為樣本的修正方差是關(guān)于總體方差的一個(gè)估計(jì)量使用刀切法：

>x<-rnorm(100,2,5)

>jack<-function(x){

+jackknife<-0

+for(i   in  1:length(x))     jackknife[i]=length(x)*var(x)-(length(x)-1)/length(x)*sum(var(x[-i]))

+ jackknife

+ }

>mean(jack(x))/length(x)

[1]26.07598

> var(x)

[1]26.33671

可以看出刀切法得到的估計(jì)量更接近總體方差。

關(guān)于刀切法，也不僅僅只是用來(lái)做參數(shù)估計(jì)的，他的用法與之前提到的bootstrap類似。

二、最小二乘估計(jì)

雖然MLe是很好的參數(shù)估計(jì)辦法，它過(guò)分依賴總體分布。在不知道總體分布的情況下，又只知道一組數(shù)據(jù)，那么LSE將會(huì)是一個(gè)不錯(cuò)的選擇。關(guān)于LSE的相關(guān)理論你可以參考任意一本數(shù)理統(tǒng)計(jì)的教材，比如前面提到的王兆軍《數(shù)理統(tǒng)計(jì)講義》（這個(gè)百度文庫(kù)里有）

下面介紹一下R中的做回歸的函數(shù)lm,用法如下：

lm(formula, data, subset, weights, na.action,

  method = "qr", model = TRUE, x = FALSE, y = FALSE, qr = TRUE,

  singular.ok = TRUE, contrasts = NULL, offset, ...)

僅以R中給出的example中的數(shù)據(jù)作為例子：

> ctl <-c(4.17,5.58,5.18,6.11,4.50,4.61,5.17,4.53,5.33,5.14)

> trt <-c(4.81,4.17,4.41,3.59,5.87,3.83,6.03,4.89,4.32,4.69)

> group <- gl(2,10,20,labels=c("Ctl","Trt"))

> weight <- c(ctl, trt)

> lm.D9 <- lm(weight ~ group)

> lm.D9

Call:

lm(formula = weight ~ group)

Coefficients:

(Intercept)    groupTrt 

     5.032       -0.371 

> summary(lm.D9)

Call:

lm(formula = weight ~ group)

Residuals:

   Min      1Q  Median     3Q     Max

-1.0710 -0.4938  0.0685 0.2462  1.3690

Coefficients:

           Estimate Std. Error t value Pr(>|t|)   

(Intercept)  5.0320     0.2202  22.850 9.55e-15 ***

groupTrt    -0.3710     0.3114  -1.191   0.249   

---

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.6964 on 18 degreesof freedom

Multiple R-squared: 0.07308,    Adjusted R-squared: 0.02158

F-statistic: 1.419 on 1 and 18 DF,  p-value: 0.249

可以得到常數(shù)項(xiàng)為5.0320，一次項(xiàng)系數(shù)為-0.3710

關(guān)于最小二乘估計(jì)，在時(shí)間序列模型的參數(shù)估計(jì)中也有用，在時(shí)間序列分析的學(xué)習(xí)筆記中會(huì)提到