Stata軟件對(duì)截?cái)嗪蛣h失數(shù)據(jù)處理方法介紹

截?cái)嗪蛣h失是完全不同的現(xiàn)象，都會(huì)導(dǎo)致我們的樣本不完整。這些現(xiàn)象出現(xiàn)在醫(yī)療科學(xué)、工程、社會(huì)科學(xué)和其他研究領(lǐng)域。如果忽略截?cái)嗪蛣h失，當(dāng)我們分析數(shù)據(jù)時(shí)，我們的人口參數(shù)估計(jì)就會(huì)不一致。

截?cái)嗪蛣h失會(huì)出現(xiàn)在處理樣本的過(guò)程中，那我們就從定義左截?cái)嗪妥髣h失開(kāi)始：

當(dāng)?shù)陀陂撝档膫€(gè)體在樣本中不存在時(shí)，我們的數(shù)據(jù)就屬于左截?cái)唷１热?，我們想研究某些魚(yú)的大小，以捕魚(yú)網(wǎng)為樣本，魚(yú)小于魚(yú)網(wǎng)，所以在我們的樣本中是不存在的。

我們的數(shù)據(jù)從K開(kāi)始左刪失，如果每個(gè)個(gè)體值在樣本中存在并低于K，但實(shí)際值未知。例如，我們有一個(gè)測(cè)量?jī)x器，不能檢測(cè)到一定水平以下的值時(shí)，就會(huì)發(fā)生這種情況。

我們主要討論左截?cái)嗪妥髣h失，但是我們討論的概念可以應(yīng)用到所有的截?cái)嗪蛣h失中去：右截?cái)?、右刪失和區(qū)間。

當(dāng)執(zhí)行截?cái)嗷騽h失數(shù)據(jù)的估計(jì)時(shí)，我們需要使用一些工具來(lái)說(shuō)明這些不完整的數(shù)據(jù)。對(duì)于截?cái)?a href='/map/xianxinghuigui/' style='color:#000;font-size:inherit;'>線性回歸，我們可以使用truncreg命令;對(duì)于刪失線性回歸，我們可以使用intreg和tobit命令。

這篇文章，我們將要分析截?cái)鄶?shù)據(jù)和刪失數(shù)據(jù)的特征，并討論用truncreg命令和tobit命令來(lái)說(shuō)明不完整的數(shù)據(jù)。

截?cái)鄶?shù)據(jù)

案例：皇家海軍陸戰(zhàn)隊(duì)

Fogel et al.(1978)發(fā)布了皇家海軍陸戰(zhàn)隊(duì)人員的身高的數(shù)據(jù)集，此數(shù)據(jù)可以擴(kuò)展到2個(gè)世紀(jì)。它可以用來(lái)確定不同時(shí)期，英國(guó)男性的平均身高。Trussell and Bloom (1979)指出樣本被截?cái)?，由于新兵最低身高的限制。?shù)據(jù)被截?cái)嗔?而不是刪失)，因?yàn)樯砀叩陀谧畹拖拗频膫€(gè)人都沒(méi)有出現(xiàn)在樣本中?？紤]到這一事實(shí)，他們擬合了1800年到1809年期間皇家海軍陸戰(zhàn)隊(duì)身高的截?cái)喾植肌?

由于Trussell和Bloom提到的問(wèn)題，我們使用了人工數(shù)據(jù)集。我們假設(shè)人口數(shù)據(jù)服從正態(tài)分布μ=65和σ=3.5，并且都是左截?cái)嗟?4.

我們使用一個(gè)直方圖來(lái)總結(jié)我們的數(shù)據(jù)：

可以看到截?cái)帱c(diǎn)，沒(méi)有小于64的數(shù)據(jù)。

如果我們忽略截?cái)?，?huì)發(fā)生什么呢?

如果我們忽略截?cái)啵瑢⒉煌暾臄?shù)據(jù)視為完整的，樣本均值與總體均值就會(huì)不一致，因?yàn)榻財(cái)帱c(diǎn)以下的所有觀測(cè)值都是缺失的。在我們的實(shí)例中，真實(shí)的均值95%都在置信區(qū)間預(yù)測(cè)平均值外。

我們可以將樣本直方圖與忽略截?cái)嗪蟮贸龅?a href='/map/zhengtaifenbu/' style='color:#000;font-size:inherit;'>正態(tài)分布進(jìn)行比較，并且把這些值看成是人口均值和標(biāo)準(zhǔn)差的估計(jì)。

使用truncreg考慮截?cái)?

我們可以使用truncreg來(lái)估計(jì)潛在非截?cái)喾植嫉膮?shù)?？紤]左截?cái)?4，可以使用選項(xiàng)ll(64)。

現(xiàn)在估計(jì)的值接近我們的實(shí)際模擬值μ=65,σ=3.5。

讓我們將截?cái)嗝芏戎丿B到數(shù)據(jù)直方圖中去。

截?cái)喾植歼m合我們的樣本，我們分析人口分布均值等于65，標(biāo)準(zhǔn)偏差等于3.5.

刪失數(shù)據(jù)

現(xiàn)在我們看一下刪失數(shù)據(jù)的案例，看看他們和截?cái)鄶?shù)據(jù)之間的區(qū)別。

案例：家庭表面尼古丁的含量情況

Matt et al.在2004年進(jìn)行了一項(xiàng)研究，對(duì)煙草煙霧污染吸煙者家庭的整個(gè)表面進(jìn)行了評(píng)估。非常有趣的一項(xiàng)測(cè)量是家具表面的尼古丁含量情況。每個(gè)家庭中的擦拭樣本來(lái)自每件家具。然而，尼古丁污染低于一定限度的，測(cè)量?jī)x檢測(cè)不到。

數(shù)據(jù)被刪失了，而不是被截?cái)嗔?。?dāng)尼古丁污染低于檢測(cè)極限值時(shí)，樣本中仍然包含了尼古丁的檢測(cè)值，這個(gè)檢測(cè)值就等于最低極限值。被這項(xiàng)研究中的這個(gè)問(wèn)題啟發(fā)，我隨意創(chuàng)建了一個(gè)人工數(shù)據(jù)集。尼古丁污染水平的日志被假定為正常。在這里，lognlevel包含尼古丁含量。用于模擬日志尼古丁含量的參數(shù)，刪失數(shù)據(jù)是μ=ln(5)，σ=2.5，左刪失數(shù)據(jù)為0.1。我們開(kāi)始繪制直方圖。

直方圖左側(cè)有一個(gè)尖峰，因?yàn)樵跈z測(cè)極限以下的值被記錄為等于極限值。計(jì)算樣本的原始均值和標(biāo)準(zhǔn)偏差，將不會(huì)為潛在的未經(jīng)審查的高斯分布提供適當(dāng)?shù)墓烙?jì)。

均值和標(biāo)準(zhǔn)偏差分別估計(jì)為1.68和2.4，而實(shí)際參數(shù)為ln(5) =1.61 和2.5。

使用Tobit賬戶審核

我們估計(jì)均值和標(biāo)準(zhǔn)偏差分布，并使用ll選項(xiàng)的tobit來(lái)考慮左刪失值(如果審核極限值隨觀測(cè)值而變化，那么可以用intreg來(lái)代替)。

潛在的未經(jīng)審核的分布估計(jì)的均值為1.62，標(biāo)準(zhǔn)差2.49. 我們把未經(jīng)審核的分布疊加到直方圖中：

潛在的未經(jīng)審核的分布匹配直方圖的一部分，左邊尾部補(bǔ)償審查點(diǎn)的尖峰。

總結(jié)

在抽樣數(shù)據(jù)中，刪失和截?cái)嗍遣煌膬煞N現(xiàn)象。截?cái)喔咚钩闃又袧撛诘娜丝趨?shù)可以用truncreg來(lái)估計(jì)。刪失高斯抽樣中潛在的人口參數(shù)要用intreg或tobit來(lái)估計(jì)。

結(jié)語(yǔ)

我們已經(jīng)討論了刪失和截?cái)嗟母拍?，也舉例說(shuō)明了這兩個(gè)概念的意思。與本次討論有關(guān)的要點(diǎn)如下：

本次討論是基于高斯模型之上的，但是主要的概念可以擴(kuò)展到任意的分布中。以上的例子在沒(méi)有協(xié)變量的情況下擬合回歸模型，因此，我們可以更好地可視化刪失和截?cái)喾植嫉男螤?。然而，這些概念很容易擴(kuò)展到協(xié)變量的回歸框架中，并且特定觀測(cè)值的期望值是協(xié)變量函數(shù)。

我們已經(jīng)討論過(guò)使用truncreg和tobit來(lái)處理刪失和截?cái)鄶?shù)據(jù)。但是這些命令也可以應(yīng)用到非刪失和非截?cái)鄶?shù)據(jù)中，只要這些數(shù)據(jù)是特定分布中的人口抽樣。