Stata軟件對截斷和刪失數(shù)據(jù)處理方法介紹

截斷和刪失是完全不同的現(xiàn)象，都會導(dǎo)致我們的樣本不完整。這些現(xiàn)象出現(xiàn)在醫(yī)療科學(xué)、工程、社會科學(xué)和其他研究領(lǐng)域。如果忽略截斷和刪失，當(dāng)我們分析數(shù)據(jù)時，我們的人口參數(shù)估計就會不一致。

截斷和刪失會出現(xiàn)在處理樣本的過程中，那我們就從定義左截斷和左刪失開始：

當(dāng)?shù)陀陂撝档膫€體在樣本中不存在時，我們的數(shù)據(jù)就屬于左截斷。比如，我們想研究某些魚的大小，以捕魚網(wǎng)為樣本，魚小于魚網(wǎng)，所以在我們的樣本中是不存在的。

我們的數(shù)據(jù)從K開始左刪失，如果每個個體值在樣本中存在并低于K，但實際值未知。例如，我們有一個測量儀器，不能檢測到一定水平以下的值時，就會發(fā)生這種情況。

我們主要討論左截斷和左刪失，但是我們討論的概念可以應(yīng)用到所有的截斷和刪失中去：右截斷、右刪失和區(qū)間。

當(dāng)執(zhí)行截斷或刪失數(shù)據(jù)的估計時，我們需要使用一些工具來說明這些不完整的數(shù)據(jù)。對于截斷線性回歸，我們可以使用truncreg命令;對于刪失線性回歸，我們可以使用intreg和tobit命令。

這篇文章，我們將要分析截斷數(shù)據(jù)和刪失數(shù)據(jù)的特征，并討論用truncreg命令和tobit命令來說明不完整的數(shù)據(jù)。

截斷數(shù)據(jù)

案例：皇家海軍陸戰(zhàn)隊

Fogel et al.(1978)發(fā)布了皇家海軍陸戰(zhàn)隊人員的身高的數(shù)據(jù)集，此數(shù)據(jù)可以擴展到2個世紀。它可以用來確定不同時期，英國男性的平均身高。Trussell and Bloom (1979)指出樣本被截斷，由于新兵最低身高的限制。數(shù)據(jù)被截斷了(而不是刪失)，因為身高低于最低限制的個人都沒有出現(xiàn)在樣本中?？紤]到這一事實，他們擬合了1800年到1809年期間皇家海軍陸戰(zhàn)隊身高的截斷分布。

由于Trussell和Bloom提到的問題，我們使用了人工數(shù)據(jù)集。我們假設(shè)人口數(shù)據(jù)服從正態(tài)分布μ=65和σ=3.5，并且都是左截斷到64.

我們使用一個直方圖來總結(jié)我們的數(shù)據(jù)：

可以看到截斷點，沒有小于64的數(shù)據(jù)。

如果我們忽略截斷，會發(fā)生什么呢?

如果我們忽略截斷，將不完整的數(shù)據(jù)視為完整的，樣本均值與總體均值就會不一致，因為截斷點以下的所有觀測值都是缺失的。在我們的實例中，真實的均值95%都在置信區(qū)間預(yù)測平均值外。

我們可以將樣本直方圖與忽略截斷后得出的正態(tài)分布進行比較，并且把這些值看成是人口均值和標準差的估計。

使用truncreg考慮截斷

我們可以使用truncreg來估計潛在非截斷分布的參數(shù)?？紤]左截斷64，可以使用選項ll(64)。

現(xiàn)在估計的值接近我們的實際模擬值μ=65,σ=3.5。

讓我們將截斷密度重疊到數(shù)據(jù)直方圖中去。

截斷分布適合我們的樣本，我們分析人口分布均值等于65，標準偏差等于3.5.

刪失數(shù)據(jù)

現(xiàn)在我們看一下刪失數(shù)據(jù)的案例，看看他們和截斷數(shù)據(jù)之間的區(qū)別。

案例：家庭表面尼古丁的含量情況

Matt et al.在2004年進行了一項研究，對煙草煙霧污染吸煙者家庭的整個表面進行了評估。非常有趣的一項測量是家具表面的尼古丁含量情況。每個家庭中的擦拭樣本來自每件家具。然而，尼古丁污染低于一定限度的，測量儀檢測不到。

數(shù)據(jù)被刪失了，而不是被截斷了。當(dāng)尼古丁污染低于檢測極限值時，樣本中仍然包含了尼古丁的檢測值，這個檢測值就等于最低極限值。被這項研究中的這個問題啟發(fā)，我隨意創(chuàng)建了一個人工數(shù)據(jù)集。尼古丁污染水平的日志被假定為正常。在這里，lognlevel包含尼古丁含量。用于模擬日志尼古丁含量的參數(shù)，刪失數(shù)據(jù)是μ=ln(5)，σ=2.5，左刪失數(shù)據(jù)為0.1。我們開始繪制直方圖。

直方圖左側(cè)有一個尖峰，因為在檢測極限以下的值被記錄為等于極限值。計算樣本的原始均值和標準偏差，將不會為潛在的未經(jīng)審查的高斯分布提供適當(dāng)?shù)墓烙嫛?

均值和標準偏差分別估計為1.68和2.4，而實際參數(shù)為ln(5) =1.61 和2.5。

使用Tobit賬戶審核

我們估計均值和標準偏差分布，并使用ll選項的tobit來考慮左刪失值(如果審核極限值隨觀測值而變化，那么可以用intreg來代替)。

潛在的未經(jīng)審核的分布估計的均值為1.62，標準差2.49. 我們把未經(jīng)審核的分布疊加到直方圖中：

潛在的未經(jīng)審核的分布匹配直方圖的一部分，左邊尾部補償審查點的尖峰。

總結(jié)

在抽樣數(shù)據(jù)中，刪失和截斷是不同的兩種現(xiàn)象。截斷高斯抽樣中潛在的人口參數(shù)可以用truncreg來估計。刪失高斯抽樣中潛在的人口參數(shù)要用intreg或tobit來估計。

結(jié)語

我們已經(jīng)討論了刪失和截斷的概念，也舉例說明了這兩個概念的意思。與本次討論有關(guān)的要點如下：

本次討論是基于高斯模型之上的，但是主要的概念可以擴展到任意的分布中。以上的例子在沒有協(xié)變量的情況下擬合回歸模型，因此，我們可以更好地可視化刪失和截斷分布的形狀。然而，這些概念很容易擴展到協(xié)變量的回歸框架中，并且特定觀測值的期望值是協(xié)變量函數(shù)。

我們已經(jīng)討論過使用truncreg和tobit來處理刪失和截斷數(shù)據(jù)。但是這些命令也可以應(yīng)用到非刪失和非截斷數(shù)據(jù)中，只要這些數(shù)據(jù)是特定分布中的人口抽樣。