數(shù)據(jù)分析中要注意的統(tǒng)計(jì)學(xué)問題

(一、均值的計(jì)算 

在處理數(shù)據(jù)時(shí)，經(jīng)常會(huì)遇到對(duì)相同采樣或相同實(shí)驗(yàn)條件下同一隨機(jī)變量的多個(gè)不同取值進(jìn)行統(tǒng)計(jì)處理的問題。此時(shí)，往往我們會(huì)不假思索地直接給出算術(shù)平均值和標(biāo)準(zhǔn)差。顯然，這種做法是不嚴(yán)謹(jǐn)?shù)摹?/span>

這是因?yàn)樽鳛槊枋鲭S機(jī)變量總體大小特征的統(tǒng)計(jì)量有算術(shù)平均值、幾何平均值和中位數(shù)等多個(gè)。至于該采用哪種均值，不能根據(jù)主觀意愿隨意確定，而要根據(jù)隨機(jī)變量的分布特征確定。

反映隨機(jī)變量總體大小特征的統(tǒng)計(jì)量是數(shù)學(xué)期望，而在隨機(jī)變量的分布服從正態(tài)分布時(shí)，其數(shù)學(xué)期望就是其算術(shù)平均值。此時(shí)，可用算術(shù)平均值描述隨機(jī)變量的大小特征；如果所研究的隨機(jī)變量不服從正態(tài)分布，則算術(shù)平均值不能準(zhǔn)確反映該變量的大小特征。在這種情況下，可通過假設(shè)檢驗(yàn)來判斷隨機(jī)變量是否服從對(duì)數(shù)正態(tài)分布。如果服從對(duì)數(shù)正態(tài)分布，則幾何平均值就是數(shù)學(xué)期望的值。此時(shí)，就可以計(jì)算變量的幾何平均值；如果隨機(jī)變量既不服從正態(tài)分布也不服從對(duì)數(shù)正態(tài)分布，則按現(xiàn)有的數(shù)理統(tǒng)計(jì)學(xué)知識(shí)，尚無合適的統(tǒng)計(jì)量描述該變量的大小特征。此時(shí)，可用中位數(shù)來描述變量的大小特征。

因此，我們不能在處理數(shù)據(jù)的時(shí)候一律采用算術(shù)平均值，而是要視數(shù)據(jù)的分布情況而定。

二、直線相關(guān)與回歸分析 

這兩種分析，說明的問題是不同的，既相互又聯(lián)系。在做實(shí)際分析的時(shí)候，應(yīng)先做變量的散點(diǎn)圖，確認(rèn)由線性趨勢(shì)后再進(jìn)行統(tǒng)計(jì)分析。一般先做相關(guān)分析，只有在相關(guān)分析有統(tǒng)計(jì)學(xué)意義的前提下，求回歸方程才有實(shí)際意義。一般來講，有這么兩個(gè)問題值得注意：

一定要把回歸和相關(guān)的概念搞清楚，要做回歸分析時(shí)，不需要報(bào)告相關(guān)系數(shù)；做相關(guān)分析的時(shí)候，不需要計(jì)算回歸方程。

相關(guān)分析中，只有對(duì)相關(guān)系數(shù)進(jìn)行統(tǒng)計(jì)檢驗(yàn)（如t檢驗(yàn)），P<0.05時(shí)，才能一依據(jù)r值的大小來說明兩個(gè)變量的相關(guān)程度。必須注意的是，不能將相關(guān)系數(shù)的假設(shè)檢驗(yàn)誤認(rèn)為是相關(guān)程度的大小。舉個(gè)例子：當(dāng)樣本數(shù)量很小，即使r值較大（如3對(duì)數(shù)據(jù)，r=0.9），也可能得出P>0.05這種無統(tǒng)計(jì)學(xué)意義的結(jié)論；而當(dāng)樣本量很大，如500，即使r=0.1，也會(huì)有P<0.05的結(jié)果，但這種相關(guān)卻不具有實(shí)際意義。因此，要表明相關(guān)性，除了要寫出r值外，還應(yīng)該注明假設(shè)檢驗(yàn)的P值。 
三、相關(guān)分析和回歸分析之間的區(qū)別 

相關(guān)分析和回歸分析是極為常用的2種數(shù)理統(tǒng)計(jì)方法，在環(huán)境科學(xué)及其它研究領(lǐng)域有著廣泛的用途。然而，由于這2種數(shù)理統(tǒng)計(jì)方法在計(jì)算方面存在很多相似之處，因此在應(yīng)用中我們很容易將二者混淆。

最常見的錯(cuò)誤是，用回歸分析的結(jié)果解釋相關(guān)性問題。例如，將“回歸直線（曲線）圖”稱為“相關(guān)性圖”或“相關(guān)關(guān)系圖”；將回歸直線的R2(擬合度，或稱“可決系數(shù)”)錯(cuò)誤地稱為“相關(guān)系數(shù)”或“相關(guān)系數(shù)的平方”；根據(jù)回歸分析的結(jié)果宣稱2個(gè)變量之間存在正的或負(fù)的相關(guān)關(guān)系。

相關(guān)分析與回歸分析均為研究2個(gè)或多個(gè)變量間關(guān)聯(lián)性的方法，但2種方法存在本質(zhì)的差別。相關(guān)分析的目的在于檢驗(yàn)兩個(gè)隨機(jī)變量的共變趨勢(shì)（即共同變化的程度），回歸分析的目的則在于試圖用自變量來預(yù)測(cè)因變量的值。

實(shí)際上在相關(guān)分析中，兩個(gè)變量必須都是隨機(jī)變量，如果其中的一個(gè)變量不是隨機(jī)變量，就不能進(jìn)行相關(guān)分析。而回歸分析中，因變量肯定為隨機(jī)變量，而自變量則可以是普通變量（有確定的取值）也可以是隨機(jī)變量。

很顯然，當(dāng)自變量為普通變量的時(shí)候，這個(gè)時(shí)候你根本不可能回答相關(guān)性的問題；當(dāng)兩個(gè)變量均為隨機(jī)變量的時(shí)候，鑒于兩個(gè)隨機(jī)變量客觀上存在“相關(guān)性”問題，只是由于回歸分析方法本身不能提供針對(duì)自變量和因變量之間相關(guān)關(guān)系的準(zhǔn)確的檢驗(yàn)手段，因此這又回到了問題二中所講的，如果你要以預(yù)測(cè)為目的，就不要提相關(guān)系數(shù)；當(dāng)你以探索兩者的“共變趨勢(shì)”為目的，就不要提回歸方程。

回歸分析中的R2在數(shù)學(xué)上恰好是Pearson積矩相關(guān)系數(shù)r的平方。因此我們不能錯(cuò)誤地理解R2的含義，認(rèn)為R2就是 “相關(guān)系數(shù)”或“相關(guān)系數(shù)的平方”。這是因?yàn)?，?duì)于自變量是普通變量的時(shí)候，2個(gè)變量之間的“相關(guān)性”概念根本不存在，又談什么“相關(guān)系數(shù)”呢？

四、相關(guān)分析中的問題 

相關(guān)分析中，我們很容易犯這么一個(gè)錯(cuò)誤，那就是不考慮兩個(gè)隨機(jī)變量的分布，直接采用Pearson 積矩相關(guān)系數(shù)描述這2個(gè)隨機(jī)變量間的相關(guān)關(guān)系（此時(shí)描述的是線性相關(guān)關(guān)系）。

關(guān)于相關(guān)系數(shù)，除有Pearson 積矩相關(guān)系數(shù)外，還有Spearman秩相關(guān)系數(shù)和Kendall秩相關(guān)系數(shù)等。其中，Pearson積矩相關(guān)系數(shù)可用于描述2個(gè)隨機(jī)變量的線性相關(guān)程度，Spearman或Kendall秩相關(guān)系數(shù)用來判斷兩個(gè)隨機(jī)變量在二維和多維空間中是否具有某種共變趨勢(shì)。

因此我們必須注意的是，Pearson 積矩相關(guān)系數(shù)的選擇是由前提的，那就是2個(gè)隨機(jī)變量均服從正態(tài)分布假設(shè)。如果數(shù)據(jù)不服從正態(tài)分布，則不能計(jì)算Pearson 積矩相關(guān)系數(shù)，這個(gè)時(shí)候，我們就因該選擇Spearman或Kendall秩相關(guān)系數(shù)。

五、t檢驗(yàn)　

用于比較均值的t檢驗(yàn)可以分成三類：第一類是針對(duì)單組設(shè)計(jì)定量資料的；第二類是針對(duì)配對(duì)設(shè)計(jì)定量資料的；第三類則是針對(duì)成組設(shè)計(jì)定量資料的。后兩種設(shè)計(jì)類型的區(qū)別在于事先是否將兩組研究對(duì)象按照某一個(gè)或幾個(gè)方面的特征相似配成對(duì)子。無論哪種類型的t檢驗(yàn)，都必須在滿足特定的前提條件下應(yīng)用才是合理的。

若是單組檢驗(yàn)，必須給出一個(gè)標(biāo)準(zhǔn)值或總體均值，同時(shí)，提供一組定量的觀測(cè)結(jié)果，應(yīng)用t檢驗(yàn)的前提條件就是該組資料必須服從正態(tài)分布；若是配對(duì)設(shè)計(jì)，每對(duì)數(shù)據(jù)的差值必須服從正態(tài)分布；若是成組設(shè)計(jì)，個(gè)體之間相互獨(dú)立，兩組資料均取自正態(tài)分布的總體，并滿足方差齊性。之所以需要這些前提條件，是因?yàn)楸仨氃谶@樣的前提下所計(jì)算出的t統(tǒng)計(jì)量才服從t分布。

t檢驗(yàn)是目前在科學(xué)研究中使用頻率最高的一種假設(shè)檢驗(yàn)方法。t檢驗(yàn)方法簡(jiǎn)單，其結(jié)果便于解釋。簡(jiǎn)單、熟悉加上外界的要求，促成了t檢驗(yàn)的流行。但是，由于我們對(duì)該方法理解得不全面，導(dǎo)致在應(yīng)用過程中出現(xiàn)不少問題，有些甚至是非常嚴(yán)重的錯(cuò)誤，直接影響到結(jié)論的可靠性。

常見錯(cuò)誤：不考慮t檢驗(yàn)的應(yīng)用前提，對(duì)兩組的比較一律用t檢驗(yàn)；將各種實(shí)驗(yàn)設(shè)計(jì)類型一律視為多個(gè)單因素兩水平設(shè)計(jì)，多次用t檢驗(yàn)進(jìn)行均值之間的兩兩比較。以上兩種情況，均不同程度地增加了得出錯(cuò)誤結(jié)論的風(fēng)險(xiǎn)。而且，在實(shí)驗(yàn)因素的個(gè)數(shù)大于等于2時(shí)，無法研究實(shí)驗(yàn)因素之間的交互作用的大小。

正確做法：當(dāng)兩樣本均值比較時(shí)，如不滿足正態(tài)分布和方差齊性，應(yīng)采用非參檢驗(yàn)方法（如秩檢驗(yàn)）；兩組以上的均值比較，不能采用t檢驗(yàn)進(jìn)行均值之間的兩兩比較。

因此我們必須注意，在使用t檢驗(yàn)的時(shí)候，一定要注意其前提以及研究目的，否則，會(huì)得出錯(cuò)誤的結(jié)論。

六、常用統(tǒng)計(jì)分析軟件   

國(guó)際上已開發(fā)出的專門用于統(tǒng)計(jì)分析的商業(yè)軟件很多，比較著名有SPSS(Statistical Package for SocialSciences)、SAS(Statistical AnalysisSystem)、BMDP和STATISTICA等。其中，SPSS是專門為社會(huì)科學(xué)領(lǐng)域的研究者設(shè)計(jì)的（但是，此軟件在自然科學(xué)領(lǐng)域也得到廣泛應(yīng)用）；BMDP是專門為生物學(xué)和醫(yī)學(xué)領(lǐng)域研究者編制的統(tǒng)計(jì)軟件。

當(dāng)然，excel也能用于統(tǒng)計(jì)分析。單擊“工具”菜單中的“數(shù)據(jù)分析”命令可以瀏覽已有的分析工具。如果在“工具”菜單上沒有“數(shù)據(jù)分析”命令，應(yīng)在“工具”菜單上運(yùn)行“加載宏”命令，在“加載宏”對(duì)話框中選擇“分析工具庫(kù)”。

特別推薦一款國(guó)產(chǎn)軟件——DPS，其界面見附圖。其功能較為強(qiáng)大，除了擁有統(tǒng)計(jì)分析功能，如參數(shù)分析，非參分析等以外，還專門針對(duì)一些專業(yè)編寫了專業(yè)統(tǒng)計(jì)分析模塊，隨機(jī)前沿面模型、數(shù)據(jù)包絡(luò)分析(DEA)、顧客滿意指數(shù)模型（結(jié)構(gòu)方程模型)、數(shù)學(xué)生態(tài)、生物測(cè)定、地理統(tǒng)計(jì)、遺傳育種、生存分析、水文頻率分析、量表分析、質(zhì)量控制圖、ROC曲線分析等內(nèi)容。有些不是統(tǒng)計(jì)分析的功能，如模糊數(shù)學(xué)方法、灰色系統(tǒng)方法、各種類型的線性規(guī)劃、非線性規(guī)劃、層次分析法、BP神經(jīng)網(wǎng)絡(luò)、徑向基函數(shù)(RBF)等，在DPS里面也可以找到。

皮爾遜積差相關(guān)系數(shù)與斯皮爾曼等級(jí)相關(guān)系

積差相關(guān)系數(shù)

編輯

(Correlation coefficient)

相關(guān)表和相關(guān)圖可反映兩個(gè)變量之間的相互關(guān)系及其相關(guān)方向，但無法確切地表明兩個(gè)變量之間相關(guān)的程度。著名統(tǒng)計(jì)學(xué)家卡爾·皮爾遜設(shè)計(jì)了統(tǒng)計(jì)指標(biāo)——相關(guān)系數(shù)。　依據(jù)相關(guān)現(xiàn)象之間的不同特征，其統(tǒng)計(jì)指標(biāo)的名稱有所不同。如將反映兩變量間線性相關(guān)關(guān)系的統(tǒng)計(jì)指標(biāo)稱為相關(guān)系數(shù)（相關(guān)系數(shù)的平方稱為判定系數(shù)），將反映兩變量間曲線相關(guān)關(guān)系的統(tǒng)計(jì)指標(biāo)稱為非線性相關(guān)系數(shù)、非線性判定系數(shù)。將反映多元線性相關(guān)關(guān)系的統(tǒng)計(jì)指標(biāo)稱為復(fù)相關(guān)系數(shù)、復(fù)判定系數(shù)等。

相關(guān)系數(shù)的值介于–1與+1之間，即–1≤r≤+1。其性質(zhì)如下：

* 當(dāng)r>0時(shí)，表示兩變量正相關(guān)，r<0時(shí)，兩變量為負(fù)相關(guān)。

* 當(dāng)|r|=1時(shí)，表示兩變量為完全線性相關(guān)，即為函數(shù)關(guān)系。

* 當(dāng)r=0時(shí)，表示兩變量間無線性相關(guān)關(guān)系。

* 當(dāng)0<|r|<1時(shí)，表示兩變量存在一定程度的線性相關(guān)。且|r|越接近1，兩變量間線性

關(guān)系越密切；|r|越接近于0，表示兩變量的線性相關(guān)越弱。

* 一般可按三級(jí)劃分：|r|<0.4為低度線性相關(guān)；0.4≤|r|<0.7為顯著性相關(guān)；

0.7≤|r|<1為高度線性相關(guān)。

在統(tǒng)計(jì)學(xué)中,變量按變量值是否連續(xù)可分為連續(xù)變量與離散變量?jī)煞N.在一定區(qū)間內(nèi)可以任意取值的變量叫連續(xù)變量,其數(shù)值是連續(xù)不斷的,相鄰兩個(gè)數(shù)值可作無限分割,即可取無限個(gè)數(shù)值.例如,生產(chǎn)零件的規(guī)格尺寸,人體測(cè)量的身高,體重,胸圍等為連續(xù)變量,其數(shù)值只能用測(cè)量或計(jì)量的方法取得.反之,其數(shù)值只能用自然數(shù)或整數(shù)單位計(jì)算的則為離散變量.例如,企業(yè)個(gè)數(shù),職工人數(shù),設(shè)備臺(tái)數(shù)等,只能按計(jì)量單位數(shù)計(jì)數(shù),這種變量的數(shù)值一般用計(jì)數(shù)方法取得.

2性質(zhì)

編輯

符號(hào)x如果能夠表示對(duì)象集合S中的任意元素，就是變量。如果變量的域(即對(duì)象的集合S)是離散的，該變量就是離散變量；如果它的域是連續(xù)的，它就是連續(xù)變量。連續(xù)變量由于不能一一列舉其變量值，只能采用組距式的分組方式，且相鄰的組限必須重疊。如以總產(chǎn)值、商品銷售額、勞動(dòng)生產(chǎn)率、工資等為標(biāo)志進(jìn)行分組，就只能是相鄰組限重疊的組距式分組。[1]

3區(qū)分

連續(xù)變量（continuous variable）與離散變量（discrete variable）[2]的簡(jiǎn)單區(qū)分

方法

連續(xù)變量與離散變量的簡(jiǎn)單區(qū)別方法：連續(xù)變量時(shí)一直疊加上去的，增長(zhǎng)量可以劃分為固定的單位，即：1,2,3…… 例如：一個(gè)人的身高，他首先長(zhǎng)到1.51，然后才能長(zhǎng)到1.52，1.53……；在百度貼吧中，用戶首先要有1個(gè)粉絲，其后他才能有2,3……位粉絲。

而離散變量則是通過計(jì)數(shù)方式取得的，即是對(duì)所要統(tǒng)計(jì)的對(duì)象進(jìn)行計(jì)數(shù)，增長(zhǎng)量非固定的，如：一個(gè)地區(qū)的企業(yè)數(shù)目可以是今年只有一家，而第二年開了十家；一個(gè)企業(yè)的職工人數(shù)今年只有10人，第二年一次招聘了20人等。

分類變量可分為無序變量和有序變量?jī)深悺?/span>

釋義

無序分類變量（unordered categorical variable）是指所分類別或?qū)傩灾g無程度和順序的差別。，它又可分為①二項(xiàng)分類，如性別（男、女），藥物反應(yīng)（陰性和陽(yáng)性）等；②多項(xiàng)分類，如血型（O、A、B、AB），職業(yè)（工、農(nóng)、商、學(xué)、兵）等。對(duì)于無序分類變量的分析，應(yīng)先按類別分組，清點(diǎn)各組的觀察單位數(shù)，編制分類變量的頻數(shù)表，所得資料為無序分類資料，亦稱計(jì)數(shù)資料。有序分類變量有序分類變量（ordinal categorical variable）各類別之間有程度的差別。如尿糖化驗(yàn)結(jié)果按－、±、+、++、+++分類；療效按治愈、顯效、好轉(zhuǎn)、無效分類。對(duì)于有序分類變量，應(yīng)先按等級(jí)順序分組，清點(diǎn)各組的觀察單位個(gè)數(shù)，編制有序變量（各等級(jí)）的頻數(shù)表，所得資料稱為等級(jí)資料。數(shù)據(jù)分析培訓(xùn)