
以下是我在近三年做各類計量和統(tǒng)計分析過程中感受最深的東西,或能對大家有所幫助。當然,它不是ABC的教程,也不是細致的數(shù)據(jù)分析方法介紹,它只 是總結(jié)和體會。由于我所學所做均甚雜,我也不是學統(tǒng)計、數(shù)學出身的,故本文沒有主線,只有碎片,且文中內(nèi)容僅為個人觀點,許多論斷沒有數(shù)學證明,望統(tǒng)計、計量大牛輕拍。
關(guān)于軟件
對于我個人而言,所用的數(shù)據(jù)分析軟件包括EXCEL、SPSS、STATA、EVIEWS。在分析前期可以使用EXCEL進行數(shù)據(jù)清洗、數(shù)據(jù)結(jié)構(gòu)調(diào) 整、復雜的新變量計算(包括邏輯計算);在后期呈現(xiàn)美觀的圖表時,它的制圖制表功能更是無可取代的利器;但需要說明的是,EXCEL畢竟只是辦公軟件,它 的作用大多局限在對數(shù)據(jù)本身進行的操作,而非復雜的統(tǒng)計和計量分析,而且,當樣本量達到萬以上級別時,EXCEL的運行速度有時會讓人抓狂。
SPSS是擅長于處理截面數(shù)據(jù)的傻瓜統(tǒng)計軟件。
首先,它是專業(yè)的統(tǒng)計軟件,對萬甚至十萬樣本量級別的數(shù)據(jù)集都能應付自如;
其次,它是統(tǒng)計軟件而非專業(yè)的計量軟件,因此它的強項在于數(shù)據(jù)清洗、描述統(tǒng)計、假設(shè)檢驗(T、F、卡方、方差齊性、正態(tài)性、信效度等檢驗)、多元統(tǒng)計分析(因子、聚類、判別、偏相關(guān)等)和一些常用的計量分析(初、中級計量教科書里提到的計量分析基本都能實現(xiàn)),對于復雜的、前沿的計量分析無能為力;
第三,SPSS主要用于 分析截面數(shù)據(jù),在時序和面板數(shù)據(jù)處理方面功能了了;
最后,SPSS兼容菜單化和編程化操作,是名副其實的傻瓜軟件。
STATA 與EVIEWS都是我偏好的計量軟件。前者完全編程化操作,后者兼容菜單化和編程化操作;雖然兩款軟件都能做簡單的描述統(tǒng)計,但是較之 SPSS差了許多;STATA與EVIEWS都是計量軟件,高級的計量分析能夠在這兩個軟件里得到實現(xiàn);STATA的擴展性較好,我們可以上網(wǎng)找自己需要 的命令文件(.ado文件),不斷擴展其應用,但EVIEWS就只能等著軟件升級了;另外,對于時序數(shù)據(jù)的處理,EVIEWS較強。
綜上,各款軟件有自己的強項和弱項,用什么軟件取決于數(shù)據(jù)本身的屬性及分析方法。EXCEL適用于處理小樣本數(shù)據(jù),SPSS、 STATA、EVIEWS可以處理較大的樣本;EXCEL、SPSS適合做數(shù)據(jù)清洗、新變量計算等分析前準備性工作,而STATA、EVIEWS在這方面 較差;制圖制表用EXCEL;對截面數(shù)據(jù)進行統(tǒng)計分析用SPSS,簡單的計量分析SPSS、STATA、EVIEWS可以實現(xiàn),高級的計量分析用 STATA、EVIEWS,時序分析用EVIEWS。
關(guān)于因果性
做統(tǒng)計或計量,我認為最難也最頭疼的就是進行因果性判斷。假如你有A、B兩個變量的數(shù)據(jù),你怎么知道哪個變量是因(自變量),哪個變量是果(因變量)?
早期,人們通過觀察原因和結(jié)果之間的表面聯(lián)系進行因果推論,比如恒常會合、時間順序。但是,人們漸漸認識到多次的共同出現(xiàn)和共同缺失可能是因果關(guān)系,也可能是由共同的原因或其他因素造成的。從歸納法的角度來說,如果在有A的情形下出現(xiàn)B,沒有A的情形下就沒有B,那么A很可能是B的原因,但也可能 是其他未能預料到的因素在起作用,所以,在進行因果判斷時應對大量的事例進行比較,以便提高判斷的可靠性。
有兩種解決因果問題的方案:統(tǒng)計的解決方案和科學的解決方案。統(tǒng)計的解決方案主要指運用統(tǒng)計和計量回歸的方法對微觀數(shù)據(jù)進行分析,比較受干預樣本與未接受干預樣本在效果指標(因變量)上的差異。需要強調(diào)的是,利用截面數(shù)據(jù)進行統(tǒng)計分析,不論是進行均值比較、頻數(shù)分析,還是方差分析、相關(guān)分析,其結(jié)果 只是干預與影響效果之間因果關(guān)系成立的必要條件而非充分條件。類似的,利用截面數(shù)據(jù)進行計量回歸,所能得到的最多也只是變量間的數(shù)量關(guān)系;計量模型中哪個變量為因變量哪個變量為自變量,完全出于分析者根據(jù)其他考慮進行的預設(shè),與計量分析結(jié)果沒有關(guān)系??傊貧w并不意味著因果關(guān)系的成立,因果關(guān)系的判定或 推斷必須依據(jù)經(jīng)過實踐檢驗的相關(guān)理論。雖然利用截面數(shù)據(jù)進行因果判斷顯得勉強,但如果研究者掌握了時間序列數(shù)據(jù),因果判斷仍有可為,其中最經(jīng)典的方法就是進行格蘭杰因果關(guān)系檢驗。但格蘭杰因果關(guān)系檢驗的結(jié)論也只是統(tǒng)計意義上的因果性,而不一定是真正的因果關(guān)系,況且格蘭杰因果關(guān)系檢驗對數(shù)據(jù)的要求較高 (多期時序數(shù)據(jù)),因此該方法對截面數(shù)據(jù)無能為力。綜上所述,統(tǒng)計、計量分析的結(jié)果可以作為真正的因果關(guān)系的一種支持,但不能作為肯定或否定因果關(guān)系的最終根據(jù)。
科學的解決方案主要指實驗法,包括隨機分組實驗和準實驗。以實驗的方法對干預的效果進行評估,可以對除干預外的其他影響因素加以控制,從而將干預實施后的效果歸因為干預本身,這就解決了因果性的確認問題。
關(guān)于實驗
在隨機實驗中,樣本被隨機分成兩組,一組經(jīng)歷處理條件(進入干預組),另一組接受控制條件(進入對照組),然后比較兩組樣本的效果指標均值是否有差異。隨機分組使得兩組樣本同質(zhì),即分組、干預與樣本的所有自身屬性相互獨立,從而可以通過干預結(jié)束時兩個群體在效果指標上的差異來考察實驗處 理的凈效應。隨機實驗設(shè)計方法能夠在最大程度上保證干預組與對照組的相似性,得出的研究結(jié)論更具可靠性,更具說服力。但是這種方法也是備受爭議的
一是因為它實施難度較大、成本較高;
二是因為在干預的影響評估中,接受干預與否通常并不是隨機發(fā)生的;
第三,在社會科學研究領(lǐng)域,完全隨機分配實驗對象的做法會 涉及到研究倫理和道德問題。
鑒于上述原因,利用非隨機數(shù)據(jù)進行的準實驗設(shè)計是一個可供選擇的替代方法。準實驗與隨機實驗區(qū)分的標準是前者沒有隨機分配樣本。
通過準實驗對干預的影響效果進行評估,由于樣本接受干預與否并不是隨機發(fā)生的,而是人為選擇的,因此對于非隨機數(shù)據(jù),不能簡單的認為效果指標的差異來源于干預。在剔除干預因素后,干預組和對照組的本身還可能存在著一些影響效果指標的因素,這些因素對效果指標的作用有可能同干預對效果指標的作用相混 淆。為了解決這個問題,可以運用統(tǒng)計或計量的方法對除干預因素外的其他可能的影響因素進行控制,或運用匹配的方法調(diào)整樣本屬性的不平衡性在對照組中尋找一個除了干預因素不同之外,其他因素與干預組樣本相同的對照樣本與之配對這可以保證這些影響因素和分組安排獨立。
隨機實驗需要至少兩期的面板數(shù)據(jù),并且要求樣本在干預組和對照組隨機分布,分析方法就是DID(倍差法,或曰雙重差分法);準實驗分析用截面數(shù)據(jù)就 能做,不要求樣本在干預組和對照組隨機分布,分析方法包括DID(需兩期的面板數(shù)據(jù))、PSM(傾向性得分匹配法,需一期的截面數(shù)據(jù))和PSM- DID(需兩期的面板數(shù)據(jù))。從準確度角度來說,隨機實驗的準確度高于準實驗和非實驗分析。
關(guān)于分析工具的選擇
如果根據(jù)理論或邏輯已經(jīng)預設(shè)了變量間的因果關(guān)系,那么就無需使用實驗方法。我對非實驗數(shù)據(jù)分析工具的選擇原則如下。
① 因變量為連續(xù)變量,自變量至少有一個連續(xù)變量,進行多元線性回歸;
② 因變量為連續(xù)變量,自變量全部為分類變量,進行方差分析;
③ 因變量為分類變量,自變量至少有一個連續(xù)變量,使用Logit模型或Probit模型;
④ 因變量為分類變量,自變量全部為分類變量,進行交叉表分析和卡方檢驗;
⑤ 因變量在某個閉區(qū)間內(nèi)分布,并且有較多樣本落在閉區(qū)間的邊界上,使用Tobit模型
⑥ 因變量不唯一,如多產(chǎn)出問題,進行數(shù)據(jù)包絡(luò)分析(DEA);
⑦ 因變量為整數(shù)、數(shù)值小、取零個數(shù)較多,使用計數(shù)(Count)模型;
⑧ 數(shù)據(jù)具有層次結(jié)構(gòu)(嵌套結(jié)構(gòu)),使用多層線性模型(HLM)。
隨著統(tǒng)計和計量經(jīng)濟學的發(fā)展,各種前沿分析工具層出不窮,但我認為最靠譜的分析工具不外乎以下四種:DID(針對隨機實驗),多元線性回歸,固定效 應變截距模型(FE,針對面板數(shù)據(jù)),Logit模型或Probit模型(針對分類因變量數(shù)據(jù))。
其他方法或適用條件苛刻,或分析過程折騰,或方法本身不可靠(尤其是聚類分析、判別分析,超級不靠譜),因此能用以上四種方法分析問題時,不必為炫方法而瞎折騰。
關(guān)于擬合優(yōu)度、變量選擇原則及估計值絕對大小的意義
在人人的數(shù)據(jù)分析小站中,某同學提出這樣一個問題:多元回歸分析中,怎么選擇自變量和因變量,可以使R方達到80%以上?
很顯然,問這個問題的同學要么沒學好計量,要么就是犯了功利主義的錯誤,或者二者皆有。擬合優(yōu)度的大小很大程度上取決于數(shù)據(jù)本身的性質(zhì)。如果數(shù)據(jù)是時序數(shù)據(jù),只要拿有點相關(guān)關(guān)系的變量進行回歸就能使擬合優(yōu)度達到80%以上,但這樣的高R方根本說明不了什么,很可能使分析者陷入偽回歸的陷阱,嚴謹?shù)淖?法當然是做平穩(wěn)性檢驗和協(xié)整檢驗;如果是截面數(shù)據(jù),根本沒必要追求R方到80%的程度,一般來說,有個20%、30%就非常大了。
如果一定要增大R方,那么最應該做的的確是對納入模型的變量進行選擇。選擇納入模型的原則我認為有三條。
第一,從理論和邏輯出發(fā),將可能影響因變量的變量作為自變量納入模型,即理論上或邏輯上能影響因變量的自變量必須納入模型,即使該自變量的回歸系數(shù)不顯著。
第二,奧姆剃刀原則如無必要,勿增實體,即理論上或邏輯上不能影響因變量的自變量不能納入模型,即使該自變量的回歸系數(shù)顯著。
第三,防止納入具有多重共線性的自變量。
前面說了,對截面數(shù)據(jù)進行計量分析,R方能達到20%、30%是非常了不起的事情。但是,如果擬合優(yōu)度(或類似擬合優(yōu)度的指標)在20%、30%或 更低時,回歸系數(shù)只具有定性或定序上的意義,強調(diào)其絕對數(shù)值的大小沒什么意義。譬如lnY=alnA+blnB++zlnZ+c回歸的R方為20%,a 為0.375,b為0.224,且二者的T檢驗顯著,那么我們可以說,A、B對Y有影響,也可以說一百分點的A變化對Y的影響大于一百分點的B變化對Y的 影響(控制其他因素的情況下),但說一百分點的A變化對Y的影響較一百分點的B變化對Y的影響大0.151%,就沒什么意義了。
其他一些建議或忠告
用心思考變量間的因果關(guān)系:是A影響了B還是B影響了A?A、B之間是否真的有因果關(guān)系?是否存在C,使C既影響A又影響B(tài),而A、B本身無直接關(guān)系?
仔細選擇自變量,不要遺漏重要變量,否則會造成內(nèi)生性問題。如果遇上了內(nèi)生性問題,先不要忙著尋找工具變量或使用2SLS,尋找被遺漏的變量才是最 重要的事情。如果被遺漏的變量即使找到卻囿于各種困難無法納入分析,而你又忽然想到了一個絕佳的工具變量,那么恭喜你,你可以在核心期刊發(fā)文章了!
一定要控制其他可能對因變量產(chǎn)生影響的因素,并認識到對回歸系數(shù)和偏相關(guān)分析結(jié)果的解釋都是建立在其他條件不變的情況之下。
看到R方很大時不要忙著高興,如果F檢驗顯著而T檢驗不顯著,很可能存在多重共線性。看到t值很大時,也不要忙著高興,因為這很可能是偽回歸的產(chǎn)物;如果此時DW值很小(小于0.5),那么偽回歸的可能性進一步變大。
均值比較雖然簡單卻考驗分析者的嚴謹性。兩個看似不同的平均數(shù)、中位數(shù)或比率是否意味著高下有別?樣本取自獨立總體還是相關(guān)總體?方差齊或不齊?比較的是平均數(shù)、中位數(shù)還是比率差異?
樣本量限制了所能做的分析,小樣本時請珍惜自由度;不要用小于30個樣本的數(shù)據(jù)進行計量分析(尤其是時序分析)和復雜的統(tǒng)計分析;不要以為能從小于或等于5期的數(shù)據(jù)中看出什么發(fā)展趨勢;不要沒有依據(jù)的使用復雜的模型和分析方法;不要將一目了然的簡單問題故意復雜化。
最重要的,不要造假!不對數(shù)據(jù)本身造假,也不對分析結(jié)果造假!數(shù)據(jù)分析前可以進行一定的清洗,將奇異值去掉,也可以嘗試對未預料到的分析結(jié)果進行探討和解釋,但如果去改數(shù)據(jù)改分析結(jié)果,那還有什么必要進行數(shù)據(jù)分析呢?直接編文章編報告不就得了?某些詭異的、不合常理的數(shù)據(jù)分析結(jié)果,很可能就是研究最重要的所得。
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
LSTM 模型輸入長度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03