
SPSS缺失值得分析處理
在資料收集的過程中,由于各種原因可能導(dǎo)致數(shù)據(jù)收集不全,就會(huì)產(chǎn)生缺失值,且這種情況往往無(wú)法避免。如果缺失值處理不當(dāng),就會(huì)導(dǎo)致分析結(jié)果精度降低,出現(xiàn)偏倚甚至是錯(cuò)誤的理論,因此缺失值的分析顯得尤為重要。數(shù)據(jù)的缺失經(jīng)常會(huì)存在著一定的規(guī)律,為了認(rèn)識(shí)和研究缺失數(shù)據(jù),按照數(shù)據(jù)缺失形式,我們常將其分為單元缺失與項(xiàng)目缺失兩種。
(1)單元缺失:只針對(duì)需調(diào)查的個(gè)案進(jìn)行調(diào)查而沒有得到個(gè)案信息。如對(duì)整個(gè)班級(jí)進(jìn)行調(diào)查,發(fā)放60分調(diào)查表,部分調(diào)查對(duì)象未交回調(diào)查表導(dǎo)致的資料缺失。這種缺失在數(shù)據(jù)分析階段常常無(wú)能為力。
(2)項(xiàng)目缺失:指在調(diào)查內(nèi)容中某些變量的觀測(cè)結(jié)果有缺失。如對(duì)整個(gè)班級(jí)進(jìn)行調(diào)查后,收回的調(diào)查表中,部分女生因?yàn)椤氨C堋倍刺顚戵w重一項(xiàng),造成資料缺失。
無(wú)論缺失數(shù)據(jù)的形式是單元缺失還是項(xiàng)目缺失,從缺失機(jī)制與方式上又可將其分為完全隨機(jī)缺失、隨機(jī)缺失與非隨機(jī)缺失。
(1)完全隨機(jī)缺失(Missing Completely at Random,MCAR)指已評(píng)價(jià)的結(jié)果或即將要進(jìn)行的評(píng)價(jià)結(jié)果中,研究對(duì)象的缺失率是獨(dú)立的。即缺失現(xiàn)象完全隨機(jī)發(fā)生,與自身或其他變量取值無(wú)關(guān)。如調(diào)查進(jìn)行中,因被調(diào)查對(duì)象接到電話,或緊急事件馬上離開,調(diào)查無(wú)完成導(dǎo)致缺失。
(2)隨機(jī)缺失(Missing at Random,MAR)指缺失數(shù)據(jù)的發(fā)生與數(shù)據(jù)庫(kù)中其他無(wú)缺失變量的取值有關(guān)。某一觀察值缺失的概率僅依賴已有的觀察結(jié)果。比如,研究某新藥對(duì)高血壓患者的療效,但一些血壓過高的患者,根據(jù)納入標(biāo)準(zhǔn)予以排除。MAR是最常見的缺失機(jī)制。
(3)非隨機(jī)缺失(MIssing Not at Random,MNAR)指數(shù)據(jù)的缺失不僅與其他變量的取值有關(guān),缺失率與缺失數(shù)據(jù)有關(guān),也和自身有關(guān)。這種缺失大都不是偶然因素所造成的,常常是不可忽略的,比如在調(diào)查收入時(shí),收入高的人出于各種原因不愿意提供家庭年收入值。對(duì)于MNAR此種缺失機(jī)制,目前尚無(wú)特別有效的方法能進(jìn)行處理。
識(shí)別缺失數(shù)據(jù)的產(chǎn)生機(jī)制是極其重要的,首先這涉及到代表性問題,從統(tǒng)計(jì)上說,非隨機(jī)缺失的數(shù)據(jù)會(huì)產(chǎn)生偏估計(jì),因此不能很好地代表總體。其次,它決定數(shù)據(jù)插補(bǔ)方法的選擇。隨機(jī)缺失數(shù)據(jù)處理相對(duì)比較簡(jiǎn)單,但非隨機(jī)缺失數(shù)據(jù)處理比較困難,原因在于偏差的程度難以把握。
面對(duì)不同的數(shù)據(jù)缺失情況,那我們?cè)撊绾翁幚砟??大致上我們把處理方法歸為以下幾類。
1、刪除缺失值
最常見、最簡(jiǎn)單的處理缺失數(shù)據(jù)的方法,使用這種方法時(shí),如果任何個(gè)案在某一變量含有缺失數(shù)據(jù)的話,就把相對(duì)應(yīng)的個(gè)案從分析中剔除。如果缺失值所占比例較小 的話,這一方法十分有效。然而,這種方法卻有很大的局限性,它是以減少樣本量來(lái)?yè)Q取信息的完備,會(huì)造成資源的大量浪費(fèi),丟棄了大量隱藏在這些對(duì)象中的信息。
2、缺失值代替
即“轉(zhuǎn)換”選項(xiàng)卡中“替換缺失值”菜單過程。此過程將所有的記錄看成一個(gè)序列,然后采用某種指標(biāo)對(duì)缺失值進(jìn)行填充,它實(shí)際上專門用于解決時(shí)間序列模型中的缺失值問題。雖然其中的一些填充方法也可以用于普通數(shù)據(jù),但相比之下,如果在序列數(shù)據(jù)中使用該過程可能得不償失,應(yīng)當(dāng)謹(jǐn)慎使用。常用的填充方式由算術(shù)均數(shù)、缺失值鄰近點(diǎn)的算術(shù)均數(shù)、中位數(shù)以及線性插入等。
3、缺失值分析
此過程是SPSS專門針對(duì)缺失值分析而提供的模塊,他提供了對(duì)缺失值問題全面而強(qiáng)大的分析能力,主要功能有以下3種:
(1)缺失值的描述和快速診斷:用靈活的診斷報(bào)告來(lái)評(píng)估缺失值問題的嚴(yán)重性,用戶可以觀察到它們?cè)谀男┳兞恐谐霈F(xiàn),比例為多少,是否與其他變量取值有關(guān),從而得知這些缺失值出現(xiàn)是否會(huì)影響分析結(jié)論。
(2)得到更精確的統(tǒng)計(jì)量:提供了多種方法用于估計(jì)含缺失值數(shù)據(jù)的均值、相關(guān)矩陣或協(xié)方差矩陣,通過這些方法計(jì)算出的統(tǒng)計(jì)量將更加可靠。
(3)用估計(jì)值替換缺失值:使用EM或回歸法,用戶可以從未缺失數(shù)據(jù)的分布情況中推算出缺失數(shù)據(jù)的估計(jì)值,從而能有效地使用所有數(shù)據(jù)進(jìn)行分析,來(lái)提高統(tǒng)計(jì)結(jié)果的可信度。
在前述的3種缺失機(jī)制中,非隨機(jī)缺失很難得到有效的統(tǒng)計(jì)學(xué)處理,SPSS的缺失值分析模塊主要是對(duì)MCAR和MAR的情形進(jìn)行分析,尤其是后者。
數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼
若不方便掃碼,搜微信號(hào):CDAshujufenxi
LSTM 模型輸入長(zhǎng)度選擇技巧:提升序列建模效能的關(guān)鍵? 在循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)家族中,長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)憑借其解決長(zhǎng)序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報(bào)考條件詳解與準(zhǔn)備指南? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代浪潮下,CDA 數(shù)據(jù)分析師認(rèn)證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計(jì)的實(shí)用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強(qiáng)大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠(chéng)摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實(shí)施重大更新。 此次更新旨在確保認(rèn) ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務(wù)的價(jià)值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡(jiǎn)稱 BI)深度融合的時(shí)代,BI ...
2025-07-10SQL 在預(yù)測(cè)分析中的應(yīng)用:從數(shù)據(jù)查詢到趨勢(shì)預(yù)判? ? 在數(shù)據(jù)驅(qū)動(dòng)決策的時(shí)代,預(yù)測(cè)分析作為挖掘數(shù)據(jù)潛在價(jià)值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價(jià)值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點(diǎn),而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報(bào)考到取證的全攻略? 在數(shù)字經(jīng)濟(jì)蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭(zhēng)搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢(shì)性檢驗(yàn):捕捉數(shù)據(jù)背后的時(shí)間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢(shì)性檢驗(yàn)如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時(shí)間維度的精準(zhǔn)切片? ? 在數(shù)據(jù)的世界里,時(shí)間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準(zhǔn) ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應(yīng)用與實(shí)戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認(rèn)證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗(yàn):數(shù)據(jù)趨勢(shì)與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領(lǐng)域中,準(zhǔn)確捕捉數(shù)據(jù)的趨勢(shì)變化以及識(shí)別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認(rèn)證作為國(guó)內(nèi)權(quán)威的數(shù)據(jù)分析能力認(rèn)證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應(yīng)對(duì)策略? 長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的一種變體,憑借獨(dú)特的門控機(jī)制,在 ...
2025-07-07統(tǒng)計(jì)學(xué)方法在市場(chǎng)調(diào)研數(shù)據(jù)中的深度應(yīng)用? 市場(chǎng)調(diào)研是企業(yè)洞察市場(chǎng)動(dòng)態(tài)、了解消費(fèi)者需求的重要途徑,而統(tǒng)計(jì)學(xué)方法則是市場(chǎng)調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當(dāng)下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動(dòng)力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07剖析 CDA 數(shù)據(jù)分析師考試題型:解鎖高效備考與答題策略? CDA(Certified Data Analyst)數(shù)據(jù)分析師考試作為衡量數(shù)據(jù)專業(yè)能力的 ...
2025-07-04SQL Server 字符串截取轉(zhuǎn)日期:解鎖數(shù)據(jù)處理的關(guān)鍵技能? 在數(shù)據(jù)處理與分析工作中,數(shù)據(jù)格式的規(guī)范性是保證后續(xù)分析準(zhǔn)確性的基礎(chǔ) ...
2025-07-04CDA 數(shù)據(jù)分析師視角:從數(shù)據(jù)迷霧中探尋商業(yè)真相? 在數(shù)字化浪潮席卷全球的今天,數(shù)據(jù)已成為企業(yè)決策的核心驅(qū)動(dòng)力,CDA(Certifie ...
2025-07-04CDA 數(shù)據(jù)分析師:開啟數(shù)據(jù)職業(yè)發(fā)展新征程? ? 在數(shù)據(jù)成為核心生產(chǎn)要素的今天,數(shù)據(jù)分析師的職業(yè)價(jià)值愈發(fā)凸顯。CDA(Certified D ...
2025-07-03