99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁大數(shù)據(jù)時代時序數(shù)據(jù)處理難題攻略(上)
時序數(shù)據(jù)處理難題攻略(上)
2020-11-10
收藏

作者:計量與統(tǒng)計

來源:公眾號計量與統(tǒng)計

時間序列分析是根據(jù)系統(tǒng)觀測得到的時間序列數(shù)據(jù),通過曲線擬合和參數(shù)估計來建立數(shù)學(xué)模型的理論和方法。它一般采用曲線擬合和參數(shù)估計方法(如非線性最小二乘法)進行。

一個時間序列通常由 4 種要素組成:趨勢、季節(jié)變動、循環(huán)波動和不規(guī)則波動。辨識合適的隨機模型,進行曲線擬合,即用通用隨機模型去擬合時間序列的觀測數(shù)據(jù)。對于短的或簡單的時間序列,可用趨勢模型和季節(jié)模型加上誤差來進行擬合。

對于平穩(wěn)時間序列,可用通用 ARMA 模型(自回歸滑動平均模型)及其特殊情況的自回歸模型、滑動平均模型或組合-ARMA 模型等來進行擬合。當(dāng)觀測值多于 50 個時一般都采用 ARMA 模型。對于非平穩(wěn)時間序列則要先將觀測到的時間序列進行差分運算,化為平穩(wěn)時間序列,再用適當(dāng)模型去擬合這個差分序列。

面板數(shù)據(jù),即 Panel Data,也叫“平行數(shù)據(jù)”,是指在時間序列上取多個截面,在這些截面上同時選取樣本觀測值所構(gòu)成的樣本數(shù)據(jù)。面板數(shù)據(jù)分析方法是最近幾十年來發(fā)展起來的新的統(tǒng)計方法,面板數(shù)據(jù)可以克服時間序列分析受多重共線性的困擾,能夠提供更多的信息、更多的變化、更少共線性、更多的自由度和更高的估計效率,而面板數(shù)據(jù)的單位根檢驗和協(xié)整分析是當(dāng)前最前沿的領(lǐng)域之一。

我們將分兩期,從時間序列數(shù)據(jù)與面板數(shù)據(jù)分析兩個方面入手,從數(shù)據(jù)檢驗(平穩(wěn)性檢驗、模型滯后期、協(xié)整檢驗、格蘭杰檢驗)、數(shù)據(jù)模型(VAR 模型、VEC 模型、脈沖響應(yīng)函數(shù)等)、平衡與非平衡面板出發(fā),進行比較和探究。

平穩(wěn)性問題匯總

Q1:最重要最基礎(chǔ)的!什么是面板數(shù)據(jù)?

面板數(shù)據(jù),即 Panel Data,是截面數(shù)據(jù)與時間序列數(shù)據(jù)綜合起來的一種數(shù)據(jù)類型。其有時間序列和截面兩個維度,當(dāng)這類數(shù)據(jù)按兩個維度排列時,是排在一個平面上,與只有一個維度的數(shù)據(jù)排在一條線上有著明顯的不同,整個表格像是一個面板,所以把 panel data 譯作“面板數(shù)據(jù)”。

但是,如果從其內(nèi)在含義上講,把 panel data 譯為“時間序列—截面數(shù)據(jù)” 更能揭示這類數(shù)據(jù)的本質(zhì)上的特點。也有譯作“平行數(shù)據(jù)”或“TS-CS 數(shù)據(jù)(Time Series - Cross Section)”。

如:城市名:北京、上海、重慶、天津的 GDP 分別為 10、11、9、8(單位億元)。這就是截面數(shù)據(jù),在一個時間點處切開,看各個城市的不同就是截面數(shù)據(jù)。

如:2000、2001、2002、2003、2004 各年的北京市 GDP 分別為 8、9、10、11、12(單位億元)。這就是時間序列,選一個城市,看各個樣本時間點的不同就是時間序列。

如:2000、2001、2002、2003、2004 各年中國所有直轄市的 GDP 分別為:

北京市分別為 8、9、10、11、12;

上海市分別為 9、10、11、12、13;

天津市分別為 5、6、7、8、9;

重慶市分別為 7、8、9、10、11(單位億元),這就是面板數(shù)據(jù)。

Q2:balanced 和 unbalanced 面板數(shù)據(jù)到底有什么區(qū)別?

“平衡的意思是,如果按截面成員堆積數(shù)據(jù),每個截面成員應(yīng)包括正好相同的時期;如果按日期堆積數(shù)據(jù),每個日期應(yīng)包含相同數(shù)量的截面成員觀測值,并按相同順序排列。特別要指出的是,基礎(chǔ)數(shù)據(jù)并不一定是平衡的,只要在輸入文件中有表示即可。如果觀測值中有缺失數(shù)據(jù),一定要保證文件中給這些缺失值留有位置?!?nbsp;

                                                         ——from 高鐵梅

Q3:何為平穩(wěn)性檢驗?

說到平穩(wěn),其實有兩種平穩(wěn)——寬平穩(wěn)、嚴(yán)平穩(wěn)。

嚴(yán)平穩(wěn)相較于寬平穩(wěn)來說,條件更多更嚴(yán)格,而我們時常運用的時間序列,大多寬平穩(wěn)就夠了。

?什么是嚴(yán)平穩(wěn):是在固定時間和位置的概率分布與所有時間和位置的概率分布相同的隨機過程。這樣,數(shù)學(xué)期望和方差這些參數(shù)也不隨時間和位置變化。(比如白噪聲)

?什么是寬平穩(wěn):寬平穩(wěn)是使用序列的特征統(tǒng)計量來定義的一種平穩(wěn)性。它認(rèn)為序列的統(tǒng)計性質(zhì)主要由它的低階矩決定,所以只要保證序列低階矩平穩(wěn)(二階),就能保證序列的主要性質(zhì)近似穩(wěn)定。

兩者關(guān)系

?一般關(guān)系:嚴(yán)平穩(wěn)條件比寬平穩(wěn)條件苛刻,通常情況下,嚴(yán)平穩(wěn)(低階矩存在)能推出寬平穩(wěn)成立,而寬平穩(wěn)序列不能反推嚴(yán)平穩(wěn)成立。

?特例:不存在低階矩的嚴(yán)平穩(wěn)序列不滿足寬平穩(wěn)條件,例如服從柯西分布的嚴(yán)平穩(wěn)序列就不是寬平穩(wěn)序列。當(dāng)序列服從多元正態(tài)分布時,寬平穩(wěn)可以推出嚴(yán)平穩(wěn)。

Q4:如何進行平穩(wěn)性檢驗?

檢查序列平穩(wěn)性的標(biāo)準(zhǔn)方法是單位根檢驗。有 6 種單位根檢驗方法:ADF 檢驗、DFGLS檢驗、PP 檢驗、KPSS 檢驗、ERS 檢驗和 NP 檢驗,本節(jié)將介紹 DF 檢驗、ADF 檢驗。

ADF 檢驗和 PP 檢驗方法出現(xiàn)的比較早,在實際應(yīng)用中較為常見,但是,由于這 2 種方法均需要對被檢驗序列作可能包含常數(shù)項和趨勢變量項的假設(shè),因此,應(yīng)用起來帶有一定的不便;其它幾種方法克服了前 2 種方法帶來的不便,在剔除原序列趨勢的基礎(chǔ)上,構(gòu)造統(tǒng)計量檢驗序列是否存在單位根,應(yīng)用起來較為方便。

ADF 檢驗是在 Dickey-Fuller 檢驗(DF 檢驗)基礎(chǔ)上發(fā)展而來的。因為 DF 檢驗只有當(dāng)序列為 AR(1)時才有效。如果序列存在高階滯后相關(guān),這就違背了擾動項是獨立同分布的假設(shè)。在這種情況下,可以使用增廣的 DF 檢驗方法(augmented Dickey-Fuller test )來檢驗含有高階序列相關(guān)的序列的單位根。

tips:

在進行 ADF 檢驗時,必須注意以下兩個實際問題:

(1)必須為回歸定義合理的滯后階數(shù),通常采用 AIC 準(zhǔn)則來確定給定時間序列模型的滯后階數(shù)。在實際應(yīng)用中,還需要兼顧其他的因素,如系統(tǒng)的穩(wěn)定性、模型的擬合優(yōu)度等。

(2)可以選擇常數(shù)和線性時間趨勢,選擇哪種形式很重要,因為檢驗顯著性水平的 t 統(tǒng)計量在原假設(shè)下的漸近分布依賴于關(guān)于這些項的定義。

Q5:如果序列平穩(wěn)了,那怎么看定階???

AR 模型:自相關(guān)系數(shù)拖尾,偏自相關(guān)系數(shù)截尾;

MA 模型:自相關(guān)系數(shù)截尾,偏自相關(guān)函數(shù)拖尾;

ARMA 模型:自相關(guān)函數(shù)和偏自相關(guān)函數(shù)均拖尾。

P、Q的選擇主要看從第幾期開始快速收斂。

Q6:如何制定滯后數(shù)呢?

先找出最小的 AIC 和 SIC(不是絕對值),在此基礎(chǔ)上看 ADF 檢驗是否通過,即判斷是否是平穩(wěn)序列。

補充一下關(guān)于 AIC 的信息:

AIC 信息準(zhǔn)則:是衡量統(tǒng)計模型擬合優(yōu)良性的一種標(biāo)準(zhǔn),由于它為日本統(tǒng)計學(xué)家赤池弘次創(chuàng)立和發(fā)展的,因此又稱赤池信息量準(zhǔn)則。它建立在熵的概念基礎(chǔ)上,可以權(quán)衡所估計模型的復(fù)雜度和此模型擬合數(shù)據(jù)的優(yōu)良性。

在一般的情況下,AIC 可以表示為:AIC=2k-2ln(L)其中:k 是參數(shù)的數(shù)量,L 是似然函數(shù)。假設(shè)條件是模型的誤差服從獨立正態(tài)分布。讓 n 為觀察數(shù),RSS 為剩余平方和,那么 AIC變?yōu)椋篈IC=2k+nln(RSS/n)增加自由參數(shù)的數(shù)目提高了擬合的優(yōu)良性,AIC 鼓勵數(shù)據(jù)擬合的優(yōu)良性但是盡量避免出現(xiàn)過度擬合(Overfitting)的情況。所以優(yōu)先考慮的模型應(yīng)是 AIC 值最小的那一個。赤池信息準(zhǔn)則的方法是尋找可以最好地解釋數(shù)據(jù)但包含最少自由參數(shù)的模型。

Q7:ADF 檢驗和協(xié)整檢驗是什么關(guān)系?

先做單位根檢驗,看變量序列是否平穩(wěn)序列,若平穩(wěn),可構(gòu)造回歸模型等經(jīng)典計量經(jīng)濟學(xué)模型;若非平穩(wěn),進行差分,當(dāng)進行到第 i 次差分時序列平穩(wěn),則服從 i 階單整(注意趨勢、截距不同情況選擇,根據(jù) P 值和原假設(shè)判定)。

若所有檢驗序列均服從同階單整,可構(gòu)造 VAR 模型,做協(xié)整檢驗(注意滯后期的選擇),判斷模型內(nèi)部變量間是否存在協(xié)整關(guān)系,即是否存在長期均衡關(guān)系。如果有,則可以構(gòu)造 VEC 模型或者進行 Granger 因果檢驗,檢驗變量之間“誰引起誰變化”,即因果關(guān)系。

單位根檢驗是序列的平穩(wěn)性檢驗,如果不檢驗序列的平穩(wěn)性直接 OLS 容易導(dǎo)致偽回歸。當(dāng)檢驗的數(shù)據(jù)是非平穩(wěn)(即存在單位根),并且各個序列是同階單整(協(xié)整檢驗的前提),想進一步確定變量之間是否存在協(xié)整關(guān)系,可以進行協(xié)整檢驗,協(xié)整檢驗主要有 EG 兩步法和 JJ 檢驗 。


——熱門課程推薦:

想學(xué)習(xí)PYTHON數(shù)據(jù)分析與金融數(shù)字化轉(zhuǎn)型精英訓(xùn)練營,您可以點擊>>>“人才轉(zhuǎn)型”了解課程詳情;

想從事業(yè)務(wù)型數(shù)據(jù)分析師,您可以點擊>>>“數(shù)據(jù)分析師”了解課程詳情;

想從事大數(shù)據(jù)分析師,您可以點擊>>>“大數(shù)據(jù)就業(yè)”了解課程詳情;

想成為人工智能工程師,您可以點擊>>>“人工智能就業(yè)”了解課程詳情;

想了解Python數(shù)據(jù)分析,您可以點擊>>>“Python數(shù)據(jù)分析師”了解課程詳情;

想咨詢互聯(lián)網(wǎng)運營,你可以點擊>>>“互聯(lián)網(wǎng)運營就業(yè)班”了解課程詳情; 

想了解更多優(yōu)質(zhì)課程,請點擊>>>

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }