前不久,經(jīng)管之家邀請(qǐng)到了吉林大學(xué)數(shù)據(jù)學(xué)院概率統(tǒng)計(jì)系教授朱復(fù)康博士參與了論壇的線上互動(dòng)問答,與廣大壇友就
時(shí)間序列分析、保險(xiǎn)精算等內(nèi)容進(jìn)行了交流,小編將問答內(nèi)容整理如下,以饗讀者。
本期嘉賓
朱復(fù)康博士,吉林大學(xué)數(shù)學(xué)學(xué)院概率統(tǒng)計(jì)系教授,研究方向?yàn)闀r(shí)間序列分析、保險(xiǎn)精算,主要教授時(shí)間序列分析、多元統(tǒng)計(jì)分析與線性模型、統(tǒng)計(jì)軟件、概率統(tǒng)計(jì)、數(shù)理統(tǒng)計(jì)、多元統(tǒng)計(jì)分析、統(tǒng)計(jì)基礎(chǔ)等研究生和本科課程,新加坡南洋理工大學(xué)訪問學(xué)者, 美國(guó)佐治亞理工學(xué)院博士后,現(xiàn)兼任吉林省工業(yè)與應(yīng)用數(shù)學(xué)學(xué)會(huì)理事,中國(guó)現(xiàn)場(chǎng)統(tǒng)計(jì)研究會(huì)高維數(shù)據(jù)統(tǒng)計(jì)分會(huì)理事,19個(gè)英文SCI雜志審稿人,Wiley出版社書稿評(píng)審人,德國(guó)洪堡基金推薦人等職。
問答匯總
壇友lzguo568:
朱復(fù)康老師,我平時(shí)喜歡學(xué)習(xí)有關(guān)統(tǒng)計(jì)方面知識(shí),也看一些有關(guān)時(shí)間序列分析、多元統(tǒng)計(jì)分析與線性模型的書籍,對(duì)統(tǒng)計(jì)軟件SPSS和R及Python也熟悉。但在實(shí)際統(tǒng)計(jì)工作中好像這些知識(shí)極少用到,一元線性回歸用過幾次,預(yù)測(cè)一下十三五期間每年供水總量。我在自來(lái)水集團(tuán)公司做營(yíng)銷管理工作,請(qǐng)老師講幾個(gè)有關(guān)多遠(yuǎn)統(tǒng)計(jì)分析在自來(lái)水行業(yè)應(yīng)用實(shí)例,拓寬一下我工作的視野及思路。謝謝!?。?/span>
另外我在給排水雜志上看到一篇文章,介紹利用馬爾科夫鏈進(jìn)行供水調(diào)度和管網(wǎng)管理,坦白講沒有看懂。請(qǐng)老師簡(jiǎn)單介紹一下馬爾科夫鏈。謝謝?。?!
朱復(fù)康:
1. 這樣的實(shí)例有很多,僅舉一些在中國(guó)知網(wǎng)搜索到的三個(gè)例子:白云《時(shí)間序列特性驅(qū)動(dòng)的供水量預(yù)測(cè)方法研究及應(yīng)用》,江潮《陜西省不同區(qū)域城區(qū)用水定額及需水量預(yù)測(cè)研究》,朱蘋《多元線性回歸模型在北京市用水量預(yù)測(cè)中的應(yīng)用》。
2. 馬爾可夫鏈,是指具有馬爾可夫性質(zhì)的離散事件隨機(jī)過程。該過程中,在給定當(dāng)前信息的情況下,以前的信息對(duì)于預(yù)測(cè)將來(lái)是無(wú)關(guān)的。
壇友飛天大老鼠 :
朱老師,在電力負(fù)荷預(yù)測(cè)方面用時(shí)間序列分析可行嗎,因?yàn)殡娏?shù)據(jù)受天氣人口等因素影響隨機(jī)擾動(dòng)項(xiàng)比較大,如果預(yù)測(cè)誤差比較大是應(yīng)該建立綜合評(píng)價(jià)模型還是對(duì)原時(shí)序模型進(jìn)行修正?因公司需求剛開始看時(shí)間序列這塊,請(qǐng)老師指點(diǎn)一下,謝謝!另外,課本里一個(gè)例子對(duì)隨機(jī)游動(dòng)做adf.test檢驗(yàn)p值竟然小于0.05,是因?yàn)檎`差嗎?如果在實(shí)際應(yīng)用時(shí)碰到這種問題該如何解決?
朱復(fù)康:
1. 時(shí)間序列是可以用來(lái)預(yù)測(cè)電力負(fù)荷的,這時(shí)候不能簡(jiǎn)單地采用經(jīng)典的ARMA模型,而是采用一些時(shí)間序列--回歸模型,可以參考經(jīng)典文獻(xiàn)R Engle, C.W.J. Granger, J. Rice and A. Weiss, Semi-parametric estimates of the relation between weather and electricity demand, Journal of American Statistical Association 81 (1986): 310-320或者如下網(wǎng)址:https://www.wiwi.hu-berlin.de/de ... FranziskaSchulz.pdf給出的ppt。
2. 單位根檢驗(yàn)的結(jié)果依賴于你的研究框架(是否具有常數(shù)項(xiàng)、是否具有確定時(shí)間趨勢(shì)),不能僅僅通過p值來(lái)得出結(jié)論,可以參考如下網(wǎng)頁(yè)的更多討論:https://www.researchgate.net/pos ... ficiency_in_market2
壇友zxj246:
朱老師好!請(qǐng)問對(duì)于金融交易的時(shí)間序列數(shù)據(jù)分析方法中,有沒有成功的非線性科學(xué)或者說復(fù)雜理論的一些模型?國(guó)內(nèi)有些基金和證券公司簡(jiǎn)單地采用的HURST指數(shù)用于量化擇時(shí)靠譜嗎?你的生存模型有沒有可能移植到金融交易的時(shí)間序列數(shù)據(jù)分析中,另外傳統(tǒng)的富里葉分析等技術(shù)對(duì)于金融交易的時(shí)間序列數(shù)據(jù)分析還有優(yōu)勢(shì)嗎?
朱復(fù)康:
我的《生存模型》是一門課程,講授保險(xiǎn)精算或生存分析的相關(guān)知識(shí),與你說的金融交易無(wú)關(guān)。理論研究與證券公司采用的方法是有差距的,主要原因是證券公司要求所采用的的方法一定要簡(jiǎn)單并且能夠以極快的速度算出結(jié)果。新方法如果優(yōu)勢(shì)不是特別明顯,一般很少能在實(shí)際中得到推廣。
壇友0903clili:
朱老師好!請(qǐng)問面板馬夫科夫體制轉(zhuǎn)換模型該怎么進(jìn)行估計(jì)和編程呢?
朱復(fù)康:
你可以先考慮普通的馬爾科夫體制轉(zhuǎn)換模型,這方面有現(xiàn)成的程序包,比如:
https://sites.google.com/site/ma ... ng-models-in-matlab
http://blogs.mathworks.com/pick/ ... g-models-in-matlab/
給出的Matlab程序,在Eviews中也可以,參見網(wǎng)頁(yè)
http://www.eviews.com/EViews8/ev8ecswitch_n.html
或者R程序包:https://cran.r-project.org/web/packages/MSwM/
在弄懂編程方法的基礎(chǔ)上,將現(xiàn)有程序修改使之適合面板情形。
壇友512002855:
朱老師,您好,現(xiàn)在網(wǎng)上公開可以下載的資料或者論文(知網(wǎng)等),您可以推薦兩篇關(guān)于時(shí)間序列解決實(shí)際問題的嗎?非常感謝!學(xué)習(xí)了時(shí)間序列分析,但是用的時(shí)候感覺ARIMA,ARGCH等好像很難擬合的好。
朱復(fù)康:
除了前面提到的自來(lái)水例子,你可以看看Gait Shmueli著、李洪成翻譯的《時(shí)間序列預(yù)測(cè)實(shí)踐教程》,里面有很多具體的例子。
壇友complicated:
朱老師好,我從事互聯(lián)網(wǎng)相關(guān)工作,所在部門嘗試用R語(yǔ)言時(shí)間序列包(arima,tsoutliers做過濾)做一些業(yè)績(jī)預(yù)測(cè)的事情。我們的問題是異常波動(dòng)很劇烈,很頻繁。比如收入預(yù)測(cè),經(jīng)常會(huì)受周期/力度不等的營(yíng)銷活動(dòng)的影響,一直沒有找到有效處理這些異常的方法,我看到google和twitter開發(fā)了一些異常偵測(cè)方面的包,但是他們的出發(fā)點(diǎn)跟我們的應(yīng)用場(chǎng)景好像不太一樣。希望您能指點(diǎn)一下,謝謝!
朱復(fù)康:
一般的處理方法是先進(jìn)行異常值處理,然后再用常見的模型,但這不適合數(shù)據(jù)流或者在線預(yù)測(cè)。可以O(shè)nline Outlier Detection for Data Streams為主題搜索新方法,也可以參考R幫助文檔的第七章http://cran.r-project.org/doc/contrib/Zhao_R_and_data_mining.pdf
你說的twitter不知道是不是指下面的網(wǎng)頁(yè):
https://blog.twitter.com/2015/in ... on-in-a-time-series
如果和你的出發(fā)點(diǎn)不一樣,但是可以借鑒他們的想法為你所用。
壇友HH公子:
朱老師好:探究?jī)山M金融市場(chǎng)時(shí)間序列數(shù)據(jù)的相互影響關(guān)系,用GARCH類的模型,還是用SVAR之類的模型做分析合適呢?抑或說,研究哪種相關(guān)關(guān)系適合哪種分析方法呢。謝謝。
朱復(fù)康:
多元GARCH模型和結(jié)構(gòu)向量自回歸(SVAR)模型都可以用來(lái)研究多元時(shí)間序列數(shù)據(jù),多元GARCH是允許兩組數(shù)據(jù)間有相關(guān)性,但不能很好地用來(lái)研究這種相關(guān)性,相對(duì)來(lái)說用SVAR合適,它可以捕捉模型系統(tǒng)內(nèi)各個(gè)變量之間的即時(shí)的(instantaneous)結(jié)構(gòu)性關(guān)系。
壇友hyq2003:
朱老師,你好,請(qǐng)教單位根檢驗(yàn)的問題:
1、李子奈《計(jì)量經(jīng)濟(jì)學(xué)》中是這樣講的:用ADF逐次檢驗(yàn)(1)含截距和趨勢(shì)項(xiàng)(2)含截距不含趨勢(shì)(3)不含截距和趨勢(shì)項(xiàng)
什么時(shí)候平穩(wěn)就停止檢驗(yàn),三者都不平穩(wěn)就認(rèn)為不平穩(wěn)。但是有的書上說先看時(shí)間序列的折線圖,根據(jù)折線圖的形狀選擇對(duì)應(yīng)的方程形式。
請(qǐng)問:規(guī)范的單位根檢驗(yàn)過程是怎樣的?
2、接上面問題,單位根檢驗(yàn)的滯后階數(shù)的選擇,李子奈的書上是對(duì)殘差進(jìn)行LM檢驗(yàn),以沒有自相關(guān)為標(biāo)準(zhǔn),請(qǐng)問這樣對(duì)嗎?,EViews中怎樣在進(jìn)行ADF檢驗(yàn)的同時(shí)完成殘差的LM檢驗(yàn)?
3、月度數(shù)據(jù)獲季度數(shù)據(jù)在進(jìn)行單位根檢驗(yàn)之前需要進(jìn)行季節(jié)調(diào)整嗎?
朱復(fù)康:
1. 李的書應(yīng)該沒有錯(cuò)誤,根據(jù)折線圖具有很大人為的隨意性,可以參閱Harvey et al. (2009, Econometric Theory, 25, 587–636)的論文,下載網(wǎng)址:
http://econweb.tamu.edu/keli/Fall2011_679/Readings/HLT2009.pdf
2. 統(tǒng)計(jì)學(xué)中沒有對(duì)與錯(cuò)之分,只有好與壞之分。這個(gè)問題實(shí)際上本論壇已經(jīng)討論過,參見
http://bbs.pinggu.org/thread-1109346-1-1.html
http://bbs.pinggu.org/thread-2171661-2-1.html
引用一段話作為答案吧“滯后階數(shù)的問題。最佳滯后階數(shù)主要根據(jù)AIC SC準(zhǔn)則判定,當(dāng)你選擇好檢驗(yàn)方式,確定好常數(shù)項(xiàng)、趨勢(shì)項(xiàng)選擇后,在lagged differences欄里可以從0開始嘗試,最大可以嘗試到7。你一個(gè)個(gè)打開去觀察,看哪個(gè)滯后階數(shù)使得結(jié)論最下方一欄中的AIC 和SC值最小,那么該滯后階數(shù)則為最佳滯后階數(shù)?!?/span>
3. 最好先做季節(jié)調(diào)整,以消除季節(jié)趨勢(shì),再做單位根檢驗(yàn)。
壇友condmn:
朱老師好!您如何看待時(shí)間學(xué)列和動(dòng)態(tài)隨機(jī)一般均衡等新模型的結(jié)合?如何看待現(xiàn)在越來(lái)越多的頂級(jí)期刊應(yīng)用時(shí)間序列越來(lái)越少?
朱復(fù)康:
時(shí)間序列只有和其它領(lǐng)域結(jié)合才能顯示其強(qiáng)大生命力,而不是固步自封于自己的小圈子,比如,JTSA雜志2012年9月出了一期專刊,介紹時(shí)間序列在生物科學(xué)中的應(yīng)用。至于頂級(jí)期刊的論文少,可能的原因是時(shí)間序列最近一段時(shí)間的重大進(jìn)展比較少,這不是說時(shí)間序列沒有研究問題了,而是難點(diǎn)問題還沒有解決。
壇友mings:
問題一:在宏觀經(jīng)濟(jì)研究中,在多元線性回歸模型中,隨著在模型中增減變量、甚至常數(shù)項(xiàng),核心解釋變量的符號(hào)會(huì)變?問題出在哪里?如何修正。如何選擇正確并區(qū)分錯(cuò)誤的。
問題二:在宏觀經(jīng)濟(jì)研究中,多元線性回歸出現(xiàn)修正R^2位負(fù)數(shù),是什么原因,如何修正?
問題三:在宏觀經(jīng)濟(jì)研究中,可以替換變量,或者增減變量,也可以變化模型的形式(例如解釋變量為一次,可以變?yōu)槎危?,如何評(píng)價(jià)、選擇這些模型。
在模型中加入了一階AR(1),模型的修正R^2變?yōu)榱?,原來(lái)是0.23,如何解釋?這是所謂的飽和模型么?這個(gè)模型是否需要修正,具體如何做?
另外,朱老師。請(qǐng)問您,宏觀指數(shù)時(shí)間系列數(shù)據(jù),應(yīng)該選擇什么樣的模型?目的是為了 解釋指數(shù)如何變化。
能將其作為被解釋變量進(jìn)行回歸么?還是如何?感謝!
朱復(fù)康:
1. 這是因?yàn)楹芏嘧兞恐g具有交互效應(yīng),所以一些變量的系數(shù)符號(hào)會(huì)改變。除了多元線性回歸,還可以考慮線性混合效應(yīng)模型,根據(jù)一定的準(zhǔn)則找出最好的模型。
2. 這歸咎于模型中較多的變量個(gè)數(shù),這一變量個(gè)數(shù)與方差的自由度密切相關(guān)。
3. 根據(jù)一些信息準(zhǔn)則(如AIC和BIC)進(jìn)行模型篩選。
R^2的變動(dòng)不能說明什么,因?yàn)閮煞N情形下R^2本身的定義不同。
這與你考慮的指數(shù)有關(guān),比如,居民消費(fèi)價(jià)格指數(shù)可以用乘積季節(jié)模型,也可以用非參數(shù)自回歸模型。
壇友zxj246:
朱老師好!統(tǒng)計(jì)工具能否揭示周期循環(huán)與非周期循環(huán)?
朱復(fù)康:
一些人認(rèn)為是能做到的,比如下面這篇論文
http://escholarship.org/uc/item/9jv108xp#page-1
本文由經(jīng)管之家CDA數(shù)據(jù)分析師獨(dú)家整理,轉(zhuǎn)載請(qǐng)注明來(lái)源
CDA數(shù)據(jù)分析師考試相關(guān)入口一覽(建議收藏):
? 想報(bào)名CDA認(rèn)證考試,點(diǎn)擊>>>
“CDA報(bào)名”
了解CDA考試詳情;
? 想學(xué)習(xí)CDA考試教材,點(diǎn)擊>>> “CDA教材” 了解CDA考試詳情;
? 想加入CDA考試題庫(kù),點(diǎn)擊>>> “CDA題庫(kù)” 了解CDA考試詳情;
? 想了解CDA考試含金量,點(diǎn)擊>>> “CDA含金量” 了解CDA考試詳情;