99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁(yè)精彩閱讀大數(shù)據(jù)分析老鳥(niǎo)送給菜鳥(niǎo)學(xué)弟們的經(jīng)驗(yàn)之談
大數(shù)據(jù)分析老鳥(niǎo)送給菜鳥(niǎo)學(xué)弟們的經(jīng)驗(yàn)之談
2015-01-14
收藏
大數(shù)據(jù)分析送給菜鳥(niǎo)學(xué)弟們的經(jīng)驗(yàn)之談 


以下是我在近三年做各類計(jì)量和統(tǒng)計(jì)分析過(guò)程中感受最深的東西,或能對(duì)大家有所幫助。當(dāng)然,它不是ABC的教程,也不是細(xì)致的數(shù)據(jù)分析方法介紹,它只 是總結(jié)和體會(huì)。由于我所學(xué)所做均甚雜,我也不是學(xué)統(tǒng)計(jì)、數(shù)學(xué)出身的,故本文沒(méi)有主線,只有碎片,且文中內(nèi)容僅為個(gè)人觀點(diǎn),許多論斷沒(méi)有數(shù)學(xué)證明,望統(tǒng)計(jì)、計(jì)量大牛輕拍。

關(guān)于軟件

對(duì)于我個(gè)人而言,所用的數(shù)據(jù)分析軟件包括EXCEL、SPSS、STATA、EVIEWS。在分析前期可以使用EXCEL進(jìn)行數(shù)據(jù)清洗、數(shù)據(jù)結(jié)構(gòu)調(diào) 整、復(fù)雜的新變量計(jì)算(包括邏輯計(jì)算);在后期呈現(xiàn)美觀的圖表時(shí),它的制圖制表功能更是無(wú)可取代的利器;但需要說(shuō)明的是,EXCEL畢竟只是辦公軟件,它 的作用大多局限在對(duì)數(shù)據(jù)本身進(jìn)行的操作,而非復(fù)雜的統(tǒng)計(jì)和計(jì)量分析,而且,當(dāng)樣本量達(dá)到萬(wàn)以上級(jí)別時(shí),EXCEL的運(yùn)行速度有時(shí)會(huì)讓人抓狂。

SPSS是擅長(zhǎng)于處理截面數(shù)據(jù)的傻瓜統(tǒng)計(jì)軟件。

首先,它是專業(yè)的統(tǒng)計(jì)軟件,對(duì)萬(wàn)甚至十萬(wàn)樣本量級(jí)別的數(shù)據(jù)集都能應(yīng)付自如;

其次,它是統(tǒng)計(jì)軟件而非專業(yè)的計(jì)量軟件,因此它的強(qiáng)項(xiàng)在于數(shù)據(jù)清洗、描述統(tǒng)計(jì)、假設(shè)檢驗(yàn)(T、F、卡方、方差齊性、正態(tài)性、信效度等檢驗(yàn))、多元統(tǒng)計(jì)分析(因子、聚類、判別、偏相關(guān)等)和一些常用的計(jì)量分析(初、中級(jí)計(jì)量教科書(shū)里提到的計(jì)量分析基本都能實(shí)現(xiàn)),對(duì)于復(fù)雜的、前沿的計(jì)量分析無(wú)能為力;

第三,SPSS主要用于 分析截面數(shù)據(jù),在時(shí)序和面板數(shù)據(jù)處理方面功能了了;

最后,SPSS兼容菜單化和編程化操作,是名副其實(shí)的傻瓜軟件。

STATA 與EVIEWS都是我偏好的計(jì)量軟件。前者完全編程化操作,后者兼容菜單化和編程化操作;雖然兩款軟件都能做簡(jiǎn)單的描述統(tǒng)計(jì),但是較之 SPSS差了許多;STATA與EVIEWS都是計(jì)量軟件,高級(jí)的計(jì)量分析能夠在這兩個(gè)軟件里得到實(shí)現(xiàn);STATA的擴(kuò)展性較好,我們可以上網(wǎng)找自己需要 的命令文件(.ado文件),不斷擴(kuò)展其應(yīng)用,但EVIEWS就只能等著軟件升級(jí)了;另外,對(duì)于時(shí)序數(shù)據(jù)的處理,EVIEWS較強(qiáng)。

綜上,各款軟件有自己的強(qiáng)項(xiàng)和弱項(xiàng),用什么軟件取決于數(shù)據(jù)本身的屬性及分析方法。EXCEL適用于處理小樣本數(shù)據(jù),SPSS、 STATA、EVIEWS可以處理較大的樣本;EXCEL、SPSS適合做數(shù)據(jù)清洗、新變量計(jì)算等分析前準(zhǔn)備性工作,而STATA、EVIEWS在這方面 較差;制圖制表用EXCEL;對(duì)截面數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析用SPSS,簡(jiǎn)單的計(jì)量分析SPSS、STATA、EVIEWS可以實(shí)現(xiàn),高級(jí)的計(jì)量分析用 STATA、EVIEWS,時(shí)序分析用EVIEWS。

關(guān)于因果性

做統(tǒng)計(jì)或計(jì)量,我認(rèn)為最難也最頭疼的就是進(jìn)行因果性判斷。假如你有A、B兩個(gè)變量的數(shù)據(jù),你怎么知道哪個(gè)變量是因(自變量),哪個(gè)變量是果(因變量)?

早期,人們通過(guò)觀察原因和結(jié)果之間的表面聯(lián)系進(jìn)行因果推論,比如恒常會(huì)合、時(shí)間順序。但是,人們漸漸認(rèn)識(shí)到多次的共同出現(xiàn)和共同缺失可能是因果關(guān)系,也可能是由共同的原因或其他因素造成的。從歸納法的角度來(lái)說(shuō),如果在有A的情形下出現(xiàn)B,沒(méi)有A的情形下就沒(méi)有B,那么A很可能是B的原因,但也可能 是其他未能預(yù)料到的因素在起作用,所以,在進(jìn)行因果判斷時(shí)應(yīng)對(duì)大量的事例進(jìn)行比較,以便提高判斷的可靠性。

有兩種解決因果問(wèn)題的方案:統(tǒng)計(jì)的解決方案和科學(xué)的解決方案。統(tǒng)計(jì)的解決方案主要指運(yùn)用統(tǒng)計(jì)和計(jì)量回歸的方法對(duì)微觀數(shù)據(jù)進(jìn)行分析,比較受干預(yù)樣本與未接受干預(yù)樣本在效果指標(biāo)(因變量)上的差異。需要強(qiáng)調(diào)的是,利用截面數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析,不論是進(jìn)行均值比較、頻數(shù)分析,還是方差分析、相關(guān)分析,其結(jié)果 只是干預(yù)與影響效果之間因果關(guān)系成立的必要條件而非充分條件。類似的,利用截面數(shù)據(jù)進(jìn)行計(jì)量回歸,所能得到的最多也只是變量間的數(shù)量關(guān)系;計(jì)量模型中哪個(gè)變量為因變量哪個(gè)變量為自變量,完全出于分析者根據(jù)其他考慮進(jìn)行的預(yù)設(shè),與計(jì)量分析結(jié)果沒(méi)有關(guān)系??傊貧w并不意味著因果關(guān)系的成立,因果關(guān)系的判定或 推斷必須依據(jù)經(jīng)過(guò)實(shí)踐檢驗(yàn)的相關(guān)理論。雖然利用截面數(shù)據(jù)進(jìn)行因果判斷顯得勉強(qiáng),但如果研究者掌握了時(shí)間序列數(shù)據(jù),因果判斷仍有可為,其中最經(jīng)典的方法就是進(jìn)行格蘭杰因果關(guān)系檢驗(yàn)。但格蘭杰因果關(guān)系檢驗(yàn)的結(jié)論也只是統(tǒng)計(jì)意義上的因果性,而不一定是真正的因果關(guān)系,況且格蘭杰因果關(guān)系檢驗(yàn)對(duì)數(shù)據(jù)的要求較高 (多期時(shí)序數(shù)據(jù)),因此該方法對(duì)截面數(shù)據(jù)無(wú)能為力。綜上所述,統(tǒng)計(jì)、計(jì)量分析的結(jié)果可以作為真正的因果關(guān)系的一種支持,但不能作為肯定或否定因果關(guān)系的最終根據(jù)。

科學(xué)的解決方案主要指實(shí)驗(yàn)法,包括隨機(jī)分組實(shí)驗(yàn)和準(zhǔn)實(shí)驗(yàn)。以實(shí)驗(yàn)的方法對(duì)干預(yù)的效果進(jìn)行評(píng)估,可以對(duì)除干預(yù)外的其他影響因素加以控制,從而將干預(yù)實(shí)施后的效果歸因?yàn)楦深A(yù)本身,這就解決了因果性的確認(rèn)問(wèn)題。

關(guān)于實(shí)驗(yàn)

在隨機(jī)實(shí)驗(yàn)中,樣本被隨機(jī)分成兩組,一組經(jīng)歷處理?xiàng)l件(進(jìn)入干預(yù)組),另一組接受控制條件(進(jìn)入對(duì)照組),然后比較兩組樣本的效果指標(biāo)均值是否有差異。隨機(jī)分組使得兩組樣本同質(zhì),即分組、干預(yù)與樣本的所有自身屬性相互獨(dú)立,從而可以通過(guò)干預(yù)結(jié)束時(shí)兩個(gè)群體在效果指標(biāo)上的差異來(lái)考察實(shí)驗(yàn)處 理的凈效應(yīng)。隨機(jī)實(shí)驗(yàn)設(shè)計(jì)方法能夠在最大程度上保證干預(yù)組與對(duì)照組的相似性,得出的研究結(jié)論更具可靠性,更具說(shuō)服力。但是這種方法也是備受爭(zhēng)議的

一是因?yàn)樗鼘?shí)施難度較大、成本較高;

二是因?yàn)樵诟深A(yù)的影響評(píng)估中,接受干預(yù)與否通常并不是隨機(jī)發(fā)生的;

第三,在社會(huì)科學(xué)研究領(lǐng)域,完全隨機(jī)分配實(shí)驗(yàn)對(duì)象的做法會(huì) 涉及到研究倫理和道德問(wèn)題。

鑒于上述原因,利用非隨機(jī)數(shù)據(jù)進(jìn)行的準(zhǔn)實(shí)驗(yàn)設(shè)計(jì)是一個(gè)可供選擇的替代方法。準(zhǔn)實(shí)驗(yàn)與隨機(jī)實(shí)驗(yàn)區(qū)分的標(biāo)準(zhǔn)是前者沒(méi)有隨機(jī)分配樣本。

通過(guò)準(zhǔn)實(shí)驗(yàn)對(duì)干預(yù)的影響效果進(jìn)行評(píng)估,由于樣本接受干預(yù)與否并不是隨機(jī)發(fā)生的,而是人為選擇的,因此對(duì)于非隨機(jī)數(shù)據(jù),不能簡(jiǎn)單的認(rèn)為效果指標(biāo)的差異來(lái)源于干預(yù)。在剔除干預(yù)因素后,干預(yù)組和對(duì)照組的本身還可能存在著一些影響效果指標(biāo)的因素,這些因素對(duì)效果指標(biāo)的作用有可能同干預(yù)對(duì)效果指標(biāo)的作用相混 淆。為了解決這個(gè)問(wèn)題,可以運(yùn)用統(tǒng)計(jì)或計(jì)量的方法對(duì)除干預(yù)因素外的其他可能的影響因素進(jìn)行控制,或運(yùn)用匹配的方法調(diào)整樣本屬性的不平衡性在對(duì)照組中尋找一個(gè)除了干預(yù)因素不同之外,其他因素與干預(yù)組樣本相同的對(duì)照樣本與之配對(duì)這可以保證這些影響因素和分組安排獨(dú)立。

隨機(jī)實(shí)驗(yàn)需要至少兩期的面板數(shù)據(jù),并且要求樣本在干預(yù)組和對(duì)照組隨機(jī)分布,分析方法就是DID(倍差法,或曰雙重差分法);準(zhǔn)實(shí)驗(yàn)分析用截面數(shù)據(jù)就 能做,不要求樣本在干預(yù)組和對(duì)照組隨機(jī)分布,分析方法包括DID(需兩期的面板數(shù)據(jù))、PSM(傾向性得分匹配法,需一期的截面數(shù)據(jù))和PSM- DID(需兩期的面板數(shù)據(jù))。從準(zhǔn)確度角度來(lái)說(shuō),隨機(jī)實(shí)驗(yàn)的準(zhǔn)確度高于準(zhǔn)實(shí)驗(yàn)和非實(shí)驗(yàn)分析。

關(guān)于分析工具的選擇

如果根據(jù)理論或邏輯已經(jīng)預(yù)設(shè)了變量間的因果關(guān)系,那么就無(wú)需使用實(shí)驗(yàn)方法。我對(duì)非實(shí)驗(yàn)數(shù)據(jù)分析工具的選擇原則如下。

① 因變量為連續(xù)變量,自變量至少有一個(gè)連續(xù)變量,進(jìn)行多元線性回歸;

② 因變量為連續(xù)變量,自變量全部為分類變量,進(jìn)行方差分析;

③ 因變量為分類變量,自變量至少有一個(gè)連續(xù)變量,使用Logit模型或Probit模型;

④ 因變量為分類變量,自變量全部為分類變量,進(jìn)行交叉表分析和卡方檢驗(yàn);

⑤ 因變量在某個(gè)閉區(qū)間內(nèi)分布,并且有較多樣本落在閉區(qū)間的邊界上,使用Tobit模型

⑥ 因變量不唯一,如多產(chǎn)出問(wèn)題,進(jìn)行數(shù)據(jù)包絡(luò)分析(DEA);

⑦ 因變量為整數(shù)、數(shù)值小、取零個(gè)數(shù)較多,使用計(jì)數(shù)(Count)模型;

⑧ 數(shù)據(jù)具有層次結(jié)構(gòu)(嵌套結(jié)構(gòu)),使用多層線性模型(HLM)。

隨著統(tǒng)計(jì)和計(jì)量經(jīng)濟(jì)學(xué)的發(fā)展,各種前沿分析工具層出不窮,但我認(rèn)為最靠譜的分析工具不外乎以下四種:DID(針對(duì)隨機(jī)實(shí)驗(yàn)),多元線性回歸,固定效 應(yīng)變截距模型(FE,針對(duì)面板數(shù)據(jù)),Logit模型或Probit模型(針對(duì)分類因變量數(shù)據(jù))。

其他方法或適用條件苛刻,或分析過(guò)程折騰,或方法本身不可靠(尤其是聚類分析、判別分析,超級(jí)不靠譜),因此能用以上四種方法分析問(wèn)題時(shí),不必為炫方法而瞎折騰。

關(guān)于擬合優(yōu)度、變量選擇原則及估計(jì)值絕對(duì)大小的意義

在人人的數(shù)據(jù)分析小站中,某同學(xué)提出這樣一個(gè)問(wèn)題:多元回歸分析中,怎么選擇自變量和因變量,可以使R方達(dá)到80%以上?

很顯然,問(wèn)這個(gè)問(wèn)題的同學(xué)要么沒(méi)學(xué)好計(jì)量,要么就是犯了功利主義的錯(cuò)誤,或者二者皆有。擬合優(yōu)度的大小很大程度上取決于數(shù)據(jù)本身的性質(zhì)。如果數(shù)據(jù)是時(shí)序數(shù)據(jù),只要拿有點(diǎn)相關(guān)關(guān)系的變量進(jìn)行回歸就能使擬合優(yōu)度達(dá)到80%以上,但這樣的高R方根本說(shuō)明不了什么,很可能使分析者陷入偽回歸的陷阱,嚴(yán)謹(jǐn)?shù)淖?法當(dāng)然是做平穩(wěn)性檢驗(yàn)和協(xié)整檢驗(yàn);如果是截面數(shù)據(jù),根本沒(méi)必要追求R方到80%的程度,一般來(lái)說(shuō),有個(gè)20%、30%就非常大了。

如果一定要增大R方,那么最應(yīng)該做的的確是對(duì)納入模型的變量進(jìn)行選擇。選擇納入模型的原則我認(rèn)為有三條。

第一,從理論和邏輯出發(fā),將可能影響因變量的變量作為自變量納入模型,即理論上或邏輯上能影響因變量的自變量必須納入模型,即使該自變量的回歸系數(shù)不顯著。

第二,奧姆剃刀原則如無(wú)必要,勿增實(shí)體,即理論上或邏輯上不能影響因變量的自變量不能納入模型,即使該自變量的回歸系數(shù)顯著。

第三,防止納入具有多重共線性的自變量。

前面說(shuō)了,對(duì)截面數(shù)據(jù)進(jìn)行計(jì)量分析,R方能達(dá)到20%、30%是非常了不起的事情。但是,如果擬合優(yōu)度(或類似擬合優(yōu)度的指標(biāo))在20%、30%或 更低時(shí),回歸系數(shù)只具有定性或定序上的意義,強(qiáng)調(diào)其絕對(duì)數(shù)值的大小沒(méi)什么意義。譬如lnY=alnA+blnB++zlnZ+c回歸的R方為20%,a 為0.375,b為0.224,且二者的T檢驗(yàn)顯著,那么我們可以說(shuō),A、B對(duì)Y有影響,也可以說(shuō)一百分點(diǎn)的A變化對(duì)Y的影響大于一百分點(diǎn)的B變化對(duì)Y的 影響(控制其他因素的情況下),但說(shuō)一百分點(diǎn)的A變化對(duì)Y的影響較一百分點(diǎn)的B變化對(duì)Y的影響大0.151%,就沒(méi)什么意義了。

其他一些建議或忠告

用心思考變量間的因果關(guān)系:是A影響了B還是B影響了A?A、B之間是否真的有因果關(guān)系?是否存在C,使C既影響A又影響B(tài),而A、B本身無(wú)直接關(guān)系?

仔細(xì)選擇自變量,不要遺漏重要變量,否則會(huì)造成內(nèi)生性問(wèn)題。如果遇上了內(nèi)生性問(wèn)題,先不要忙著尋找工具變量或使用2SLS,尋找被遺漏的變量才是最 重要的事情。如果被遺漏的變量即使找到卻囿于各種困難無(wú)法納入分析,而你又忽然想到了一個(gè)絕佳的工具變量,那么恭喜你,你可以在核心期刊發(fā)文章了!

一定要控制其他可能對(duì)因變量產(chǎn)生影響的因素,并認(rèn)識(shí)到對(duì)回歸系數(shù)和偏相關(guān)分析結(jié)果的解釋都是建立在其他條件不變的情況之下。

看到R方很大時(shí)不要忙著高興,如果F檢驗(yàn)顯著而T檢驗(yàn)不顯著,很可能存在多重共線性。看到t值很大時(shí),也不要忙著高興,因?yàn)檫@很可能是偽回歸的產(chǎn)物;如果此時(shí)DW值很?。ㄐ∮?.5),那么偽回歸的可能性進(jìn)一步變大。

均值比較雖然簡(jiǎn)單卻考驗(yàn)分析者的嚴(yán)謹(jǐn)性。兩個(gè)看似不同的平均數(shù)、中位數(shù)或比率是否意味著高下有別?樣本取自獨(dú)立總體還是相關(guān)總體?方差齊或不齊?比較的是平均數(shù)、中位數(shù)還是比率差異?

樣本量限制了所能做的分析,小樣本時(shí)請(qǐng)珍惜自由度;不要用小于30個(gè)樣本的數(shù)據(jù)進(jìn)行計(jì)量分析(尤其是時(shí)序分析)和復(fù)雜的統(tǒng)計(jì)分析;不要以為能從小于或等于5期的數(shù)據(jù)中看出什么發(fā)展趨勢(shì);不要沒(méi)有依據(jù)的使用復(fù)雜的模型和分析方法;不要將一目了然的簡(jiǎn)單問(wèn)題故意復(fù)雜化。

最重要的,不要造假!不對(duì)數(shù)據(jù)本身造假,也不對(duì)分析結(jié)果造假!數(shù)據(jù)分析前可以進(jìn)行一定的清洗,將奇異值去掉,也可以嘗試對(duì)未預(yù)料到的分析結(jié)果進(jìn)行探討和解釋,但如果去改數(shù)據(jù)改分析結(jié)果,那還有什么必要進(jìn)行數(shù)據(jù)分析呢?直接編文章編報(bào)告不就得了?某些詭異的、不合常理的數(shù)據(jù)分析結(jié)果,很可能就是研究最重要的所得。

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼,搜微信號(hào):CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn):http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }