99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀當(dāng)統(tǒng)計學(xué)遇上大數(shù)據(jù)——P值消亡
當(dāng)統(tǒng)計學(xué)遇上大數(shù)據(jù)——P值消亡
2014-09-03
收藏

                                         當(dāng)統(tǒng)計學(xué)遇上大數(shù)據(jù)——P值消亡

      當(dāng)今，大數(shù)據(jù)時代，檔統(tǒng)計學(xué)遇上了大數(shù)據(jù)。有一天，我走進統(tǒng)計學(xué)的神殿 ，將所有謊言都裝進原假設(shè)的盒子里，


“P值為零”，

一個聲音傳來，

“但你已經(jīng)不能再拒絕，因為，P值已經(jīng)死了”

從此，這個世界上充斥著謊言。
一、一個悲傷的故事：破滅的年少成名之夢

首先跟大家說一個悲傷的故事，該故事來源于nature最近發(fā)布的一篇文章“statistical errors”，我把這個故事叫做“破滅的年少成名之夢”

話說，弗吉尼亞大學(xué)有一位意氣風(fēng)發(fā)俊朗不凡的博士研究生莫德爾。


                  


他做了一項關(guān)于關(guān)于政治極端分子的行為研究，樣本大約有2000個人群，結(jié)果發(fā)現(xiàn)，相比較政治極端分子，政治溫和派似乎更能辨別不同色度的灰色。

   


莫德爾對這項發(fā)現(xiàn)非常得意，因為數(shù)據(jù)也給出了非常積極的結(jié)果，統(tǒng)計結(jié)果顯示P值為0.01，這意味著結(jié)果“非常顯著”。莫老兄十分有把握能把自己的論文發(fā)表在高影響因子的刊物上。


由于擔(dān)心實驗結(jié)果陷入再現(xiàn)性爭論，莫兄和他的導(dǎo)師決定重復(fù)實驗，但是，在添加了新的數(shù)據(jù)之后，P值變成了0.59，這連0.05的顯著性水平都沒有達到!

傷心絕望的莫老兄知道，他觀察的心理學(xué)效應(yīng)站不住腳了，一同破滅的，還有那顆年少成名的美麗夢想。


實際上，問題并不在數(shù)據(jù)中，而是P值出了問題，正如羅斯福大學(xué)的經(jīng)濟學(xué)家史蒂芬所說，“P值沒有起到人們期望的作用，因為它壓根就不可能起到這個作用。”


為什么呢?為什么P值沒有達到人們的期望?它的問題到底在哪?現(xiàn)在和數(shù)說君一起來梳理一下P值和假設(shè)檢驗的歷史，并從中尋找答案吧。

二、P值和假設(shè)檢驗的歷史

1. 拉普拉斯

P值得歷史可以追溯到1770年，數(shù)學(xué)家拉普拉斯在處理50萬左右的生育數(shù)據(jù)時，發(fā)現(xiàn)男性的生育率超過女性，對于這個無法解釋的“超越”，他計算了一個叫做“P值”的東西，以確定這個“超越”是真實的(Stigler 1986, P.134)。

2. KarlPearson

很多統(tǒng)計學(xué)家誤以為關(guān)于P值的正式文獻是費雪發(fā)表的，其實不然，最早在文獻中正式闡述P值及其計算的，是統(tǒng)計學(xué)家Karl Pearson，你可能不了解他，但是他的Pearson卡方檢驗?zāi)阋欢ㄖ?，這篇關(guān)于卡方檢驗的文章當(dāng)時被發(fā)表在《哲學(xué)雜志》上，文章中一同被介紹的，還有一個被叫做“P值”的東東，見史料。

3. Fisher

大數(shù)據(jù)時代，P值能風(fēng)靡學(xué)術(shù)界這么多年，費雪是第一推手，被他推動的除了P值，還有被稱為“費雪學(xué)派”(Fisherian)的假設(shè)檢驗思想。簡單介紹下他的思想：

如果我們想要檢驗一個樣本是否來自某個分布已知的總體，首先要建立一個“原假設(shè)”(null hypothesis)，比如，下圖的例子我們假設(shè)該樣本來自正態(tài)總體N(m0,σ)，那么原假設(shè)為：

H0：m=m0

但實際上我們得到的樣本均值不是m0，而是，那么Fisher他老人家當(dāng)時的想法是：在一個樣本均值為m0的正態(tài)總體中，抽樣得到這個均值為的樣本的幾率會有多大?我要是能計算出這個概率，就知道“這個樣本來自該總體”這件事有多靠譜了，如果概率太小，就認為是不靠譜的事情，那么就可以認定這個假設(shè)是錯的。這就是假設(shè)檢驗里的“小概率事件原理”，這個概率就是后來風(fēng)靡學(xué)術(shù)界的“P值”，一般認為概率小于5%，就是不靠譜的事情，則需要拒絕原假設(shè)。

到此為止，F(xiàn)isher大神只字未提“備擇假設(shè)”，也從沒說任何關(guān)于“接受”某個假設(shè)的事情，在Fisher的檢驗哲學(xué)里，

    1、驗是基于無限總體中抽出的一個(注意是一個)樣本;

    2、著性檢驗的基礎(chǔ)是基于原假設(shè)而得出的假想概率，這些檢驗不能導(dǎo)出任何關(guān)于真實世界的概率論斷。

因此，費雪以及他的P值檢驗思想，從來沒有涉及到“備擇假設(shè)”的概念，沒有被認為可以用來證明某個假設(shè)是對的。

                                                                                                                     

4. Neyman-Pearson

后來流行的“備擇假設(shè)”的概念是在另一個重要的檢驗思想里提出的，即Neyman-Pearson(以下簡稱N-P)檢驗思想。N-P學(xué)派發(fā)源于費雪的思想，但卻與之不太一樣，他們兩派相互爭論了很多年。相比較于Fisher學(xué)派，Neyman他們主要有三個不同：

(1) 引入備擇假設(shè)

Neyman本人曾說，“接受一個假設(shè)H，僅僅意味著采用決策A要比決策B好，并不能說明我們必須要相信假設(shè)H就是對的?！?/span>

(2) 引入兩種錯誤：第一類錯誤和第二類錯誤

第一類錯誤是指拒絕了一個正確的原假設(shè)(α)，第二類錯誤是指接受了一個錯誤的原假設(shè)(β);

Power=1-β,被稱為檢驗效力，它代表著拒絕一個錯誤假設(shè)的概率;

N-P的檢驗思想是，控制第一類錯誤(一般事先給定)，使得第二類錯誤的值越小越好，即power越大越好。

(3) 使用拒絕域來進行檢驗

在N-P的思想框中，完全沒有提到P值，他們使用拒絕域來對假設(shè)進行判別，具體檢驗思想見下圖：

(4) 錯誤的混合

比較以上兩個檢驗我們發(fā)現(xiàn)，F(xiàn)isherian和N-P的檢驗思想完全不同，

1、雪學(xué)派的P值檢驗思想，沒有涉及備擇假設(shè)，也從來沒有被嚴格證明可以用來證明某個假設(shè)是對的。實際上，當(dāng)我們抽取的樣本變化時，得到的P值也會變化，結(jié)論也會隨之變化。

2、-P學(xué)派使用備擇假設(shè)，在判定是接受還是拒絕某個假設(shè)的時，同時會給出兩類錯誤以及power作為輔助參考，但是該學(xué)派(包括Neyman本人)從來不承認“P值”這個東西。雖然樣本不同，他們的結(jié)論也會不同，但是N-P方法會在每個結(jié)論的后面給出相應(yīng)的power，說明該結(jié)論的靠譜程度，相對于P值檢驗，這個方法更加規(guī)則嚴密。

3、isher和Neyman兩人知道對方的觀點，但是彼此都不能相容，Neyman批評Fisher的某些工作從數(shù)學(xué)上講比“毫無用處”還糟，F(xiàn)isher對Neyman方法給出的評價是“無比幼稚”、“在西方學(xué)界中簡直駭人聽聞”(Nuzzo,2014)。

然而后世的許多統(tǒng)計學(xué)家錯誤的將兩個方法進行了混合，衍生出這樣的判別標準，即:

用p<α作為判斷標準，以決定接受原假設(shè)還是備擇假設(shè)

如Gibbons(1986，p.367)說：“P值與古典方法(即Neyman-Pearson)的關(guān)系是，如果p<=α，我們就要拒絕H0，如果p>α，我們就要接受H0?！?/span>
三、悲劇的結(jié)論

梳理完P(guān)值和假設(shè)檢驗的歷史，你應(yīng)該知道為什么羅斯福大學(xué)的經(jīng)濟學(xué)家史蒂芬說，“P值沒有起到人們期望的作用，因為它壓根就不可能起到這個作用?！绷?，因為P值從來沒有被證明可以用來接受某個假設(shè)，即使是拒絕假設(shè)，也是基于某個樣本得出的結(jié)論，當(dāng)樣本變動時，結(jié)論很可能也會變動。

P值檢驗會如此不靠譜?其實，F(xiàn)isher本人對統(tǒng)計檢驗的觀點更加悲觀，他認為，統(tǒng)計學(xué)的功能僅僅在于歸納推論(inductive inference)，而不是歸納行動(inductive behavior);統(tǒng)計檢驗應(yīng)該止于歸納結(jié)論，而不涉足于行動判斷(Lv,2012)。

這是一個悲劇的結(jié)論，不僅對夢碎的莫德爾老兄，也對所有運用統(tǒng)計學(xué)的研究者。
四、解決之道

面對“P值至上”的種種惡果，統(tǒng)計學(xué)家們給出了其他的解決方法，

1、免使用“顯著”或“不顯著”來進行判斷。如心理學(xué)家Cumming建議，研究者應(yīng)當(dāng)給出置信區(qū)間和power，以讓讀者明白研究結(jié)果的靠譜程度。

2、用貝葉斯等決策方法。下圖是貝葉斯的判斷準則，沒有P值的參與。

3、同一個數(shù)據(jù)使用多種方法進行分析。結(jié)果越是不同，就越有可能出現(xiàn)重大的發(fā)現(xiàn)。

數(shù)說君曰：P值死了，這是統(tǒng)計學(xué)的重生.

                                                                                                                              數(shù)據(jù)分析師

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }