99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀把小樣本經(jīng)驗(yàn)用在海量樣本篩選上，才是大數(shù)據(jù)的價(jià)值
把小樣本經(jīng)驗(yàn)用在海量樣本篩選上，才是大數(shù)據(jù)的價(jià)值
2016-02-26
收藏

把小樣本經(jīng)驗(yàn)用在海量樣本篩選上，才是大數(shù)據(jù)的價(jià)值

從小樣本到大數(shù)據(jù)：概念與誤區(qū)

最近兩年產(chǎn)生并記錄的數(shù)據(jù)，總量占到人類文明以來(lái)所有數(shù)據(jù)總和的90%。我們?cè)丛床粩嘤涗浿磺杏袃r(jià)值的信息，世界和萬(wàn)物的變化數(shù)據(jù)變成一座“自動(dòng)生長(zhǎng)＂的金礦，數(shù)據(jù)挖掘技術(shù)則負(fù)責(zé)從礦山中挖出金子。
“大數(shù)據(jù)”這個(gè)詞早期是IBM和EMC鼓吹的一種商業(yè)概念，自誕生之日就有概念包裝的商業(yè)基因。明白這一道理就不會(huì)過(guò)分糾結(jié)“到底什么是大數(shù)據(jù)”，“多大數(shù)據(jù)算大數(shù)據(jù)”之類的問(wèn)題。這一概念包含了我們?cè)诿鎸?duì)海量數(shù)據(jù)環(huán)境下的哲學(xué)迷思、技術(shù)困境、解決方案和由此引發(fā)的商業(yè)機(jī)會(huì)。
探討大數(shù)據(jù)問(wèn)題前我們先回顧另一個(gè)數(shù)據(jù)界的經(jīng)典問(wèn)題——小樣本問(wèn)題。小樣本的“小＂表面指的是數(shù)據(jù)樣本少，本質(zhì)則是說(shuō)現(xiàn)存樣本對(duì)特征空間的刻畫能力不足。
“過(guò)擬合”問(wèn)題是小數(shù)據(jù)時(shí)代的核心問(wèn)題之一，也成就了vapnik這樣的理論巨匠及svm算法。大數(shù)據(jù)，其顯性特征是超出一般算法或一般硬件計(jì)算處理能力的“大”規(guī)模數(shù)據(jù)；其伴隨的另一個(gè)特征，就是擁有足以刻畫樣本特征空間以外的＂超額＂樣本。前者顯性特征推動(dòng)了并行/云計(jì)算的軟硬件發(fā)展，后者則從商業(yè)模式和數(shù)據(jù)分析的方法論層面推動(dòng)了行業(yè)變化。
怎么理解這些＂超額的樣本＂帶給我們的價(jià)值呢？顯然，通過(guò)數(shù)據(jù)刻畫對(duì)象的全局特征，獲得全體統(tǒng)計(jì)規(guī)律及關(guān)聯(lián)規(guī)則并不需要這些“超額的樣本”，因此才有“大數(shù)據(jù)是不是越多越好”，“大數(shù)據(jù)是否需要抽樣”這樣的辯論，這是在大數(shù)據(jù)時(shí)代之前關(guān)心的問(wèn)題?？梢哉f(shuō)，糾結(jié)于這些問(wèn)題的人還未觸及大數(shù)據(jù)的核心價(jià)值。歸納一下就是：大數(shù)據(jù)時(shí)代之前，我們處理的是小樣本或適度抽樣后的小數(shù)據(jù)進(jìn)行群體規(guī)律的知識(shí)發(fā)現(xiàn)（KDD）；在大數(shù)據(jù)時(shí)代，我們依賴從小樣本挖掘出的或原本就已知的經(jīng)驗(yàn)規(guī)則，通過(guò)搜索海量樣本數(shù)據(jù)發(fā)現(xiàn)目標(biāo)個(gè)體來(lái)兌現(xiàn)商業(yè)價(jià)值。
從理論到價(jià)值：政府應(yīng)用實(shí)例
大數(shù)據(jù)在何處？這些擁有富礦的金主包括：工業(yè)、金融、通信、科研機(jī)構(gòu)、互聯(lián)網(wǎng)企業(yè)等。除此之外，還有一個(gè)超級(jí)礦山擁有者——政府。以美國(guó)為例，在公開(kāi)的美國(guó)政府網(wǎng)站Data.gov上，大約有超過(guò)40萬(wàn)各種原始數(shù)據(jù)文件，涵蓋農(nóng)業(yè)、金融、就業(yè)等近50個(gè)分類。美國(guó)官方稱這么做的目的是“方便公眾更便捷地獲得聯(lián)邦政府?dāng)?shù)據(jù)，并通過(guò)鼓勵(lì)創(chuàng)新突破政府的圍墻而創(chuàng)造性地使用這些數(shù)據(jù)”。同時(shí)，各行業(yè)大數(shù)據(jù)又能極大改進(jìn)政府的決策行為。
近些年大數(shù)據(jù)對(duì)國(guó)家及政府領(lǐng)域的應(yīng)用案例開(kāi)始涌現(xiàn)：
1.情感測(cè)量及幸福指數(shù)
2008年，法國(guó)總統(tǒng)薩科齊組建了一個(gè)專家組，成員包括以諾貝爾經(jīng)濟(jì)學(xué)獎(jiǎng)獲得者約瑟夫·斯蒂格里茨和阿馬蒂亞·森在內(nèi)的20多名世界知名專家，進(jìn)行了一項(xiàng)名為“幸福與測(cè)度經(jīng)濟(jì)進(jìn)步”（Happiness and Measuring Economic Progress）的研究。該項(xiàng)研究將國(guó)民主觀幸福感納入衡量經(jīng)濟(jì)表現(xiàn)的指標(biāo)，以主觀幸福程度、生活質(zhì)量及收入分配等指標(biāo)來(lái)衡量經(jīng)濟(jì)發(fā)展。
佛蒙特大學(xué)計(jì)算實(shí)驗(yàn)室的項(xiàng)目Hedonometer
（1）2011年：幸福度來(lái)自旅行的遠(yuǎn)度
佛蒙特大學(xué)的克里斯多夫·丹佛斯主持研究了幸福度與地理位置的關(guān)系，他們?cè)?011年從從Twitter上篩選帶有博主地理位置的Tweet。全世界逾18萬(wàn)用戶發(fā)布的3700萬(wàn)條tweet中，約1%的微博含有這類經(jīng)緯度信息。
研究發(fā)現(xiàn)，人們通常會(huì)有兩個(gè)最常去的地方，且這兩個(gè)地方相距不遠(yuǎn)，應(yīng)該就是家和工作地。為了評(píng)估博主的幸福額度，佛蒙特大學(xué)的研究小組研制了一種“幸福測(cè)試儀”（hedonometer）：這種測(cè)試儀能檢測(cè)出文本中表示積極、快樂(lè)情緒的詞匯（比如，“新鮮的”、“極好的”、“咖啡”和“午餐”）以及表示消極情緒的詞匯（比如，“沒(méi)有”、“不”、“討厭”、“該死的”、“無(wú)聊的”）。幸福測(cè)試儀會(huì)以此為根據(jù)評(píng)出每一條微博的幸福指數(shù)。研究團(tuán)隊(duì)發(fā)現(xiàn)，離家越遠(yuǎn)，人們所發(fā)微博中含有的開(kāi)心詞匯就越多。
（2）2011年：人們沒(méi)有以前快樂(lè)
2011 12月21日消息，美國(guó)佛蒙特大學(xué)學(xué)者對(duì)Twitter上的用詞進(jìn)行分析后，最終得出“人們沒(méi)有以前快樂(lè)”的結(jié)論。研究稱，自2009年4月以來(lái)，人們的幸福感總體呈下行趨勢(shì)。該研究報(bào)告的主要作者、佛蒙特大學(xué)的應(yīng)用數(shù)學(xué)家Peter Dodds表示，“人們的幸福感正在下降?！边@是多茲團(tuán)隊(duì)對(duì)6300萬(wàn)Twitter用戶所發(fā)tweet時(shí)用的460億個(gè)單詞分析得出的結(jié)論。
（3）2013年：周六幸福度最高
佛蒙特大學(xué)計(jì)算實(shí)驗(yàn)室的Hedonometer項(xiàng)目組發(fā)布了一份推特情感分析報(bào)告。這個(gè)項(xiàng)目通過(guò)自然語(yǔ)言處理，對(duì)過(guò)去五年中每天發(fā)布的千萬(wàn)條微博進(jìn)行情感分析，尋找一些反映正面情緒或者負(fù)面情緒的關(guān)鍵詞，并將其結(jié)果記錄了下來(lái)。每一年的幸福度最高點(diǎn)都是在12月25號(hào)圣誕節(jié)，其它幸福度高的日子包括元旦、感恩節(jié)、情人節(jié)等；從每周來(lái)看，人們平均幸福度最高的一天是星期六，而最低的一天是星期二。
2.聯(lián)合國(guó)全球脈動(dòng)（global pulse）項(xiàng)目
《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機(jī)遇》白皮書項(xiàng)目
隨著大數(shù)據(jù)發(fā)展戰(zhàn)得到全球各國(guó)高度重視，聯(lián)合國(guó)秘書長(zhǎng)執(zhí)行辦公室于2009 年正式啟動(dòng)了“全球脈動(dòng)”（Global Pulse）倡議項(xiàng)目，旨在推動(dòng)數(shù)字?jǐn)?shù)據(jù)和快速數(shù)據(jù)收集和分析方式的創(chuàng)新。作為該項(xiàng)目的研究成果，由“全球脈動(dòng)”資深發(fā)展經(jīng)濟(jì)學(xué)家艾瑪紐爾·勒?qǐng)D（Emmanuel Letouzé）牽頭撰寫的《大數(shù)據(jù)促發(fā)展：挑戰(zhàn)與機(jī)遇》報(bào)告于2012 年5 月發(fā)布。該報(bào)告全面分析了各國(guó)特別是發(fā)展中國(guó)家在運(yùn)用大數(shù)據(jù)促進(jìn)社會(huì)發(fā)展方面所面臨的歷史機(jī)遇和挑戰(zhàn)，并系統(tǒng)給出了在應(yīng)用過(guò)程中正確運(yùn)用大數(shù)據(jù)的策略建議。
與聯(lián)合國(guó)對(duì)大數(shù)據(jù)價(jià)值的判斷相呼應(yīng)，倫敦智庫(kù)政策交易所也宣布大數(shù)據(jù)每年能為英國(guó)政府節(jié)省330億英鎊。聯(lián)合國(guó)的報(bào)告解釋了大數(shù)據(jù)如何幫助政府更好地響應(yīng)社會(huì)和經(jīng)濟(jì)指標(biāo)變化，例如收入、失業(yè)、食品價(jià)格等。聯(lián)合國(guó)指出大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)，人們?nèi)缃窨梢允褂玫臉O大豐富的數(shù)據(jù)資源，包括舊數(shù)據(jù)和新數(shù)據(jù)，來(lái)對(duì)社會(huì)人口進(jìn)行前所未有的實(shí)時(shí)分析。


數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }