99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀R語言中大型數(shù)據(jù)集的回歸
R語言中大型數(shù)據(jù)集的回歸
2016-03-12
收藏

R語言中大型數(shù)據(jù)集的回歸

眾所周知，R語言是一個(gè)依賴于內(nèi)存的軟件，就是說一般情況下，數(shù)據(jù)集都會(huì)被整個(gè)地復(fù)制到內(nèi)存之中再被處理。對(duì)于小型或者中型的數(shù)據(jù)集，這樣處理當(dāng)然沒有什么問題。但是對(duì)于大型的數(shù)據(jù)集，例如網(wǎng)上抓取的金融類型時(shí)間序列數(shù)據(jù)或者一些日志數(shù)據(jù)，這樣做就有很多因?yàn)閮?nèi)存不足導(dǎo)致的問題了。

這里是一個(gè)具體的例子。在 R 中輸入如下代碼，創(chuàng)建一個(gè)叫 x 的矩陣和叫 y 的向量。

R 中大型數(shù)據(jù)集的回歸-09大數(shù)據(jù)    

如果用內(nèi)置的 lm 函數(shù)對(duì) x 和 y 進(jìn)行回歸分析，就有可能出現(xiàn)如下錯(cuò)誤（當(dāng)然，也有可能因?yàn)閮?nèi)存足夠而運(yùn)行成功）：

R 中大型數(shù)據(jù)集的回歸-09大數(shù)據(jù) 

本文代碼運(yùn)行的電腦的配置是：

CPU: Intel Core i5-2410M @ 2.30 GHz

Memory: 2GB

OS: Windows 7 64-bit

R: 2.13.1 32-bit

在 R 中，每一個(gè) numeric 數(shù) 占用 8 Bytes，所以可以估算到 x 和 y 只是占用 5000000 7 8 / 1024 ^ 2 Bytes = 267 MB，離運(yùn)行的電腦的內(nèi)存 2 GB 差很遠(yuǎn)。問題在于，運(yùn)行 lm() 函數(shù)會(huì)生成很多額外的變量塞滿內(nèi)存。比如說擬合值和殘差。

如果我們只是關(guān)心回歸的系數(shù)，我們可以直接用矩陣運(yùn)算來計(jì)算 β^ ：

R 中大型數(shù)據(jù)集的回歸-09大數(shù)據(jù) 

在本文運(yùn)行的計(jì)算機(jī)中，這個(gè)命令成功執(zhí)行， 而且很快（0.6秒）（我使用了一個(gè)優(yōu)化版本的 Rblas, 下載）。然而，如果樣本變得更加大了，這個(gè)矩陣運(yùn)算也會(huì)變得不可用?？梢怨浪愠?，如果樣本大小為 2GB / 7 / 8 Bytes = 38347922 ，x 和 y 自己就會(huì)占用了全部內(nèi)存，更不要說其他計(jì)算過程中出現(xiàn)的臨時(shí)變量了。

怎么破？

一個(gè)方法就是用數(shù)據(jù)庫來避免占用大量內(nèi)存，并且直接在數(shù)據(jù)庫中執(zhí)行 SQL 語句等。數(shù)據(jù)庫使用硬盤來保存數(shù)據(jù)，并且執(zhí)行 SQL 語句時(shí)只是占用少量內(nèi)存，所以基本上不用過于擔(dān)心內(nèi)存占用。不過有得有失，要更加關(guān)注完成任務(wù)所占用的時(shí)間。

R 支持很多數(shù)據(jù)庫，其中 SQLite 是最輕量級(jí)和簡單的。有一個(gè) RSQLite 包，允許用戶在 R 中對(duì) SQLite 進(jìn)行操作。這些操作包括了對(duì) SQLite 數(shù)據(jù)庫進(jìn)行讀寫，執(zhí)行 SQL 語句和在 R 中獲取執(zhí)行結(jié)果。所以，如果我們能夠把需要的算法“翻譯”到 SQL 語句版本，數(shù)據(jù)集的大小只受限于硬盤的大小和我們能夠接受的執(zhí)行時(shí)間。

采用上面的那個(gè)例子，我這里說明我們會(huì)怎樣用數(shù)據(jù)庫和 SQL 語句來對(duì)數(shù)據(jù)集進(jìn)行回歸。首先我們要把數(shù)據(jù)塞到硬盤上面。

R 中大型數(shù)據(jù)集的回歸-09大數(shù)據(jù) 

上述代碼有很多 rm() 和 gc() ，函數(shù)，這些函數(shù)是用來移除沒有用的臨時(shí)變量和釋放內(nèi)存。當(dāng)代碼運(yùn)行完畢的時(shí)候，你就會(huì)發(fā)現(xiàn)在你的工作空間中有一個(gè) 320M 左右的 regression.db 文件。然后就是最重要的一步了：把回歸的算法轉(zhuǎn)化為 SQL。

我們有

β^=(X′X)?1X′y

而且，無論 n 有多大，X′X 和 X′y 的大小總是 (p+1)?(p+1) 。如果變量不是很多，R 處理矩陣逆和矩陣乘法還是很輕松的，所以我們的主要目標(biāo)是用 SQL 來計(jì)算 X′X 和 X′y 。

由于 X=(x0,x1,…,xp)，所以 X′X 可以表達(dá)為：

$$%

而每一個(gè)矩陣元素都可以用 SQL 來計(jì)算，比如說：

R 中大型數(shù)據(jù)集的回歸-09大數(shù)據(jù) 

我們可以用 R 來生成 SQL 語句，然后把語句發(fā)送到 SQLite ：

R 中大型數(shù)據(jù)集的回歸-09大數(shù)據(jù)  

我們可以檢查這個(gè)結(jié)果：


R 中大型數(shù)據(jù)集的回歸-09大數(shù)據(jù) 

可以看出差別是舍入誤差導(dǎo)致的。


以上計(jì)算用了大約 17 秒，遠(yuǎn)遠(yuǎn)超出矩陣運(yùn)算的時(shí)間。不過它也幾乎沒有占用額外的內(nèi)存空間。實(shí)際上我們采用了“時(shí)間換空間”的策略。此外，你可能還發(fā)現(xiàn)，我們可以通過多個(gè)對(duì)數(shù)據(jù)庫的連接同步地計(jì)算 sum(x0*x0), sum(x0*x1), ..., sum(x5*x5) ，所以如果你有一個(gè)多核的服務(wù)器（而且硬盤足夠快），你還可以通過適當(dāng)?shù)陌才糯罅康販p少運(yùn)行時(shí)間。

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請(qǐng)參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }