99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀R語(yǔ)言企業(yè)級(jí)數(shù)據(jù)挖掘應(yīng)用
R語(yǔ)言企業(yè)級(jí)數(shù)據(jù)挖掘應(yīng)用
2016-04-07
收藏

R語(yǔ)言企業(yè)級(jí)數(shù)據(jù)挖掘應(yīng)用

在互聯(lián)網(wǎng)企業(yè)，在分析端使用閉源的商用軟件幾乎是不可能的，原因很簡(jiǎn)單：成本太高，不管是使用，還是研發(fā)及維護(hù)。 但我個(gè)人覺(jué)得這可能還不是最主要的原因，對(duì)于互聯(lián)網(wǎng)企業(yè)來(lái)說(shuō)，數(shù)據(jù)雖然獲取更容易，但環(huán)境更為復(fù)雜。開(kāi)源軟件可以根據(jù)業(yè)務(wù)的變化 進(jìn)行調(diào)整，但商業(yè)的閉源軟件則很難做到。

R能不能處理大數(shù)據(jù)

好多人問(wèn)過(guò)我這個(gè)問(wèn)題，我會(huì)說(shuō)你有多大內(nèi)存就能處理多大數(shù)據(jù)，這話顯然不負(fù)責(zé)任。這個(gè)問(wèn)題確實(shí)不太好回答，因?yàn)槊總€(gè)人心中的大數(shù)據(jù)是不一樣的。 比如有人覺(jué)得幾百萬(wàn)就是大數(shù)據(jù)，有些人覺(jué)得沒(méi)個(gè)幾億就不算大數(shù)據(jù)，甚至有人說(shuō)你處理不了的就是大數(shù)據(jù)（擦??？）。這些還只是從記錄 數(shù)（數(shù)據(jù)存儲(chǔ)）的角度來(lái)看的，我們換個(gè)角度想想：建模工程師要做的事情無(wú)非是將用戶和產(chǎn)品進(jìn)行合理匹配，那最細(xì)粒度就是用戶維（或產(chǎn)品維）。 試問(wèn)你有超過(guò)千萬(wàn)的用戶數(shù)據(jù)分析建模么？對(duì)于一般的分析（工程）師來(lái)說(shuō)，常見(jiàn)的情況還是幾十萬(wàn)甚或百萬(wàn)級(jí)別。這個(gè)量級(jí)對(duì)于R來(lái)說(shuō)就很容易了， 比如我剛剛的工作就是在自己的PC上載入了一個(gè)50000000×3的數(shù)據(jù)框。

接著我們?cè)谡f(shuō)說(shuō)速度，曾經(jīng)有太多的人抱怨R的運(yùn)行速度太慢，甚至堂而皇之的公開(kāi)表明觀點(diǎn)。但我發(fā)現(xiàn)大部分人是因?yàn)椴皇煜?a href='/map/r/' style='color:#000;font-size:inherit;'>R語(yǔ)言的編程， 而是直接套用C或Java的編程方式，因而導(dǎo)致無(wú)法快速得到結(jié)果。舉兩個(gè)例子：

有次在微博上一位朋友抱怨說(shuō)R做了一個(gè)幾千乘幾千的相關(guān)矩陣花了他1天時(shí)間，我當(dāng)時(shí)就愕然了，然后默默地給了一個(gè)幾秒鐘搞定的腳本。

還有一次更具有代表性：我的項(xiàng)目組有個(gè)R的項(xiàng)目需要上線，于是直接把原始代碼交予了一位項(xiàng)目成員，囑咐他稍作改動(dòng)即可上線。 但他發(fā)現(xiàn)需要3個(gè)小時(shí)才能將線上的數(shù)據(jù)計(jì)算完畢，于是又找到我?guī)兔?yōu)化。我看了一下，果不其然，Java風(fēng)格的R代碼，向量化編程的思想 一點(diǎn)都沒(méi)有用。改之，3分鐘結(jié)束計(jì)算。

R語(yǔ)言的向量化運(yùn)算幾乎可以和底層語(yǔ)言的速度一較高下，并且向量化是天然的并行化方式，如果條件允許，R的向量化編程可以很方便的轉(zhuǎn)化為并行框架， 這也就是為什么說(shuō)R + Hadoop是大數(shù)據(jù)的發(fā)展方向的理由之一。

再說(shuō)個(gè)例子：試問(wèn)100萬(wàn)行，20萬(wàn)列的數(shù)據(jù)是大數(shù)據(jù)么（你沒(méi)看錯(cuò)，是200000維）？恩，R能夠處理，而且可以在這類數(shù)據(jù)上構(gòu)建模型。

再看看大數(shù)據(jù)的流動(dòng)

對(duì)于管理者來(lái)說(shuō)，合適的人出現(xiàn)合適的崗位是衡量管理者是否合格的重要標(biāo)準(zhǔn)之一。對(duì)于數(shù)據(jù)分析人員，合適的工具匹配合適的數(shù)據(jù)則是是否勝任工作的 基本素質(zhì)之一。R并不是通吃所有的數(shù)據(jù)場(chǎng)景，它只是在出現(xiàn)在該出現(xiàn)的分析建模環(huán)節(jié)。

R的位置在哪里？先讓我們看看所謂的大數(shù)據(jù)是如何從企業(yè)中傳遞的：

36大數(shù)據(jù)

從最底層的原始數(shù)據(jù)來(lái)看，PB級(jí)數(shù)據(jù)確實(shí)不是R所擅長(zhǎng)，但這些數(shù)據(jù)有Hadoop或者其他高性能存儲(chǔ)和處理系統(tǒng)；

向上是針對(duì)于不同業(yè)務(wù)場(chǎng)景的數(shù)據(jù)集市，經(jīng)過(guò)清洗后，數(shù)據(jù)的規(guī)模則下降到了TB級(jí)；

再向上則是針對(duì)于特定任務(wù)的分析和挖掘模塊，數(shù)據(jù)已經(jīng)被整理到了GB級(jí)，這時(shí)候R的處理則是非常方便

R分析的結(jié)果則是MB級(jí)的輸出，比如圖表、得分，或者是規(guī)則。比如規(guī)則很容易在數(shù)據(jù)集市這段做并行化計(jì)算

我的團(tuán)隊(duì)在大量使用R作為分析建模工具，看似比較另類，但其實(shí)Google、Facebook、Linkedin等公司已經(jīng)有大量的直接使用R做分析挖掘的應(yīng)用， 只是大家不太留意罷了。

一句話總結(jié)：R并不是在象牙塔里供科研人員玩耍的玩具，而是實(shí)實(shí)在在工業(yè)界使用的便捷環(huán)境。

當(dāng)然，這里還有很多問(wèn)題沒(méi)有展開(kāi)，比如：

R語(yǔ)言的數(shù)據(jù)挖掘應(yīng)該在并行化環(huán)境完成還是在單臺(tái)機(jī)器的計(jì)算環(huán)境完成？

抽樣可否解決大數(shù)據(jù)挖掘問(wèn)題？

生產(chǎn)中直接實(shí)施R環(huán)境是否可行？

數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }