99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁(yè)精彩閱讀深入對(duì)比數(shù)據(jù)科學(xué)工具箱：Python和R之爭(zhēng)
深入對(duì)比數(shù)據(jù)科學(xué)工具箱：Python和R之爭(zhēng)
2016-04-10
收藏
概述

在真實(shí)的數(shù)據(jù)科學(xué)世界里，我們會(huì)有兩個(gè)極端，一個(gè)是業(yè)務(wù)，一個(gè)是工程。偏向業(yè)務(wù)的數(shù)據(jù)科學(xué)被稱為數(shù)據(jù)分析（Data Analysis），也就是A型數(shù)據(jù)科學(xué)。偏向工程的數(shù)據(jù)科學(xué)被稱為數(shù)據(jù)構(gòu)建(Data Building)，也就是B型數(shù)據(jù)科學(xué)。

從工具上來(lái)看，按由業(yè)務(wù)到工程的順序，這個(gè)兩條是：EXCEL >> R >> Python >> Scala

在實(shí)際工作中，對(duì)于小數(shù)據(jù)集的簡(jiǎn)單分析來(lái)說(shuō)，使用EXCEL絕對(duì)是最佳選擇。當(dāng)我們需要更多復(fù)雜的統(tǒng)計(jì)分析和數(shù)據(jù)處理時(shí)，我們就需要轉(zhuǎn)移到 Python 和 R 上。在確定工程實(shí)施和大數(shù)據(jù)集操作時(shí)，我們就需要依賴 Scala 的靜態(tài)類型等工程方法構(gòu)建完整的數(shù)據(jù)分析系統(tǒng)。

Scala 和 Excel 是兩個(gè)極端，對(duì)于大多數(shù)創(chuàng)業(yè)公司而言，我們沒(méi)有足夠多的人手來(lái)實(shí)現(xiàn)專業(yè)化的分工，更多情況下，我們會(huì)在 Python 和 R 上花費(fèi)更多的時(shí)間同時(shí)完成數(shù)據(jù)分析（A型）和數(shù)據(jù)構(gòu)建（B型）的工作。而許多人也對(duì)Python和R的交叉使用存在疑惑，所以本文將從實(shí)踐角度對(duì) Python 和 R 中做了一個(gè)詳細(xì)的比較。

應(yīng)用場(chǎng)景對(duì)比

應(yīng)用Python的場(chǎng)景

網(wǎng)絡(luò)爬蟲(chóng)/抓?。罕M管 rvest 已經(jīng)讓 R 的網(wǎng)絡(luò)爬蟲(chóng)/抓取變得容易，但 Python 的 beautifulsoup 和 Scrapy 更加成熟、功能更強(qiáng)大，結(jié)合django-scrapy我們可以很快的構(gòu)建一個(gè)定制化的爬蟲(chóng)管理系統(tǒng)。

連接數(shù)據(jù)庫(kù)： R 提供了許多連接數(shù)據(jù)庫(kù)的選擇，但 Python 只用 sqlachemy 通過(guò)ORM的方式，一個(gè)包就解決了多種數(shù)據(jù)庫(kù)連接的問(wèn)題，且在生產(chǎn)環(huán)境中廣泛使用。Python由于支持占位符操作，在拼接SQL語(yǔ)句時(shí)也更加方便。

內(nèi)容管理系統(tǒng)：基于Django，Python可以快速通過(guò)ORM建立數(shù)據(jù)庫(kù)、后臺(tái)管理系統(tǒng)，而R

中的 Shiny 的鑒權(quán)功能暫時(shí)還需要付費(fèi)使用。

API構(gòu)建：通過(guò)Tornado這個(gè)標(biāo)準(zhǔn)的網(wǎng)絡(luò)處理庫(kù)，Python也可以快速實(shí)現(xiàn)輕量級(jí)的API，而R則較為復(fù)雜。

應(yīng)用R的場(chǎng)景

統(tǒng)計(jì)分析： 盡管 Python 里 Scipy、Pandas、statsmodels 提供了一系列統(tǒng)計(jì)工具 ，R 本身是專門為統(tǒng)計(jì)分析應(yīng)用建立的，所以擁有更多此類工具。

互動(dòng)式圖表/面板： 近來(lái) bokeh、plotly、 intuitics 將 Python 的圖形功能擴(kuò)展到了網(wǎng)頁(yè)瀏覽器，甚至我們可以用tornado+d3來(lái)進(jìn)一步定制可視化頁(yè)面，但 R 的 shiny 和 shiny dashboard 速度更快，所需代碼更少。

此外，當(dāng)今數(shù)據(jù)分析團(tuán)隊(duì)擁有許多技能，選擇哪種語(yǔ)言實(shí)際上基于背景知識(shí)和經(jīng)驗(yàn)。對(duì)于一些應(yīng)用，尤其是原型設(shè)計(jì)和開(kāi)發(fā)類，工作人員使用已經(jīng)熟悉的工具會(huì)比較快速。

數(shù)據(jù)流編程對(duì)比

接著，我們將通過(guò)下面幾個(gè)方面，對(duì)Python 和 R 的數(shù)據(jù)流編程做出一個(gè)詳細(xì)的對(duì)比。

1.參數(shù)傳遞

2.數(shù)據(jù)讀取

3.基本數(shù)據(jù)結(jié)構(gòu)對(duì)照

4.矩陣轉(zhuǎn)化

5.矩陣計(jì)算

6.數(shù)據(jù)操作

參數(shù)傳遞

Python/R 都可以通過(guò)命令行的方式和其他語(yǔ)言做交互，通過(guò)命令行而不是直接調(diào)用某個(gè)類或方法可以更好地降低耦合性，在提高團(tuán)隊(duì)協(xié)作的效率。



數(shù)據(jù)傳輸與解析

對(duì)于數(shù)據(jù)傳輸與解析，我們首推的格式是csv，因?yàn)橐环矫?，csv格式的讀寫(xiě)解析都可以通過(guò) Python 和 R 的原生函數(shù)完成，不需要再安裝其他包。另一方面，csv格式可以很快的轉(zhuǎn)化為 data frame 格式，而data frame 格式是數(shù)據(jù)流分析的核心。

不過(guò)，實(shí)際情況中，我們需要傳輸一些非結(jié)構(gòu)化的數(shù)據(jù)，這時(shí)候就必須用到 JSNO 或者 YAML。



基本數(shù)據(jù)結(jié)構(gòu)

由于是從科學(xué)計(jì)算的角度出發(fā)，R 中的數(shù)據(jù)結(jié)構(gòu)非常的簡(jiǎn)單，主要包括 向量（一維）、多維數(shù)組（二維時(shí)為矩陣）、列表（非結(jié)構(gòu)化數(shù)據(jù)）、數(shù)據(jù)框（結(jié)構(gòu)化數(shù)據(jù)）。而 Python 則包含更豐富的數(shù)據(jù)結(jié)構(gòu)來(lái)實(shí)現(xiàn)數(shù)據(jù)更精準(zhǔn)的訪問(wèn)和內(nèi)存控制，多維數(shù)組（可讀寫(xiě)、有序）、元組（只讀、有序）、集合（唯一、無(wú)序）、字典（Key-Value）等等。


矩陣操作

實(shí)際上，Python（numpy） 和 R中的矩陣都是通過(guò)一個(gè)多維數(shù)組（ndarray）實(shí)現(xiàn)的。





數(shù)據(jù)框操作

參考 R 中的 data frame 結(jié)構(gòu)，Python 的 Pandas包也實(shí)現(xiàn)了類似的 data frame 數(shù)據(jù)結(jié)構(gòu)?，F(xiàn)在，為了加強(qiáng)數(shù)據(jù)框的操作，R 中更是演進(jìn)出了 data table 格式（簡(jiǎn)稱dt），這種格式以 dt[where，select，group by] 的形式支持類似SQL的語(yǔ)法。





數(shù)據(jù)流編程對(duì)比的示例

Python 的 Pandas 中的管道操作



R 的 dplyr 中的管道操作



數(shù)據(jù)可視化對(duì)比

繪制相關(guān)性散點(diǎn)圖

對(duì)比數(shù)據(jù)相關(guān)性是數(shù)據(jù)探索常用的一種方法，下面是Python和R的對(duì)比。

Python



R



雖然我們最終得到了類似的圖形，這里R中GGally是依賴于ggplot2，而Python則是在matplotlib的基礎(chǔ)上結(jié)合Seaborn，除了GGally在R中我們還有很多其他的類似方法來(lái)實(shí)現(xiàn)對(duì)比制圖，顯然R中的繪圖有更完善的生態(tài)系統(tǒng)。

繪制聚類效果圖

這里以K-means為例，為了方便聚類，我們將非數(shù)值型或者有確實(shí)數(shù)據(jù)的列排除在外。

Python



R




速度對(duì)比

Python



The slowest run took 9.29 times longer than the fastest. This could mean that an intermediate result is being cached

1 loops， best of 3： 111 ms per loop

R



顯然這里 R 1.326的成績(jī) 比 Python 的 Numpy 3：111 的速度快了不少。

事實(shí)上，現(xiàn)在 R 和 Python 的數(shù)據(jù)操作的速度已經(jīng)被優(yōu)化得旗鼓相當(dāng)了。下面是R中的 data.table、dplyr 與 Python 中的 pandas 的數(shù)據(jù)操作性能對(duì)比：



結(jié)論

Python 的 pandas 從 R 中偷師 dataframes，R 中的 rvest 則借鑒了 Python 的 BeautifulSoup，我們可以看出兩種語(yǔ)言在一定程度上存在的互補(bǔ)性，通常，我們認(rèn)為 Python 比 R 在泛型編程上更有優(yōu)勢(shì)，而 R 在數(shù)據(jù)探索、統(tǒng)計(jì)分析是一種更高效的獨(dú)立數(shù)據(jù)分析工具。所以說(shuō)，同時(shí)學(xué)會(huì)Python和R這兩把刷子才是數(shù)據(jù)科學(xué)的王道。

本文由CDA作者庫(kù)成員HarryZhu原創(chuàng)，并授權(quán)發(fā)布。

CDA作者庫(kù)凝聚原創(chuàng)力量，只做更有價(jià)值的分享。

了解詳情請(qǐng)微信添加trasn863，或發(fā)送郵件至songpeiyang@pinggu.org




數(shù)據(jù)分析咨詢請(qǐng)掃描二維碼

若不方便掃碼，搜微信號(hào)：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對(duì)象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺(tái)檢測(cè)極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說(shuō)明請(qǐng)參見(jiàn)：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請(qǐng)輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請(qǐng)輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }