99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁大數(shù)據(jù)時代提升工作效率：我常用的R語言自動化
提升工作效率：我常用的R語言自動化
2021-08-05
收藏

DA：您是如何入行的？

高云：因為我并不是學統(tǒng)計學和計算機專業(yè)的，畢業(yè)后是在電信運營商做網(wǎng)絡維護和網(wǎng)絡優(yōu)化相關(guān)的工作，這一干就是6年的時間。大家都知道從2009年3G時代以后，隨著移動互聯(lián)網(wǎng)的爆發(fā)，運營商的移動數(shù)據(jù)流量也是與日俱增，我剛好負責的就是數(shù)據(jù)業(yè)務的流量監(jiān)控工作，搭建了一套全網(wǎng)數(shù)據(jù)流量的監(jiān)控平臺，研究全網(wǎng)大大小小接口流量的起起落落，也算是大數(shù)據(jù)的初體驗吧。

近幾年，運營商對于數(shù)據(jù)價值的探索需求也逐漸旺盛，我們成立了專門的大數(shù)據(jù)中心，時任的主管也是特別看好我的潛力，希望我能加入到這樣一個專門做數(shù)據(jù)分析和數(shù)據(jù)挖掘的團隊中來。也正是在他不斷引領(lǐng)下，我從一個大數(shù)據(jù)的門外漢，一路走到了今天，所以，說到入行，真的是非常感謝他。

DA：您的工作經(jīng)歷，目前的工作職責是什么？工作中曾做過的數(shù)據(jù)分析實例，以及您的職業(yè)規(guī)劃？

高云：在運營商做大數(shù)據(jù)分析工作的這段時間里，做過很多基于空間地理的用戶遷徙、商圈人流、用戶的社交網(wǎng)絡以及用戶特征標簽的建模和分析項目。在2015年我加入了一家專注于零售行業(yè)的O2O大數(shù)據(jù)服務的創(chuàng)業(yè)公司，擔任數(shù)據(jù)分析總監(jiān)的職務，全面負責公司對外的數(shù)據(jù)分析服務、用戶標簽體系建設和產(chǎn)品優(yōu)化相關(guān)的工作。

在我未來的職業(yè)規(guī)劃中，數(shù)據(jù)分析一定是一條主線，做一名專業(yè)領(lǐng)域的數(shù)據(jù)科學家是我最終的目標。所以，在繁忙的工作中，我會要求自己不能停下學習的腳步，無論的數(shù)據(jù)分析的技術(shù)，還是專業(yè)領(lǐng)域的行業(yè)知識，都有太多需要去探索的東西。

DA：能否給我們講講您在工作中遇到的印象深刻的困難及其背景成因？

高云：其實，任何一個數(shù)據(jù)分析或者數(shù)據(jù)挖掘項目的困難，都只是一個暫時的需要跨越的障礙而已，這樣的困難往往是我們不斷學習進步的機會，并不是數(shù)據(jù)分析師最大的敵人。在我看來，數(shù)據(jù)分析師工作最大的制約是效率問題。我們往往在常規(guī)的數(shù)據(jù)采集、ETL、數(shù)據(jù)清洗和規(guī)范的報表制作中耗費了大量的時間和精力，而這部分基礎而重要的工作，產(chǎn)生的顯性價值又很低。占用了大量數(shù)據(jù)分析師時間和精力的同時，制約了大家進一步探索數(shù)據(jù)、挖掘數(shù)據(jù)隱含價值以及追求卓越的數(shù)據(jù)可視化的思考空間。這樣經(jīng)典的二八現(xiàn)象在數(shù)據(jù)分析行業(yè)內(nèi)是屢見不鮮的。

DA：如何解決這個問題呢？能否請您向廣大同行分享下思路？

高云：解決這個問題的關(guān)鍵在于自動化，這也是目前越來越多先進的數(shù)據(jù)分析和挖掘工具能夠大行其道的原因所在，無論是SPSS、SAS還是R、Python，甚至是EXCEL，都有足夠的能力將常規(guī)的“規(guī)定動作”時間壓縮到很小的范圍，讓大家有足夠的時間去完成那些機器無法完成的“人的工作”，而這部分“人的工作”才是數(shù)據(jù)分析師這個職業(yè)存在的最大價值。

具體來說，我們會把數(shù)據(jù)格式轉(zhuǎn)換、異常值識別、數(shù)據(jù)清洗和基本的數(shù)據(jù)統(tǒng)計分析工作利用R語言作為工具，編寫自動化的R腳本文件實現(xiàn)，甚至直接生成可視化報表的PPT文件。把以前需要好幾天完成的工作，在幾秒內(nèi)實現(xiàn)，這種感覺還是很COOL的。

分享一些我們在R語言自動化實現(xiàn)過程中用到的擴展包和函數(shù)：

plyr

dplyr

reshape2（數(shù)據(jù)整理）

boxplot.stats函數(shù)（異常值檢測）

ggplot2（可視化）

knitr（生成報告）

因此，磨刀不誤砍柴工，希望廣大同行都能通過各種手段把自己從80%的繁瑣、重復勞動中解放出來，釋放更多的價值。

DA：您可否推薦一些平時充電學習專業(yè)知識的平臺或途徑？

高云：首選當然是經(jīng)管之家了，我的大量的視頻、電子書資源都是從論壇中獲得的，這里還想感謝一下廣大的壇友呢。

其它的途徑我主要是看書，畢竟電腦看了一天了，晚上一般喜歡翻一翻紙質(zhì)的書籍，像O`Rilly出版社發(fā)行的很多國外的數(shù)據(jù)挖掘、機器學習類的書籍質(zhì)量都是非常高的。另外還有一個比較快速獲得知識和幫助的平臺就是QQ群了，那真是一個高手云集的地方。

DA：您對希望從事數(shù)據(jù)分析行業(yè)的人有哪些建議？

高云：要對數(shù)據(jù)有熱愛。從事數(shù)據(jù)分析這個行業(yè)有時候的工作時很艱苦的，對著各類數(shù)據(jù)報表一看就是一天，如果沒有足夠的熱愛，很難有這樣的耐心和毅力去堅持。無論是學習和工作，都要用一種專注甚至是苛刻的態(tài)度去做，只有這樣，才能讓我們的分析結(jié)論有足夠的說服力，自己才能獲得足夠的信心。

另外，很多剛?cè)腴T的分析師往往不知道需要學習什么樣的工具，或者是什么工具都想學，但是什么都學的一知半解又無法深入。其實，初期的時候能熟練使用1-2個工具就足夠了，把一個工具用深用精很重要，很多的工具都是觸類旁通的。

最后一點建議是，數(shù)據(jù)可視化很重要，重要到可以說三遍。在數(shù)據(jù)規(guī)模和信息量爆炸的今天，可視化作為一個最接近用戶的表達手段，有著“最后一公里”的重要價值。一個有趣的數(shù)據(jù)分析結(jié)果，如果沒有一個有吸引力的可視化表達方式，往往就會石沉大海了。而一個獨到的可視化設計，會對一個數(shù)據(jù)分析的結(jié)論有難以估計的加分作用。

DA：您如何看待數(shù)據(jù)分析師行業(yè)的就業(yè)前景及未來發(fā)展？

高云：粗略的算一下，大家可能感覺周圍的數(shù)據(jù)分析師很多，學校里相關(guān)的專業(yè)也是越來越熱門。但落實到每個專業(yè)領(lǐng)域中來，優(yōu)秀的數(shù)據(jù)分析人才還是非常稀缺的，而數(shù)據(jù)分析師在不同領(lǐng)域的工作中又有一定的通用性，所以就業(yè)和轉(zhuǎn)行的機會也更多，前景還是非常好的。

DA：平時工作之余都做些什么，有什么特長愛好呢？

高云：因為現(xiàn)在的工作確實比較忙，工作之余其實就是更多的陪伴家人和孩子吧，畢竟她們對我的支持是最大的，也是我最需要感恩的人。愛好的話是足球和三國殺啦，體育鍛煉和腦力鍛煉兼顧吧。說真的，有時候數(shù)據(jù)分析師的大腦還是需要放松一下的，一直緊繃著的話就會失去很多靈感和創(chuàng)意了。

高云留下了自己的聯(lián)系方式，QQ：32323597 郵箱：32323597@qq.com。有問題想要溝通的同學可以在后臺留言哦~

后記：這是“每天一個數(shù)據(jù)分析師”的第10期采訪，非常感謝受訪的各位老師以及訂閱讀者向我們提出的各種建議，我們期待更多的聲音！我們計劃每天采訪一個數(shù)據(jù)分析師（覆蓋各行各業(yè)），聽TA在從業(yè)路上的故事，講TA在工作中遇到的種種困難以及采取的解決方案。歡迎大家踴躍推薦或者自薦。聯(lián)系我們請直接在微信留言或發(fā)郵件到：adaaday@pinggu.org。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個參數(shù)驗證碼對象，之后可以使用它調(diào)用相應的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }