99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話：13121318867

登錄
首頁精彩閱讀數(shù)據(jù)分析行業(yè)薪資的秘密，你想知道的都在這里(一)
數(shù)據(jù)分析行業(yè)薪資的秘密，你想知道的都在這里(一)
2018-01-03
收藏

數(shù)據(jù)分析行業(yè)薪資的秘密，你想知道的都在這里

第一部分，數(shù)據(jù)分析職位信息抓取

數(shù)據(jù)分析師的收入怎么樣?哪些因素對于數(shù)據(jù)分析的薪資影響最大?哪些行業(yè)對數(shù)據(jù)分析人才的需求量最高?我想跳槽，應(yīng)該選擇大公司大平臺還是初創(chuàng)的小公司?按我目前的教育程度，工作經(jīng)驗(yàn)，和掌握的工具和技能，能獲得什么樣水平的薪資呢?

我們使用python抓取了2017年6月26日拉鉤網(wǎng)站內(nèi)搜索“數(shù)據(jù)分析”關(guān)鍵詞下的450條職位信息。通過對這些職位信息的分析和建模來給你答案。

本系列文章共分為五個(gè)部分，分別是數(shù)據(jù)分析職位信息抓取，數(shù)據(jù)清洗及預(yù)處理，數(shù)據(jù)分析職位需求分析，數(shù)據(jù)分析職位薪影響因素分析，以及數(shù)據(jù)分析職位薪資建模及預(yù)測。這是第一篇：數(shù)據(jù)分析職位信息抓取。

數(shù)據(jù)抓取前的準(zhǔn)備工作

首先我們需要獲取職位信息的數(shù)據(jù)，方法是使用python進(jìn)行抓取。整個(gè)抓取過程分為兩部分，第一部分是抓取拉鉤列表頁中包含的職位信息，例如職位名稱，薪資范圍，學(xué)歷要求，工作地點(diǎn)等。第二部分是抓取每個(gè)職位詳情頁中的任職資格和職位描述信息。然后我們將使用結(jié)巴分詞和nltk對職位描述中的文字信息進(jìn)行處理和信息提取。下面我們開始介紹每一步的操作過程。

首先，導(dǎo)入抓取和數(shù)據(jù)處理所需的庫文件，這里不再贅述。


  1. #導(dǎo)入抓取所需庫文件 
  2. import requests 
  3. import numpy as np 
  4. import pandas as pd 
  5. import json 
  6. import time 
  7. from bs4 import BeautifulSoup  


然后設(shè)置頭部信息和Cookie信息。


  1. #設(shè)置頭部信息 
  2. headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 
  3.     'Accept':'text/html;q=0.9,*/*;q=0.8', 
  4.     'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 
  5.     'Connection':'close', 
  6.     'Referer':'https://www.baidu.com/' 
  7.     } 
  8.   
  9. #設(shè)置Cookie信息 
  10. cookie={'TrackID':'1_VWwvLYiy1FUr7wSr6HHmHhadG8d1-Qv-TVaw8JwcFG4EksqyLyx1SO7O06_Y_XUCyQMksp3RVb2ezA', 
  11.     '__jda':'122270672.1507607632.1423495705.1479785414.1479794553.92', 
  12.     '__jdb':'122270672.1.1507607632|92.1479794553', 
  13.     '__jdc':'122270672', 
  14.     '__jdu':'1507607632', 
  15.     '__jdv':'122270672|direct|-|none|-|1478747025001', 
  16.     'areaId':'1', 
  17.     'cn':'0', 
  18.     'ipLoc-djd':'1-72-2799-0', 
  19.     'ipLocation':'%u5317%u4EAC', 
  20.     'mx':'0_X', 
  21.     'rkv':'V0800', 
  22.     'user-key':'216123d5-4ed3-47b0-9289-12345', 
  23.     'xtest':'4657.553.d9798cdf31c02d86b8b81cc119d94836.b7a782741f667201b54880c925faec4b'}  


抓取職位列表信息

設(shè)置要抓取的頁面URL，拉鉤的職位信息列表是JS動(dòng)態(tài)加載的，不在所顯示的頁面URL中。所以直接抓取列表頁并不能獲得職位信息。這里我們使用Chrome瀏覽器里的開發(fā)者工具進(jìn)行查找。具體方法是在商品詳情頁點(diǎn)擊鼠標(biāo)右鍵，選擇檢查，在彈出的開發(fā)者工具界面中選擇Network，設(shè)置為禁用緩存(Disable cache)和只查看XHR類型的請求。然后刷新頁面。一共有4個(gè)請求，選擇包含positionAjax關(guān)鍵字的鏈接就是我們要抓取的URL地址。具體過程如下面截圖所示。

這里有一個(gè)問題，要抓取的URL地址中只有第一頁的15個(gè)職位信息，并且URL參數(shù)中也沒有包含頁碼。而我們要抓取的是全部30多頁的職位列表。如何翻頁呢?后面我們將解決這個(gè)問題。


  1. #設(shè)置抓取頁面的URL 
  2.  
  3. url='https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'  


職位列表中包含了多個(gè)職位相關(guān)的信息，我們先建立一些空list用于存儲這些信息。


  1. #創(chuàng)建list用于存儲數(shù)據(jù) 
  2. positionName=[] 
  3. workYear=[] 
  4. education=[] 
  5. district=[] 
  6. jobNature=[] 
  7. salary=[] 
  8. city=[] 
  9. businessZones=[] 
  10. companyLabelList=[] 
  11. companySize=[] 
  12. financeStage=[] 
  13. industryField=[] 
  14. secondType=[] 
  15. positionId=[]  


開始抓取列表頁中的職位信息，建立一個(gè)30頁的循環(huán)然后將頁碼作為請求參數(shù)與頭部信息和Cookie一起傳給服務(wù)器。獲取返回的信息后對頁面內(nèi)容進(jìn)行解碼，然后從json數(shù)據(jù)中提取所需的職位信息，并保存在上一步創(chuàng)建的list中。用于后續(xù)的組表。這里的最后一個(gè)信息是職位id，也就是拉鉤職位詳情頁URL中的一部分。通過這個(gè)id我們可以生成與列表頁職位相對應(yīng)的詳情頁URL。并從中提取任職資格和職位描述信息。


  1. #循環(huán)抓取列表頁信息 
  2. for x in range(1,31): 
  3.         #設(shè)置查詢關(guān)鍵詞及當(dāng)前頁碼 
  4.         para = {'first': 'true','pn': x, 'kd': "數(shù)據(jù)分析"} 
  5.         #抓取列表頁信息 
  6.         r=requests.get(url=url,headers=headers,cookies=cookie,params=para) 
  7.         #存儲bytes型頁面數(shù)據(jù) 
  8.         html=r.content 
  9.         #對頁面內(nèi)容進(jìn)行解碼 
  10.         html = html.decode() 
  11.         #將json串轉(zhuǎn)化為dict 
  12.         html_json=json.loads(html) 
  13.         #逐層獲取職位列表信息 
  14.         content=html_json.get('content') 
  15.         positionResult=content.get('positionResult') 
  16.         result=positionResult.get('result') 
  17.         #循環(huán)提取職位列表中的關(guān)鍵信息 
  18.         for i in result: 
  19.             #獲取職位名稱，工作年限，教育程度，城市及薪資范圍等信息。 
  20.             positionName.append(i.get('positionName')) 
  21.             workYear.append(i.get('workYear')) 
  22.             education.append(i.get('education')) 
  23.             district.append(i.get('district')) 
  24.             jobNature.append(i.get('jobNature')) 
  25.             salary.append(i.get('salary')) 
  26.             city.append(i.get('city')) 
  27.             businessZones.append(i.get('businessZones')) 
  28.             companyLabelList.append(i.get('companyLabelList')) 
  29.             companySize.append(i.get('companySize')) 
  30.             financeStage.append(i.get('financeStage')) 
  31.             industryField.append(i.get('industryField')) 
  32.             secondType.append(i.get('secondType')) 
  33.             #獲取職位的Id編碼。 
  34.             positionId.append(i.get('positionId'))  


設(shè)置一個(gè)當(dāng)前的日期字段，用于標(biāo)記數(shù)據(jù)獲取的時(shí)間。


  1. #設(shè)置日期字段 
  2. date=time.strftime('%Y-%m-%d',time.localtime(time.time()))  


將前面抓取到的職位信息，以及當(dāng)前的日期一起組成Dataframe。便于后續(xù)的處理和分析。


  1. #設(shè)置DataFrame表格順序 
  2. columns = ['date','positionName',  
  3.   
  4. 'workYear','education','jobNature','businessZones','salary','city','companyLabelList','companySize','financeStage','industryField','d 
  5.   
  6. istrict','secondType','positionId'] 
  7. #將獲取到的字段信息合并為DataFrame 
  8. table=pd.DataFrame({'date':date, 
  9.                     'positionName':positionName, 
  10.                     'workYear':workYear, 
  11.                     'education':education, 
  12.                     'jobNature':jobNature, 
  13.                     'businessZones':businessZones, 
  14.                     'salary':salary, 
  15.                     'city':city, 
  16.                     'companyLabelList':companyLabelList, 
  17.                     'companySize':companySize, 
  18.                     'financeStage':financeStage, 
  19.                     'industryField':industryField, 
  20.                     'district':district, 
  21.                     'secondType':secondType, 
  22.                     'positionId':positionId}, 
  23.                     columns=columns)  


查看生成的數(shù)據(jù)表，其中包含了我們在列表頁中抓取的信息，以及下一步要使用的職位id信息。


  1. #查看數(shù)據(jù)表 
  2.  
  3. table 


這里你可以保存一個(gè)版本，也可以忽略這一步，繼續(xù)后面的職位詳情頁信息抓取。


  1. #存儲數(shù)據(jù)表 
  2.  
  3. table.to_csv('lagou_' + date + '.csv')  


抓取職位詳情信息(職位描述)

抓取職位詳情頁的信息，首先需要通過拼接生成職位詳情頁的URL。我們預(yù)先寫好URL的開始和結(jié)束部分，這兩部分是固定的，抓取過程中不會發(fā)生變化 ，中間動(dòng)態(tài)填充職位的id。


  1. #設(shè)置詳情頁的URL固定部分 
  2.  
  3. url1='https://www.lagou.com/jobs/' 
  4.  
  5. url2='.html'  


創(chuàng)建一個(gè)list用于存儲抓取到的職位描述信息。


  1. #創(chuàng)建job_detail用于存儲職位描述 
  2.  
  3. job_detail=[]  


從前面抓取的職位id(positionId)字段循環(huán)提取每一個(gè)id信息，與URL的另外兩部分組成要抓取的職位詳情頁URL。并從中提取職位描述信息。這里的職位信息不是js動(dòng)態(tài)加載的，因此直接抓取頁面信息保存在之前創(chuàng)建的list中就可以了。


  1. #循環(huán)抓取詳情頁的職位描述 
  2. for d in positionId: 
  3.     #更改positionId格式 
  4.     d=str(d) 
  5.     #拼接詳情頁URL 
  6.     url3=(url1 + d + url2) 
  7.     #抓取詳情頁信息 
  8.     r=requests.get(url=url3,headers=headers,cookies=cookie) 
  9.     #存儲bytes型頁面數(shù)據(jù)yu 
  10.     detail=r.content 
  11.     #創(chuàng)建 beautifulsoup 對象 
  12.     lagou_detail=BeautifulSoup(detail) 
  13.     #提取職位描述信息 
  14.     gwzz=lagou_detail.find_all('dd',attrs={'class':'job_bt'})    
  15.     for j in gwzz: 
  16.         gwzz_text=j.get_text() 
  17.         job_detail.append(gwzz_text)  


查看并檢查一下提取到的職位描述信息。然后將職位描述信息拼接到之前創(chuàng)建的Dataframe中。


  1. #查看職位描述信息 
  2.  
  3. job_detail 


完整的職位抓取代碼

以下是完整的抓取代碼，步驟和前面介紹的略有不同，最后生成一個(gè)包含所有職位信息和描述的完整數(shù)據(jù)表。用于下一步的數(shù)據(jù)清洗，預(yù)處理，分析和建模的工作。


  1. def lagou(p): 
  2.     import requests 
  3.     import numpy as np 
  4.     import pandas as pd 
  5.     import json 
  6.     import time 
  7.     from bs4 import BeautifulSoup 
  8.     import jieba as jb 
  9.     import jieba.analyse 
  10.     headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11', 
  11.     'Accept':'text/html;q=0.9,*/*;q=0.8', 
  12.     'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3', 
  13.     'Connection':'close', 
  14.     'Referer':'https://www.jd.com/' 
  15.     } 
  16.     cookie={'TrackID':'1_VWwvLYiy1FUr7wSr6HHmHhadG8d1-Qv-TVaw8JwcFG4EksqyLyx1SO7O06_Y_XUCyQMksp3RVb2ezA', 
  17.     '__jda':'122270672.1507607632.1423495705.1479785414.1479794553.92', 
  18.     '__jdb':'122270672.1.1507607632|92.1479794553', 
  19.     '__jdc':'122270672', 
  20.     '__jdu':'1507607632', 
  21.     '__jdv':'122270672|direct|-|none|-|1478747025001', 
  22.     'areaId':'1', 
  23.     'cn':'0', 
  24.     'ipLoc-djd':'1-72-2799-0', 
  25.     'ipLocation':'%u5317%u4EAC', 
  26.     'mx':'0_X', 
  27.     'rkv':'V0800', 
  28.     'user-key':'216123d5-4ed3-47b0-9289-12345', 
  29.     'xtest':'4657.553.d9798cdf31c02d86b8b81cc119d94836.b7a782741f667201b54880c925faec4b'} 
  30.     url='https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false' 
  31.     positionName=[] 
  32.     workYear=[] 
  33.     education=[] 
  34.     district=[] 
  35.     jobNature=[] 
  36.     salary=[] 
  37.     city=[] 
  38.     businessZones=[] 
  39.     companyLabelList=[] 
  40.     companySize=[] 
  41.     financeStage=[] 
  42.     industryField=[] 
  43.     secondType=[] 
  44.     positionId=[] 
  45.     for x in range(1,31): 
  46.         para = {'first': 'true','pn': x, 'kd': p} 
  47.         r=requests.get(url=url,headers=headers,cookies=cookie,params=para) 
  48.         html=r.content 
  49.         html = html.decode() 
  50.         html_json=json.loads(html) 
  51.         content=html_json.get('content') 
  52.         positionResult=content.get('positionResult') 
  53.         result=positionResult.get('result') 
  54.         for i in result: 
  55.             positionName.append(i.get('positionName')) 
  56.             workYear.append(i.get('workYear')) 
  57.             education.append(i.get('education')) 
  58.             district.append(i.get('district')) 
  59.             jobNature.append(i.get('jobNature')) 
  60.             salary.append(i.get('salary')) 
  61.             city.append(i.get('city')) 
  62.             businessZones.append(i.get('businessZones')) 
  63.             companyLabelList.append(i.get('companyLabelList')) 
  64.             companySize.append(i.get('companySize')) 
  65.             financeStage.append(i.get('financeStage')) 
  66.             industryField.append(i.get('industryField')) 
  67.             secondType.append(i.get('secondType')) 
  68.             positionId.append(i.get('positionId')) 
  69.     url1='https://www.lagou.com/jobs/' 
  70.     url2='.html' 
  71.     job_detail=[] 
  72.     for d in positionId: 
  73.         d=str(d) 
  74.         url3=(url1 + d + url2) 
  75.         r=requests.get(url=url3,headers=headers,cookies=cookie) 
  76.         detail=r.content 
  77.         lagou_detail=BeautifulSoup(detail) 
  78.         gwzz=lagou_detail.find_all('dd',attrs={'class':'job_bt'})    
  79.         for j in gwzz: 
  80.             gwzz_text=j.get_text() 
  81.             job_detail.append(gwzz_text) 
  82.     date=time.strftime('%Y-%m-%d',time.localtime(time.time())) 
  83.     columns = ['date','positionName', 'workYear','education','jobNature','businessZones','salary','city','companyLabelList','companySize','financeStage','industryField','district','secondType','positionId','job_detail'] 
  84.     table=pd.DataFrame({'date':date, 
  85.                         'positionName':positionName, 
  86.                         'workYear':workYear, 
  87.                         'education':education, 
  88.                         'jobNature':jobNature, 
  89.                         'businessZones':businessZones, 
  90.                         'salary':salary, 
  91.                         'city':city, 
  92.                         'companyLabelList':companyLabelList, 
  93.                         'companySize':companySize, 
  94.                         'financeStage':financeStage, 
  95.                         'industryField':industryField, 
  96.                         'district':district, 
  97.                         'secondType':secondType, 
  98.                         'positionId':positionId, 
  99.                         'job_detail':job_detail}, 
  100.                         columns=columns) 
  101.     table.to_csv('lagou_' + p + date + '.csv') 
  102.   
  103. lagou("數(shù)據(jù)分析") 


到這里我們已經(jīng)獲取了拉鉤網(wǎng)的450個(gè)數(shù)據(jù)分析職位信息及職位描述。我們將在后面的文章中對這450個(gè)職位信息進(jìn)行分析和建模。


數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼，搜微信號：CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機(jī)數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進(jìn)行初始化 // 參數(shù)1：配置參數(shù) // 參數(shù)2：回調(diào)，回調(diào)的第一個(gè)參數(shù)驗(yàn)證碼對象，之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個(gè)配置參數(shù)為必須，不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗(yàn)服務(wù)器是否宕機(jī) new_captcha: data.new_captcha, // 用于宕機(jī)時(shí)表示是新驗(yàn)證碼的宕機(jī) product: "float", // 產(chǎn)品形式，包括：float，popup width: "280px", https: true // 更多配置參數(shù)說明請參見：http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計(jì)時(shí)完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'！'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'！'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }