99999久久久久久亚洲,欧美人与禽猛交狂配,高清日韩av在线影院,一个人在线高清免费观看,啦啦啦在线视频免费观看www

熱線電話:13121318867

登錄
首頁精彩閱讀用Python抓取2500份數(shù)據(jù)類崗位需求,終于發(fā)現(xiàn)了未來最吃香崗位
用Python抓取2500份數(shù)據(jù)類崗位需求,終于發(fā)現(xiàn)了未來最吃香崗位
2021-11-30
收藏

作者:俊欣

來源:關(guān)于數(shù)據(jù)分析與可視化

隨著各行各業(yè)都在進行數(shù)字化轉(zhuǎn)型,數(shù)據(jù)方面的人才也成為了各家企業(yè)招聘的重點對象,不同數(shù)據(jù)類型的崗位提供的薪資待遇又是如何的?哪個城市最需要數(shù)據(jù)方面的人才、未來的發(fā)展前景與錢途又是怎么樣的?今天小編抓取了某互聯(lián)網(wǎng)招聘平臺上面的招聘信息,來為大家分析分析。我們大致會講

  • 數(shù)據(jù)抓取的流程與步驟
  • 數(shù)據(jù)清洗的流程與步驟
  • 可視化的結(jié)果與分析

數(shù)據(jù)抓取的步驟

我們用Python當中的requests模塊來發(fā)送與接收請求,然后用BeautifulSoup模塊也解析返回的數(shù)據(jù),代碼如下

@retry(stop=stop_after_attempt(7)) def make_requests(url):
    response = requests.get(url=url, headers=headers)
    response_1 = BeautifulSoup(response.text, "lxml") return response_1

解析數(shù)據(jù)的代碼如下

def process_data(index, job_title, response_text):
    response_2 = response_text.select("div.list__YibNq") for resp in response_2[0]: if resp.select("div.p-top__1F7CL a"):
            job_titles = resp.select("div.p-top__1F7CL a")[0].get_text() else:
            job_titles = "" if resp.select("span.money__3Lkgq"):
            payments = resp.select("span.money__3Lkgq")[0].get_text() else:
            payments = "" .........

然后最后將收集到的數(shù)據(jù)導出到excel當中,代碼如下

df = pd.DataFrame(
        {"職位名稱": job_titles_list, "薪資待遇": payments_list, "工作年限": work_years_list, "公司名稱": company_name_list, "所處行業(yè)": industry_list, "崗位簡介": job_title_description_list}) path = "job_files/" if not os.path.exists(path): os.makedirs(path)
df.to_excel("./job_files/{}_{}.xlsx".format(job_title, index), index = False)

小編這次所抓取的崗位分別有“數(shù)據(jù)分析師”、“數(shù)據(jù)挖掘工程師”、“數(shù)據(jù)產(chǎn)品經(jīng)理”、“大數(shù)據(jù)開發(fā)工程師”以及“數(shù)據(jù)運營助理”等等,接下來我們就針對所收集到的數(shù)據(jù)進行清洗與進一步的處理吧

數(shù)據(jù)的清洗與處理

我們用到的是Pandas模塊,首先先導入所有收集到的數(shù)據(jù)

import pandas as pd import os

df_all = pd.DataFrame(columns=["職位名稱", "薪資待遇", "工作年限", "公司名稱", "所處行業(yè)", "崗位簡介"]) for file in os.listdir("./job_files"):
    df = pd.read_excel("./job_files/" + file)
    df_all = df_all.append(df, ignore_index=True)

我們來看一下最終的數(shù)據(jù)集長什么樣子

print(df_all.info())

output

<class 'pandas.core.frame.DataFrame'> RangeIndex: 2238 entries, 0 to 2237 Data columns (total 6 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 0 職位名稱 2238 non-null object 1 薪資待遇 2238 non-null object 2 工作年限 2238 non-null object 3 公司名稱 2238 non-null object 4 所處行業(yè) 2234 non-null object 5 崗位簡介 2238 non-null object dtypes: object(6)
memory usage: 105.0+ KB
  • 刪除重復項

數(shù)據(jù)集當中或許存在重復的內(nèi)容,我們用drop_duplicates()方法來進行重復項的去除

df_all_1 = df_all.drop_duplicates()
df_all_1.info()

output

<class 'pandas.core.frame.DataFrame'> Int64Index: 2207 entries, 0 to 2237 Data columns (total 6 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 0 職位名稱 2207 non-null object 1 薪資待遇 2207 non-null object 2 工作年限 2207 non-null object 3 公司名稱 2207 non-null object 4 所處行業(yè) 2203 non-null object 5 崗位簡介 2207 non-null object dtypes: object(6)
memory usage: 120.7+ KB
df_all_1 = df_all_1.dropna(axis = 0, how = "any")
df_all_1.info()

output

<class 'pandas.core.frame.DataFrame'> Int64Index: 2203 entries, 0 to 2237 Data columns (total 6 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 0 職位名稱 2203 non-null object 1 薪資待遇 2203 non-null object 2 工作年限 2203 non-null object 3 公司名稱 2203 non-null object 4 所處行業(yè) 2203 non-null object 5 崗位簡介 2203 non-null object dtypes: object(6)
memory usage: 120.5+ KB
  • 對薪資數(shù)據(jù)的清洗

接下來為了方便對薪資數(shù)據(jù)進行統(tǒng)計分析,我們對此也需要進行相對應(yīng)的處理

df_all_1["薪資待遇"] = df_all_1["薪資待遇"].str.replace("k", "000")

可視化分析結(jié)果

  • 薪資的不同

我們先來看薪資上面的差距,根據(jù)不同的職位名稱來看,例如我們來看“數(shù)據(jù)產(chǎn)品經(jīng)理”這個崗位

df_all_1[df_all_1["職位名稱"].str.contains("產(chǎn)品經(jīng)理")]['薪資待遇'].value_counts().head(5)

output

20000-40000 66 15000-30000 48 15000-25000 46 20000-30000 27 25000-50000 26 Name: 薪資待遇, dtype: int64 

較多的是集中在20K-40K這個范圍當中,具體我們可以通過下面這個可視化的結(jié)果來看

用Python抓取2500份數(shù)據(jù)類崗位需求,終于發(fā)現(xiàn)了未來最吃香崗位

我們可以發(fā)現(xiàn)的是整體的市場中“數(shù)據(jù)產(chǎn)品經(jīng)理”這個崗位的整體待遇是相對更好一點的,其次便是“數(shù)據(jù)挖掘工程師”這個崗位,薪資一般也比較容易達到20K-40K之間的區(qū)間

  • 哪個城市的需求最多

接下來我們來看一下哪些城市對數(shù)據(jù)方面的人才需求是最多的,

df_all_1["城市分布"] = df_all_1["職位名稱"].apply(lambda x: x.split("[")[1].split("·")[0])
df_all_1["城市分布"].value_counts().head(10)

output

北京 702 上海 446 深圳 404 杭州 194 廣州 190 成都 68 武漢 57 西安 23 南京 18 蘇州 15 Name: 城市分布, dtype: int64 

可以看到的是對于數(shù)據(jù)方面的人才需求最旺盛的仍然是北京,上海排在第二,與此同時呢,杭州在這方面的需求上面已經(jīng)超過了廣州,位列第四,同時在前十名當中成都、南京以及武漢與西安都紛紛上榜

用Python抓取2500份數(shù)據(jù)類崗位需求,終于發(fā)現(xiàn)了未來最吃香崗位
  • 哪個行業(yè)所需要的數(shù)據(jù)崗位最多呢?

接下來我們來看一下哪個行業(yè)所需要的數(shù)據(jù)方面的人才最多,

df_all_1["行業(yè)"] = df_all_1["所處行業(yè)"].apply(lambda x: x.split("|")[0].split("/")[0])
df_all_1["行業(yè)"].value_counts().head(10)

output

數(shù)據(jù)服務(wù) 175 內(nèi)容資訊,短視頻 155 軟件服務(wù) 141 科技金融 114 電商平臺 84 IT技術(shù)服務(wù) 68 企業(yè)服務(wù) 61 游戲 55 專業(yè)服務(wù) 52 消費生活 52 Name: 行業(yè), dtype: int64 

從上面的結(jié)果中看到,除了“數(shù)據(jù)服務(wù)”行業(yè)之外,還有“內(nèi)容咨詢、短視頻”領(lǐng)域、“軟件服務(wù)”、“科技金融”、“電商平臺”、“IT技術(shù)服務(wù)”等領(lǐng)域?qū)τ跀?shù)據(jù)方面的人才都有著相當旺盛的需求

用Python抓取2500份數(shù)據(jù)類崗位需求,終于發(fā)現(xiàn)了未來最吃香崗位
  • 對于學歷的要求是什么樣的呢?

我們來看一下各家公司對于數(shù)據(jù)方面的人才,在學歷上又有何種要求呢?

df_all_1["學歷要求"] = df_all_1["工作年限"].apply(lambda x: x.split("/")[-1])
df_all_1["學歷要求"].value_counts()

output

本科 1922 碩士 119 不限 77 大專 73 博士 12 Name: 學歷要求, dtype: int64 

一般來說僅僅是“本科”的學歷就可以了,當然還有少數(shù)的公司對于學歷的要求是局限在碩士之上

  • 崗位的簡短介紹

各家公司為了吸引越來越多的人才前往加入公司,也打出了各色各樣的標語,小編做了匯總,并且做成詞云圖,首先我們用jieba模塊對文本數(shù)據(jù)進行分詞

word_num = jieba.lcut(text, cut_all = False)
rule = re.compile(r"^[u4e00-u9fa5]+$")
word_num_selected = [word for word in word_num if word not in stop_words and re.search(rule, word) and len(word) >= 2]

接著我們使用stylecloud模塊來進行詞云圖的繪制

stylecloud.gen_stylecloud(text=" ".join(review_list), max_words=100, collocations=False,
                          font_path="KAITI.ttf", icon_name="fab fa-apple", size=653,
                          output_name="4.png")

output

用Python抓取2500份數(shù)據(jù)類崗位需求,終于發(fā)現(xiàn)了未來最吃香崗位

數(shù)據(jù)分析咨詢請掃描二維碼

若不方便掃碼,搜微信號:CDAshujufenxi

數(shù)據(jù)分析師資訊
更多

OK
客服在線
立即咨詢
客服在線
立即咨詢
') } function initGt() { var handler = function (captchaObj) { captchaObj.appendTo('#captcha'); captchaObj.onReady(function () { $("#wait").hide(); }).onSuccess(function(){ $('.getcheckcode').removeClass('dis'); $('.getcheckcode').trigger('click'); }); window.captchaObj = captchaObj; }; $('#captcha').show(); $.ajax({ url: "/login/gtstart?t=" + (new Date()).getTime(), // 加隨機數(shù)防止緩存 type: "get", dataType: "json", success: function (data) { $('#text').hide(); $('#wait').show(); // 調(diào)用 initGeetest 進行初始化 // 參數(shù)1:配置參數(shù) // 參數(shù)2:回調(diào),回調(diào)的第一個參數(shù)驗證碼對象,之后可以使用它調(diào)用相應(yīng)的接口 initGeetest({ // 以下 4 個配置參數(shù)為必須,不能缺少 gt: data.gt, challenge: data.challenge, offline: !data.success, // 表示用戶后臺檢測極驗服務(wù)器是否宕機 new_captcha: data.new_captcha, // 用于宕機時表示是新驗證碼的宕機 product: "float", // 產(chǎn)品形式,包括:float,popup width: "280px", https: true // 更多配置參數(shù)說明請參見:http://docs.geetest.com/install/client/web-front/ }, handler); } }); } function codeCutdown() { if(_wait == 0){ //倒計時完成 $(".getcheckcode").removeClass('dis').html("重新獲取"); }else{ $(".getcheckcode").addClass('dis').html("重新獲取("+_wait+"s)"); _wait--; setTimeout(function () { codeCutdown(); },1000); } } function inputValidate(ele,telInput) { var oInput = ele; var inputVal = oInput.val(); var oType = ele.attr('data-type'); var oEtag = $('#etag').val(); var oErr = oInput.closest('.form_box').next('.err_txt'); var empTxt = '請輸入'+oInput.attr('placeholder')+'!'; var errTxt = '請輸入正確的'+oInput.attr('placeholder')+'!'; var pattern; if(inputVal==""){ if(!telInput){ errFun(oErr,empTxt); } return false; }else { switch (oType){ case 'login_mobile': pattern = /^1[3456789]\d{9}$/; if(inputVal.length==11) { $.ajax({ url: '/login/checkmobile', type: "post", dataType: "json", data: { mobile: inputVal, etag: oEtag, page_ur: window.location.href, page_referer: document.referrer }, success: function (data) { } }); } break; case 'login_yzm': pattern = /^\d{6}$/; break; } if(oType=='login_mobile'){ } if(!!validateFun(pattern,inputVal)){ errFun(oErr,'') if(telInput){ $('.getcheckcode').removeClass('dis'); } }else { if(!telInput) { errFun(oErr, errTxt); }else { $('.getcheckcode').addClass('dis'); } return false; } } return true; } function errFun(obj,msg) { obj.html(msg); if(msg==''){ $('.login_submit').removeClass('dis'); }else { $('.login_submit').addClass('dis'); } } function validateFun(pat,val) { return pat.test(val); }