
實例分析:拉勾網(wǎng)數(shù)據(jù)分析,讓數(shù)據(jù)決策你的行為
我們每天都在產(chǎn)生數(shù)據(jù),出行,社交,購物,吃飯 等等,每一個行為伴隨著數(shù)據(jù)的產(chǎn)生,如果將這些數(shù)據(jù)收集起來,并加以處理分析便可以反過來影響你的行為。
舉個最簡單的例子在各大電商網(wǎng)站搜索自己想買的商品,這一過程就產(chǎn)生了數(shù)據(jù),電商網(wǎng)站會記錄你所搜的商品數(shù)據(jù),并稍作處理分析,基本就可以計算出你所需要購買的商品,
然后計算最合適你的商品,并以廣告形式推送給你,最后你很有可能會從他推薦的商品中選一個付款,這個例子就形像的解釋了,你是如何產(chǎn)生數(shù)據(jù),而后數(shù)據(jù)又是如何影響你的行為的。
前些日子突然想到了如下幾個問題:
在一線城市中 北京 上海 的薪水真的比深圳還高嗎?
JAVA工資真的比.NET 的要高嗎?
前端現(xiàn)在平均薪水大概是多少?
除了幾個一線城市外,哪些二線城市是比較有潛力的?
市場上工作1-3年 3-5年經(jīng)驗的 薪水一般都是多少?
這些問題我想大家或多或少的都聊到過,但是卻沒有相應的數(shù)據(jù)來支撐你的想法,往往都只是聊聊就過了。基于以上的問題,我開始想通過數(shù)據(jù)來證實,想想還是通過招聘網(wǎng)站的數(shù)據(jù)來分析。
因為招人是企業(yè)真實的需求,企業(yè)的需求就代表的市場的需求,反過來企業(yè)發(fā)布的招聘信息一定會按當前市場行情來定,比如薪水當市場平均水平是 1-3年經(jīng)驗 7K 時 企業(yè)的發(fā)布招聘信息一會以市場行情做一個參考。
不然沒有競爭力 招不到好的人才,必然會影響公司的發(fā)展。 這樣這些發(fā)布的招聘信息還是具有一定的真實性的
一、 采集數(shù)據(jù)
1.1 拉鉤網(wǎng)介紹
拉鉤開通的城市暫時還只有如下幾個城市,所以城市就抓取下圖中的這些
崗位的話因為本文主要針對的是開發(fā)類的數(shù)據(jù)分析,所以只抓取開發(fā)的崗位信息
1.2 程序介紹
整個流程是這樣的 先從拉鉤取數(shù)據(jù)入,存入Redis隊列,然后通過定時器把數(shù)據(jù)從Redis中取出通過Dapper(輕量級的ORM)存入DB,最后以圖表形式展現(xiàn)出來。
所用到的一些東西 Redis ,Dapper, Sqlserver ,百度圖表控件Echarts
1.Lagou 是一個控制臺程序,主要用來抓取數(shù)據(jù),并存入Redis
2.Lagou.Repository 抓到數(shù)據(jù)后的持久化與查詢
3.Lagou.Web 將數(shù)據(jù)以圖表形式展現(xiàn)
1.3 操作步驟
1.先把Redis安裝并啟動
2.在Lagou.Repository項目中運行sqlScript.sql腳本創(chuàng)建表,在DapperHelper.cs中配置好數(shù)據(jù)連接地址
3.把Lagou控制臺設(shè)為啟動項目并運行,結(jié)果如下圖。 等所有城市下的職位都取完后,數(shù)據(jù)就抓取完成!
4.將Lagou.Web 項目設(shè)為啟動項目并運行整個過程就結(jié)束了!
二 、分析數(shù)據(jù)
從圖中可以看出 一線城市 北上深廣 對人才的需求量是最大的
其中又以北京為第一,為什么北京會是第一呢? 首先 是地域特殊 是首都,其次 國內(nèi)最早的一批互聯(lián)網(wǎng)公司基本都在北京創(chuàng)立的帶動了這一行業(yè)的發(fā)展,
同時也吸引了相應行業(yè)的人聚集,人的聚集又相應帶動公司的聚集,兩者相互影響使得北京成了互聯(lián)網(wǎng)的主力軍。
另外北京眾所周知薪水 是各大城市中最高的,因為這一行業(yè)內(nèi)的從業(yè)人員較多,相應優(yōu)秀的人也會更多,優(yōu)秀的企業(yè)也會更多,企業(yè)對優(yōu)秀人才的渴望是從未滿足過的,這種環(huán)境下自然后拉高行業(yè)的整體薪水
再說二線城市 排第一的杭州 我自己的想法 覺得是可能阿里巴巴帶動的 當然政府的功勞肯定也是有的,但是如果沒有阿里巴巴對整個行業(yè)的影響,當前的環(huán)境恐怕不是政府努力就能改變的。
1、為什么成都會排二線城市的第二呢?
1.事實上這兩年有很多公司 承受不了一線城市發(fā)展的速度以及生存的壓力與人力成本,就把公司遷到了節(jié)奏稍慢點的二線城市。
2.另外大的公司開始把業(yè)務做到的全國,開始在各個二線城市設(shè)立分公司,基本上互聯(lián)網(wǎng)一梯隊的公司都在二線城市有分部了。
3.政策方面,這兩年成都政府在政策上進行了大力的扶持,而且扶持力度驚人。
所以這兩年開始越來越多的公司開始把公司從一線城市遷到二線城市,或者擴展到二線。直接影響了成都互聯(lián)網(wǎng)行業(yè)的快速發(fā)展
通過數(shù)據(jù)可看 一線城市 北上深廣 未來仍是互聯(lián)網(wǎng)行業(yè)的主力軍。二線城市 杭州 成都 武漢 南京 是主力軍 如果想從一線退到二線 這幾個城市都是不錯的選擇。
2 、城市對某一職位的需求數(shù)
先看JAVA
JAVA在互聯(lián)網(wǎng)這塊的發(fā)展這幾年明顯超越了.NET 再加上 今年的互聯(lián)網(wǎng)+ 概念導致了一大批的互聯(lián)網(wǎng)公司掘起。在創(chuàng)業(yè)的初期,如何以最花最少的錢獲得最大的效益成了初創(chuàng)公司都要考慮的問題。
其中就包括 人力(主要指招聘) 以及軟件(開發(fā)工具的授權(quán)費用)。另外JAVA開源較早,開源社區(qū)提供了很多好的包而且支持跨平臺,所以從圖中可以看出 在一二線城市對擁有Java技能的人才,需求一直就很旺盛。
但是站在技術(shù)角度講現(xiàn)在JAVA能做的.NET 都能做,而對于公司來說怎么活下去才是關(guān)鍵。
本人所在公司 15年就被微軟發(fā)現(xiàn)使用了盜版軟件,被要求買license如果整套環(huán)境都用正版至少得要上百萬,最后死纏爛打也花了10多萬才算解決這事兒
再說.NET
一線城市需求還是比較大的,城市之間的差距也不是很大,在一線城市中JAVA與.NET 需求量都相差不大,大致原因,應該還是一線城市公司的基數(shù)大,對.net,與JAVA 的需求都比較大。
但到了二線城市 反差就比較大了,.NET 數(shù)據(jù) 基本上不到一線城市的一半了,可能也是受互聯(lián)網(wǎng)+的影響,其實本來和JAVA應該持平的,但是互聯(lián)網(wǎng)+的概念一出大批的互聯(lián)網(wǎng)公司起來。
考慮到之前說的公司成本問題,才導致對JAVA技能的人需求增加,還有一種可能是,近幾年JAVA占市場比逐年增加導致.NET市場減少。
最后看看JavaScript
這一兩年 JavaScript這一崗位可以說是發(fā)生了天翻地覆的變化,也使得 前端工程師 這一職位被獨立出來各種優(yōu)秀的前端框架也層出不窮。也從傳統(tǒng)的pc瀏覽器到了移動端瀏覽器,
一線城市需求最大的還是 北京和上海 幾乎是深圳和州各自的2倍了。
這也更加證明了北京是全國的互聯(lián)網(wǎng)中心,隨著移動互聯(lián)網(wǎng)的迅速發(fā)展 各個城市的需求應該也會快速加大。
3 、城市對人才年限的需求數(shù)
可以看出來,不管是哪個城市 對1-3年 和3-5 年的人才 需求是最多的
這個其實很好解釋,放到自己的工作環(huán)境來說基層員工和中層員工是生產(chǎn)力的大軍,而高層只要幾個,把控好方向與進度就行了.
剩下5-10年的 要么就是招的架構(gòu)師級別的,要么就是工作崗位的要求需要至少5年以上的經(jīng)驗、
4 、同職位不同城市薪水對比
先解釋點 拉勾發(fā)布的職位都是會帶上薪水范圍的,圖中的彩色柱狀條是對該薪水斷的職位的總和。
先看JAVA
一線城市以 11-15k 的和16k-20k的 為主,然后是21k-25k的,而二線城市 則以 6k-10k的和11k-15k的為主,然后是16-20k 的 所以一線城市要比二線城市的薪水高一個梯隊,這個大家也都是知道的,不做多的解釋了。
.NET 的
最近總有人說搞.net 的工資沒有搞JAVA的高,但都是以身邊的人為例子而以數(shù)據(jù)缺乏準確定性。
通過圖要可以看出
發(fā)布的JAVA職位在一線城市中 16k-20k的數(shù)量是要超過11k-15k的數(shù)量的,而二線城市中6k-10k與11k-15k的數(shù)量是不相上下的,而且還有不少16-20k職位
而.NET的職位 在一線城市中11k-15k的職位數(shù)量遠超過16k-20k的數(shù)量 而二線城市中6k-10k的職位數(shù)據(jù)也是遠超過11k-15k的職位數(shù),而16k-20k的就更是寥寥無幾了
通過兩圖對比可以看出 在一線城市 JAVA以11k-15k與16k-20k為主 且16k-20k的為主導,.NET也以11k-15k與16k-20k為主
但是卻是以11k-15k為主,二線城市就更不用說,圖一對比就懂了
結(jié)論也不用說了
5、 行業(yè)薪水分布
這兩年移動互聯(lián)網(wǎng)真的是飛速發(fā)展一不留神就從PC互聯(lián)網(wǎng)轉(zhuǎn)到了移動互聯(lián)網(wǎng)了,豬在風口都被吹起來了,僅移動互聯(lián)網(wǎng)行業(yè)的職位需求數(shù)據(jù)基本是其它行業(yè)的總和了,其次是電子商務 各種垂直電商,海淘也是這兩年發(fā)展比較迅速的,互聯(lián)網(wǎng)金融,15年也確實火 了一把,但是也坑了一把(各種跑路,以及被查),還有動不動就要顛覆傳統(tǒng)行業(yè)的O2O 這些都是比較熱門的行業(yè),值得關(guān)注的兩個行業(yè)是 企業(yè)服務,數(shù)據(jù)服務這兩個行業(yè),隨著云計算,與大數(shù)據(jù)的 概念推出,越來越多的企業(yè)也開始進入這兩個行業(yè),說不定下一個 風口將從這里開始。
6、 不同融資階段不同崗位薪水分布
原本想對比,公司處在不同的階段薪水的差異,結(jié)果還是有點出人意料的,同一崗位下 不管處于 初創(chuàng)型 還成長型 對薪水的范圍都基本是一致的。
也就是說不管公司的資本實力差距多大,對于人才的薪水基本還是和市場水平保持一致的,也證明了 企業(yè)如果想減少開支,通過降低薪水一措施是起不到任何作用的,反而會影響優(yōu)秀的人才進來
7 、不同融資階段對不同年限人才需求
公司招人 通常是兩方面的主因
1.公司創(chuàng)立需要人員研發(fā)產(chǎn)品
2.公司業(yè)務擴展需要人員支持
所以圖中可以看出 初創(chuàng)型的公司與成長型的公司為人才需求的主力軍,還有一種情況值得關(guān)注那就是上市公司 為什么上市公司會有比較大的人才需求呢? 因為上市后有了資本的支持后,可以開始擴大自己的戰(zhàn)線,
以增加公司的市值 為背后的資本家謀取更多的利潤
相反成熟型的的公司業(yè)務基本穩(wěn)定,在未上市前也沒有多余的資本與精力來擴展其它業(yè)務,所以對人才的需求相對來說較小
通過對拉鉤數(shù)據(jù)的簡單分析,基本可以對我們的行為做出一定的指導,比如 想要高薪 在哪個一線城市的機會更大一點,如果想退到二線城市哪個城市的薪水差異不會與一線城市太大,學哪種語言出來后找工作會更容易一點,什么行業(yè)的公司薪水會更高一點
這些問題從上面的分析結(jié)果中都可以得到。記得阿里巴巴的CTO王堅說過:"數(shù)據(jù)本身是沒有價值的,只有進行挖掘,分析后它才會產(chǎn)生價值",未來數(shù)據(jù)對生活的影響將會越來越大,人們將真正步入DT時代!
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
訓練與驗證損失驟升:機器學習訓練中的異常診斷與解決方案 在機器學習模型訓練過程中,“損失曲線” 是反映模型學習狀態(tài)的核心指 ...
2025-09-19解析 DataHub 與 Kafka:數(shù)據(jù)生態(tài)中兩類核心工具的差異與協(xié)同 在數(shù)字化轉(zhuǎn)型加速的今天,企業(yè)對數(shù)據(jù)的需求已從 “存儲” 轉(zhuǎn)向 “ ...
2025-09-19CDA 數(shù)據(jù)分析師:讓統(tǒng)計基本概念成為業(yè)務決策的底層邏輯 統(tǒng)計基本概念是商業(yè)數(shù)據(jù)分析的 “基礎(chǔ)語言”—— 從描述數(shù)據(jù)分布的 “均 ...
2025-09-19CDA 數(shù)據(jù)分析師:表結(jié)構(gòu)數(shù)據(jù) “獲取 - 加工 - 使用” 全流程的賦能者 表結(jié)構(gòu)數(shù)據(jù)(如數(shù)據(jù)庫表、Excel 表、CSV 文件)是企業(yè)數(shù)字 ...
2025-09-19SQL Server 中 CONVERT 函數(shù)的日期轉(zhuǎn)換:從基礎(chǔ)用法到實戰(zhàn)優(yōu)化 在 SQL Server 的數(shù)據(jù)處理中,日期格式轉(zhuǎn)換是高頻需求 —— 無論 ...
2025-09-18MySQL 大表拆分與關(guān)聯(lián)查詢效率:打破 “拆分必慢” 的認知誤區(qū) 在 MySQL 數(shù)據(jù)庫管理中,“大表” 始終是性能優(yōu)化繞不開的話題。 ...
2025-09-18DSGE 模型中的 Et:理性預期算子的內(nèi)涵、作用與應用解析 動態(tài)隨機一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明確:TIF 中的地名有哪兩種存在形式? 在開始提取前,需先判斷 TIF 文件的類型 —— ...
2025-09-17CDA 數(shù)據(jù)分析師:解鎖表結(jié)構(gòu)數(shù)據(jù)特征價值的專業(yè)核心 表結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 規(guī)范存儲的結(jié)構(gòu)化數(shù)據(jù),如數(shù)據(jù)庫表、Excel 表、 ...
2025-09-17Excel 導入數(shù)據(jù)含缺失值?詳解 dropna 函數(shù)的功能與實戰(zhàn)應用 在用 Python(如 pandas 庫)處理 Excel 數(shù)據(jù)時,“缺失值” 是高頻 ...
2025-09-16深入解析卡方檢驗與 t 檢驗:差異、適用場景與實踐應用 在數(shù)據(jù)分析與統(tǒng)計學領(lǐng)域,假設(shè)檢驗是驗證研究假設(shè)、判斷數(shù)據(jù)差異是否 “ ...
2025-09-16CDA 數(shù)據(jù)分析師:掌控表格結(jié)構(gòu)數(shù)據(jù)全功能周期的專業(yè)操盤手 表格結(jié)構(gòu)數(shù)據(jù)(以 “行 - 列” 存儲的結(jié)構(gòu)化數(shù)據(jù),如 Excel 表、數(shù)據(jù) ...
2025-09-16MySQL 執(zhí)行計劃中 rows 數(shù)量的準確性解析:原理、影響因素與優(yōu)化 在 MySQL SQL 調(diào)優(yōu)中,EXPLAIN執(zhí)行計劃是核心工具,而其中的row ...
2025-09-15解析 Python 中 Response 對象的 text 與 content:區(qū)別、場景與實踐指南 在 Python 進行 HTTP 網(wǎng)絡請求開發(fā)時(如使用requests ...
2025-09-15CDA 數(shù)據(jù)分析師:激活表格結(jié)構(gòu)數(shù)據(jù)價值的核心操盤手 表格結(jié)構(gòu)數(shù)據(jù)(如 Excel 表格、數(shù)據(jù)庫表)是企業(yè)最基礎(chǔ)、最核心的數(shù)據(jù)形態(tài) ...
2025-09-15Python HTTP 請求工具對比:urllib.request 與 requests 的核心差異與選擇指南 在 Python 處理 HTTP 請求(如接口調(diào)用、數(shù)據(jù)爬取 ...
2025-09-12解決 pd.read_csv 讀取長浮點數(shù)據(jù)的科學計數(shù)法問題 為幫助 Python 數(shù)據(jù)從業(yè)者解決pd.read_csv讀取長浮點數(shù)據(jù)時的科學計數(shù)法問題 ...
2025-09-12CDA 數(shù)據(jù)分析師:業(yè)務數(shù)據(jù)分析步驟的落地者與價值優(yōu)化者 業(yè)務數(shù)據(jù)分析是企業(yè)解決日常運營問題、提升執(zhí)行效率的核心手段,其價值 ...
2025-09-12用 SQL 驗證業(yè)務邏輯:從規(guī)則拆解到數(shù)據(jù)把關(guān)的實戰(zhàn)指南 在業(yè)務系統(tǒng)落地過程中,“業(yè)務邏輯” 是連接 “需求設(shè)計” 與 “用戶體驗 ...
2025-09-11塔吉特百貨孕婦營銷案例:數(shù)據(jù)驅(qū)動下的精準零售革命與啟示 在零售行業(yè) “流量紅利見頂” 的當下,精準營銷成為企業(yè)突圍的核心方 ...
2025-09-11