
實例分析:拉勾網(wǎng)數(shù)據(jù)分析,讓數(shù)據(jù)決策你的行為
我們每天都在產(chǎn)生數(shù)據(jù),出行,社交,購物,吃飯 等等,每一個行為伴隨著數(shù)據(jù)的產(chǎn)生,如果將這些數(shù)據(jù)收集起來,并加以處理分析便可以反過來影響你的行為。
舉個最簡單的例子在各大電商網(wǎng)站搜索自己想買的商品,這一過程就產(chǎn)生了數(shù)據(jù),電商網(wǎng)站會記錄你所搜的商品數(shù)據(jù),并稍作處理分析,基本就可以計算出你所需要購買的商品,
然后計算最合適你的商品,并以廣告形式推送給你,最后你很有可能會從他推薦的商品中選一個付款,這個例子就形像的解釋了,你是如何產(chǎn)生數(shù)據(jù),而后數(shù)據(jù)又是如何影響你的行為的。
前些日子突然想到了如下幾個問題:
在一線城市中 北京 上海 的薪水真的比深圳還高嗎?
JAVA工資真的比.NET 的要高嗎?
前端現(xiàn)在平均薪水大概是多少?
除了幾個一線城市外,哪些二線城市是比較有潛力的?
市場上工作1-3年 3-5年經(jīng)驗的 薪水一般都是多少?
這些問題我想大家或多或少的都聊到過,但是卻沒有相應的數(shù)據(jù)來支撐你的想法,往往都只是聊聊就過了?;谝陨系膯栴},我開始想通過數(shù)據(jù)來證實,想想還是通過招聘網(wǎng)站的數(shù)據(jù)來分析。
因為招人是企業(yè)真實的需求,企業(yè)的需求就代表的市場的需求,反過來企業(yè)發(fā)布的招聘信息一定會按當前市場行情來定,比如薪水當市場平均水平是 1-3年經(jīng)驗 7K 時 企業(yè)的發(fā)布招聘信息一會以市場行情做一個參考。
不然沒有競爭力 招不到好的人才,必然會影響公司的發(fā)展。 這樣這些發(fā)布的招聘信息還是具有一定的真實性的
一、 采集數(shù)據(jù)
1.1 拉鉤網(wǎng)介紹
拉鉤開通的城市暫時還只有如下幾個城市,所以城市就抓取下圖中的這些
崗位的話因為本文主要針對的是開發(fā)類的數(shù)據(jù)分析,所以只抓取開發(fā)的崗位信息
1.2 程序介紹
整個流程是這樣的 先從拉鉤取數(shù)據(jù)入,存入Redis隊列,然后通過定時器把數(shù)據(jù)從Redis中取出通過Dapper(輕量級的ORM)存入DB,最后以圖表形式展現(xiàn)出來。
所用到的一些東西 Redis ,Dapper, Sqlserver ,百度圖表控件Echarts
1.Lagou 是一個控制臺程序,主要用來抓取數(shù)據(jù),并存入Redis
2.Lagou.Repository 抓到數(shù)據(jù)后的持久化與查詢
3.Lagou.Web 將數(shù)據(jù)以圖表形式展現(xiàn)
1.3 操作步驟
1.先把Redis安裝并啟動
2.在Lagou.Repository項目中運行sqlScript.sql腳本創(chuàng)建表,在DapperHelper.cs中配置好數(shù)據(jù)連接地址
3.把Lagou控制臺設為啟動項目并運行,結(jié)果如下圖。 等所有城市下的職位都取完后,數(shù)據(jù)就抓取完成!
4.將Lagou.Web 項目設為啟動項目并運行整個過程就結(jié)束了!
二 、分析數(shù)據(jù)
從圖中可以看出 一線城市 北上深廣 對人才的需求量是最大的
其中又以北京為第一,為什么北京會是第一呢? 首先 是地域特殊 是首都,其次 國內(nèi)最早的一批互聯(lián)網(wǎng)公司基本都在北京創(chuàng)立的帶動了這一行業(yè)的發(fā)展,
同時也吸引了相應行業(yè)的人聚集,人的聚集又相應帶動公司的聚集,兩者相互影響使得北京成了互聯(lián)網(wǎng)的主力軍。
另外北京眾所周知薪水 是各大城市中最高的,因為這一行業(yè)內(nèi)的從業(yè)人員較多,相應優(yōu)秀的人也會更多,優(yōu)秀的企業(yè)也會更多,企業(yè)對優(yōu)秀人才的渴望是從未滿足過的,這種環(huán)境下自然后拉高行業(yè)的整體薪水
再說二線城市 排第一的杭州 我自己的想法 覺得是可能阿里巴巴帶動的 當然政府的功勞肯定也是有的,但是如果沒有阿里巴巴對整個行業(yè)的影響,當前的環(huán)境恐怕不是政府努力就能改變的。
1、為什么成都會排二線城市的第二呢?
1.事實上這兩年有很多公司 承受不了一線城市發(fā)展的速度以及生存的壓力與人力成本,就把公司遷到了節(jié)奏稍慢點的二線城市。
2.另外大的公司開始把業(yè)務做到的全國,開始在各個二線城市設立分公司,基本上互聯(lián)網(wǎng)一梯隊的公司都在二線城市有分部了。
3.政策方面,這兩年成都政府在政策上進行了大力的扶持,而且扶持力度驚人。
所以這兩年開始越來越多的公司開始把公司從一線城市遷到二線城市,或者擴展到二線。直接影響了成都互聯(lián)網(wǎng)行業(yè)的快速發(fā)展
通過數(shù)據(jù)可看 一線城市 北上深廣 未來仍是互聯(lián)網(wǎng)行業(yè)的主力軍。二線城市 杭州 成都 武漢 南京 是主力軍 如果想從一線退到二線 這幾個城市都是不錯的選擇。
2 、城市對某一職位的需求數(shù)
先看JAVA
JAVA在互聯(lián)網(wǎng)這塊的發(fā)展這幾年明顯超越了.NET 再加上 今年的互聯(lián)網(wǎng)+ 概念導致了一大批的互聯(lián)網(wǎng)公司掘起。在創(chuàng)業(yè)的初期,如何以最花最少的錢獲得最大的效益成了初創(chuàng)公司都要考慮的問題。
其中就包括 人力(主要指招聘) 以及軟件(開發(fā)工具的授權(quán)費用)。另外JAVA開源較早,開源社區(qū)提供了很多好的包而且支持跨平臺,所以從圖中可以看出 在一二線城市對擁有Java技能的人才,需求一直就很旺盛。
但是站在技術角度講現(xiàn)在JAVA能做的.NET 都能做,而對于公司來說怎么活下去才是關鍵。
本人所在公司 15年就被微軟發(fā)現(xiàn)使用了盜版軟件,被要求買license如果整套環(huán)境都用正版至少得要上百萬,最后死纏爛打也花了10多萬才算解決這事兒
再說.NET
一線城市需求還是比較大的,城市之間的差距也不是很大,在一線城市中JAVA與.NET 需求量都相差不大,大致原因,應該還是一線城市公司的基數(shù)大,對.net,與JAVA 的需求都比較大。
但到了二線城市 反差就比較大了,.NET 數(shù)據(jù) 基本上不到一線城市的一半了,可能也是受互聯(lián)網(wǎng)+的影響,其實本來和JAVA應該持平的,但是互聯(lián)網(wǎng)+的概念一出大批的互聯(lián)網(wǎng)公司起來。
考慮到之前說的公司成本問題,才導致對JAVA技能的人需求增加,還有一種可能是,近幾年JAVA占市場比逐年增加導致.NET市場減少。
最后看看JavaScript
這一兩年 JavaScript這一崗位可以說是發(fā)生了天翻地覆的變化,也使得 前端工程師 這一職位被獨立出來各種優(yōu)秀的前端框架也層出不窮。也從傳統(tǒng)的pc瀏覽器到了移動端瀏覽器,
一線城市需求最大的還是 北京和上海 幾乎是深圳和州各自的2倍了。
這也更加證明了北京是全國的互聯(lián)網(wǎng)中心,隨著移動互聯(lián)網(wǎng)的迅速發(fā)展 各個城市的需求應該也會快速加大。
3 、城市對人才年限的需求數(shù)
可以看出來,不管是哪個城市 對1-3年 和3-5 年的人才 需求是最多的
這個其實很好解釋,放到自己的工作環(huán)境來說基層員工和中層員工是生產(chǎn)力的大軍,而高層只要幾個,把控好方向與進度就行了.
剩下5-10年的 要么就是招的架構(gòu)師級別的,要么就是工作崗位的要求需要至少5年以上的經(jīng)驗、
4 、同職位不同城市薪水對比
先解釋點 拉勾發(fā)布的職位都是會帶上薪水范圍的,圖中的彩色柱狀條是對該薪水斷的職位的總和。
先看JAVA
一線城市以 11-15k 的和16k-20k的 為主,然后是21k-25k的,而二線城市 則以 6k-10k的和11k-15k的為主,然后是16-20k 的 所以一線城市要比二線城市的薪水高一個梯隊,這個大家也都是知道的,不做多的解釋了。
.NET 的
最近總有人說搞.net 的工資沒有搞JAVA的高,但都是以身邊的人為例子而以數(shù)據(jù)缺乏準確定性。
通過圖要可以看出
發(fā)布的JAVA職位在一線城市中 16k-20k的數(shù)量是要超過11k-15k的數(shù)量的,而二線城市中6k-10k與11k-15k的數(shù)量是不相上下的,而且還有不少16-20k職位
而.NET的職位 在一線城市中11k-15k的職位數(shù)量遠超過16k-20k的數(shù)量 而二線城市中6k-10k的職位數(shù)據(jù)也是遠超過11k-15k的職位數(shù),而16k-20k的就更是寥寥無幾了
通過兩圖對比可以看出 在一線城市 JAVA以11k-15k與16k-20k為主 且16k-20k的為主導,.NET也以11k-15k與16k-20k為主
但是卻是以11k-15k為主,二線城市就更不用說,圖一對比就懂了
結(jié)論也不用說了
5、 行業(yè)薪水分布
這兩年移動互聯(lián)網(wǎng)真的是飛速發(fā)展一不留神就從PC互聯(lián)網(wǎng)轉(zhuǎn)到了移動互聯(lián)網(wǎng)了,豬在風口都被吹起來了,僅移動互聯(lián)網(wǎng)行業(yè)的職位需求數(shù)據(jù)基本是其它行業(yè)的總和了,其次是電子商務 各種垂直電商,海淘也是這兩年發(fā)展比較迅速的,互聯(lián)網(wǎng)金融,15年也確實火 了一把,但是也坑了一把(各種跑路,以及被查),還有動不動就要顛覆傳統(tǒng)行業(yè)的O2O 這些都是比較熱門的行業(yè),值得關注的兩個行業(yè)是 企業(yè)服務,數(shù)據(jù)服務這兩個行業(yè),隨著云計算,與大數(shù)據(jù)的 概念推出,越來越多的企業(yè)也開始進入這兩個行業(yè),說不定下一個 風口將從這里開始。
6、 不同融資階段不同崗位薪水分布
原本想對比,公司處在不同的階段薪水的差異,結(jié)果還是有點出人意料的,同一崗位下 不管處于 初創(chuàng)型 還成長型 對薪水的范圍都基本是一致的。
也就是說不管公司的資本實力差距多大,對于人才的薪水基本還是和市場水平保持一致的,也證明了 企業(yè)如果想減少開支,通過降低薪水一措施是起不到任何作用的,反而會影響優(yōu)秀的人才進來
7 、不同融資階段對不同年限人才需求
公司招人 通常是兩方面的主因
1.公司創(chuàng)立需要人員研發(fā)產(chǎn)品
2.公司業(yè)務擴展需要人員支持
所以圖中可以看出 初創(chuàng)型的公司與成長型的公司為人才需求的主力軍,還有一種情況值得關注那就是上市公司 為什么上市公司會有比較大的人才需求呢? 因為上市后有了資本的支持后,可以開始擴大自己的戰(zhàn)線,
以增加公司的市值 為背后的資本家謀取更多的利潤
相反成熟型的的公司業(yè)務基本穩(wěn)定,在未上市前也沒有多余的資本與精力來擴展其它業(yè)務,所以對人才的需求相對來說較小
通過對拉鉤數(shù)據(jù)的簡單分析,基本可以對我們的行為做出一定的指導,比如 想要高薪 在哪個一線城市的機會更大一點,如果想退到二線城市哪個城市的薪水差異不會與一線城市太大,學哪種語言出來后找工作會更容易一點,什么行業(yè)的公司薪水會更高一點
這些問題從上面的分析結(jié)果中都可以得到。記得阿里巴巴的CTO王堅說過:"數(shù)據(jù)本身是沒有價值的,只有進行挖掘,分析后它才會產(chǎn)生價值",未來數(shù)據(jù)對生活的影響將會越來越大,人們將真正步入DT時代!
數(shù)據(jù)分析咨詢請掃描二維碼
若不方便掃碼,搜微信號:CDAshujufenxi
用 SQL 生成逆向回滾 SQL:數(shù)據(jù)操作的 “后悔藥” 指南? 在數(shù)據(jù)庫操作中,誤刪數(shù)據(jù)、錯改字段或誤執(zhí)行批量更新等問題時有發(fā)生。 ...
2025-07-14如何考取數(shù)據(jù)分析師證書:以 CDA 為例? ? 在數(shù)字化浪潮席卷各行各業(yè)的當下,數(shù)據(jù)分析師已然成為企業(yè)挖掘數(shù)據(jù)價值、驅(qū)動決策的 ...
2025-07-14t檢驗與Wilcoxon檢驗的選擇:何時用t.test,何時用wilcox.test? t 檢驗與 Wilcoxon 檢驗的選擇:何時用 t.test,何時用 wilcox. ...
2025-07-14AI 浪潮下的生存與進階: CDA數(shù)據(jù)分析師—開啟新時代職業(yè)生涯的鑰匙(深度研究報告、發(fā)展指導白皮書) 發(fā)布機構(gòu):CDA數(shù)據(jù)科 ...
2025-07-13LSTM 模型輸入長度選擇技巧:提升序列建模效能的關鍵? 在循環(huán)神經(jīng)網(wǎng)絡(RNN)家族中,長短期記憶網(wǎng)絡(LSTM)憑借其解決長序列 ...
2025-07-11CDA 數(shù)據(jù)分析師報考條件詳解與準備指南? ? 在數(shù)據(jù)驅(qū)動決策的時代浪潮下,CDA 數(shù)據(jù)分析師認證愈發(fā)受到矚目,成為眾多有志投身數(shù) ...
2025-07-11數(shù)據(jù)透視表中兩列相乘合計的實用指南? 在數(shù)據(jù)分析的日常工作中,數(shù)據(jù)透視表憑借其強大的數(shù)據(jù)匯總和分析功能,成為了 Excel 用戶 ...
2025-07-11尊敬的考生: 您好! 我們誠摯通知您,CDA Level I和 Level II考試大綱將于 2025年7月25日 實施重大更新。 此次更新旨在確保認 ...
2025-07-10BI 大數(shù)據(jù)分析師:連接數(shù)據(jù)與業(yè)務的價值轉(zhuǎn)化者? ? 在大數(shù)據(jù)與商業(yè)智能(Business Intelligence,簡稱 BI)深度融合的時代,BI ...
2025-07-10SQL 在預測分析中的應用:從數(shù)據(jù)查詢到趨勢預判? ? 在數(shù)據(jù)驅(qū)動決策的時代,預測分析作為挖掘數(shù)據(jù)潛在價值的核心手段,正被廣泛 ...
2025-07-10數(shù)據(jù)查詢結(jié)束后:分析師的收尾工作與價值深化? ? 在數(shù)據(jù)分析的全流程中,“query end”(查詢結(jié)束)并非工作的終點,而是將數(shù) ...
2025-07-10CDA 數(shù)據(jù)分析師考試:從報考到取證的全攻略? 在數(shù)字經(jīng)濟蓬勃發(fā)展的今天,數(shù)據(jù)分析師已成為各行業(yè)爭搶的核心人才,而 CDA(Certi ...
2025-07-09【CDA干貨】單樣本趨勢性檢驗:捕捉數(shù)據(jù)背后的時間軌跡? 在數(shù)據(jù)分析的版圖中,單樣本趨勢性檢驗如同一位耐心的偵探,專注于從單 ...
2025-07-09year_month數(shù)據(jù)類型:時間維度的精準切片? ? 在數(shù)據(jù)的世界里,時間是最不可或缺的維度之一,而year_month數(shù)據(jù)類型就像一把精準 ...
2025-07-09CDA 備考干貨:Python 在數(shù)據(jù)分析中的核心應用與實戰(zhàn)技巧? ? 在 CDA 數(shù)據(jù)分析師認證考試中,Python 作為數(shù)據(jù)處理與分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 檢驗:數(shù)據(jù)趨勢與突變分析的有力工具? ? ? 在數(shù)據(jù)分析的廣袤領域中,準確捕捉數(shù)據(jù)的趨勢變化以及識別 ...
2025-07-08備戰(zhàn) CDA 數(shù)據(jù)分析師考試:需要多久?如何規(guī)劃? CDA(Certified Data Analyst)數(shù)據(jù)分析師認證作為國內(nèi)權(quán)威的數(shù)據(jù)分析能力認證 ...
2025-07-08LSTM 輸出不確定的成因、影響與應對策略? 長短期記憶網(wǎng)絡(LSTM)作為循環(huán)神經(jīng)網(wǎng)絡(RNN)的一種變體,憑借獨特的門控機制,在 ...
2025-07-07統(tǒng)計學方法在市場調(diào)研數(shù)據(jù)中的深度應用? 市場調(diào)研是企業(yè)洞察市場動態(tài)、了解消費者需求的重要途徑,而統(tǒng)計學方法則是市場調(diào)研數(shù) ...
2025-07-07CDA數(shù)據(jù)分析師證書考試全攻略? 在數(shù)字化浪潮席卷全球的當下,數(shù)據(jù)已成為企業(yè)決策、行業(yè)發(fā)展的核心驅(qū)動力,數(shù)據(jù)分析師也因此成為 ...
2025-07-07