用爬虫分析互联网大数据行业薪资情况

前言：

随着互联网大数据行业的日渐兴盛，越来越多的人投身其中，也有很多的朋友对此有着浓厚的兴趣，想要投身其中。从本期开始我们将分四期带大家走进互联网大数据行业，分别了解数据挖掘&机器学习、数据分析、算法&深度学习、数据产品经理这四个不同的与大数据相关的职位。

数据来源：

我们未来四期的数据主要来源于拉勾网，目前比较火的招聘网站猎聘、boss直聘、拉勾都有比较多的互联网职位介绍。我们基于以下几点原因选择拉勾：1.薪资大多有直接的范围，较少为面议 2. 企业数量较全，基本上涵盖了互联网相关公司 3.url地址相对比较规整，方便进行批量爬取。数据展示页面如下：

该部分使用Python中Selenium爬取，部分代码如下：

1. while True:
2. try:
3. for j in range(15):
4. xpath = '//*[@id="s_position_list"]/ul/li['+str(j+1)+']'
5. a = driver.find_element_by_xpath(xpath)
6. job_desc.append(a.text)
7. job_code.append(a.find_element_by_class_name('position_link'
8. ).get_attribute('data-lg-tj-cid'))
9. js="var q=document.documentElement.scrollTop=10000"
10. driver.execute_script(js)
11. driver.find_element_by_class_name('pager_next').click()
12. except:
13. break

薪资情况：

我们将从多个角度去了解大家所关注的薪资情况，首先看一下各个城市的机会多少与平均月薪，如下图（气泡大小表示职位数量，柱形图高度表示平均月薪）：

可以看到，排名第八的武汉职位数量已经是北京的四十分之一了，排名靠后的城市职位数量小于20个。这一定程度体现了数据挖掘&机器学习职位在北上广深杭的集中性，除了五大城市之外，成都、南京、武汉未来也有着无限潜力。

下面看一下不同的工作经验所对应的职位数量与薪资情况：

可以看到拉勾网上大多的工作机会是针对于有工作经验的求职者。3年、5年工作经验也成为了两个比较重要的门槛，薪资会有明显的提示，这样说明了企业对于经验的看重

下面看一企业对于学历的要求：

需要注意的是，拉勾网上的学历要求为最低要求，实际工作中大家的平均学历会远高于图上所显示的。

我们来结合城市和经验看一下不同城市工作经验的提升对薪资的提升幅度：

北京在各个工作经验层面的薪资均处于全国领先位置，这也表明了帝都互联网中心的地位。在工作经验5-10年的对比上，广州的涨幅落后于其他几大城市，有在广州工作的朋友可以与我们分享下，这是否具有一定的现实性。

各大公司拉勾网提供平均月薪：

我们选取了在拉勾网上提供职位最多的十五家公司，BAT&TMD均在其中，也包括了搜狗、微博、网易这些知名互联网公司。出人意料的是提供职位薪资最高的是新浪微博，众所周知，一个企业内的实际平均薪资情况十分复杂，上述数据也只是其在拉勾网上放出职位的情况，仅供参考。

以上图表我们使用ggplot绘制，代码如下（以公司薪资图为例）：

1. ggplot(company_com,aes(x=reorder(company,-salary),y=salary,fill=as.character(rep(1:5,each=3))))+
2. geom_bar(stat='identity')+
3. geom_text(aes(label=round(salary,2),y= salary+1),size=5)+
4. theme_wsj()+
5. scale_fill_wsj()+
6. scale_color_wsj()+
7. ggtitle('各类公司拉勾网职位平均月薪(K)')+
8. theme(axis.text.x = element_text(size=12),
9. axis.text.y = element_blank(),
10. plot.title = element_text(hjust=0.5,size=25),
11. legend.position='none',
12. panel.grid = element_blank(),
13. axis.title = element_blank(),
14. axis.text = element_text(face='bold',hjus=0.8,size=10,angle=15)
15. )

期望月薪计算：

我们用线性回归模型，简易地帮助大家计算一下所可以期待的薪资情况（数据为月薪，单位为K），我们仅选取了经验、城市、学历三个因素，并没有考虑交互项、高次项等因素，结果仅供参考，实际情况要复杂很多：

所需技能&福利：

想要得到不错的年薪，除了上述一些硬件条件，个人所掌握的实际技能实际上会起到更加重要的作用，我们就来看一下入职数据挖掘&机器学习所需掌握的技能：

顺利入职之后，我们又可以得到什么样的福利呢，可以看一下下图：

Python中文社区作为一个去中心化的全球技术社区，以成为全球20万Python中文开发者的精神部落为愿景，目前覆盖各大主流媒体和协作平台，与阿里、腾讯、百度、微软、亚马逊、开源中国、CSDN等业界知名公司和技术社区建立了广泛的联系，拥有来自十多个国家和地区数万名登记会员，会员来自以公安部、工信部、清华大学、北京大学、北京邮电大学、中国人民银行、中科院、中金、华为、BAT、谷歌、微软等为代表的政府机关、科研单位、金融机构以及海内外知名公司，全平台近20万开发者关注。