眼见2020年就要过去了,一到了年底年末就是离职、转行高峰期,不少人又开始将目光投向了数据分析师这个看似“香饽饽”的岗位。
似乎一提起数据分析师,大家心中想到的就是工作轻松、入门简单、工资优厚,不少人甚至选择裸辞,就为了能赶上数据分析的末班车,然而事实上真的如此吗?
站在风口上,猪都能飞起来。
很多人把这句话奉为圭臬,觉得数据分析就是一个风口职业。
然而被吹飞的永远只能是少数,大部分人不仅连汤都喝不到,甚至连碗边子都碰不到,等到自己清醒过来,眼前只有一片的蓝海。
数据分析岗位的蓝海效应虽然没有这么严重,但是也绝对没有网上鼓吹的那么光鲜亮丽,低薪低岗、996、压力宅的标签同样也适用于数据分析。
之前从职友集网上看到一份关于数据分析师的岗位薪资调查,54%的岗位薪资只有不到1.5w,平均月薪只有1.2w。
看上去似乎还不错,但是这个图中恰恰犯了数据分析最大的一个毛病:以“全”概“偏”
也就是用总体的数据特征来掩盖某些数据细节,为了帮助大家对数据分析岗位有一个全面深入的判断,我决定自己去挖掘网上的招聘数据,真正侧写出数据分析岗位的真实情况。
网站就选择智联招聘了,这个网站的网页结构比较简单,不需要设置模拟点击,而且数据来源比较准备,基本不需要进行数据清洗。
首先,进入智联招聘官网搜索“数据分析”相关的岗位,结果大概有上千条:
然后看一下这个界面的网页结构,按F12查看网页源码,点击network
可以看到一些Ajax请求, 找到XHR文件,点击可以看到网页的一些信息
了解了网页结构,下面就可以开始写爬虫语言了:
首先构造网址请求,在Header中有一个Request URL,我们点击Preview,可以看到我们所需要的信息就存在result中,这信息基本是json格式,有些是列表;
下面就可以写爬虫了,步骤的话这里不详细讲了,下面是部分截图,完整的源代码可以在后台回复”岗位“获得!
最终爬取的数据表如下所示(经过了一些简单的初步清洗和加工):
有了数据之后,我们就要按照数据分析的流程进行”数据准备-数据清洗-数据加工-数据可视化“的工作,其实对于数据分析来说,这个过程完全可以放在BI工具中进行实现,比如FineBI、Tableau中,比如这里我们选择FineBI进行展示。
FineBI属于自助数据分析工具,它的原理也比较简单,就是通过链接数据来源进行数据源的准备,然后通过创建自助数据集的方式对数据表进行编辑加工,这样可以避免破坏原有的数据表,最后通过可视化仪表板的方式对数据进行动态展示。
首先,我们打开FineBI的主页面,在主页面左侧下方有一个加号标志的按钮,代表着”创建数据“,这里我们可以将数据上传到平台中,比如Excel表、SQL表、数据库表等。
这里我们将Excel表导入到业务包中:
当然FineBI也是可以直接连接数据库的,比如Oracle等,这里自然我们不需要数据库的连接。
将数据导入之后,我们就要对数据进行编辑和加工,但是为了不破坏源表,我们可以选择新增加一个自助数据集,也就是仅供自己使用的数据集(这个功能在公司业务里比较重要),然后就可以将导入的数据表中的所有指标全部添加:
下一步,我们就可以在自助数据集中对数据进行加工处理了,比如我们新增一列,选择分组汇总功能,将数据按照岗位进行分组:
首先我们计算一些每个岗位的平均薪资,因为数据表中只有最高薪资和最低薪资,因此这里我们选择新增一列,使用公式/函数功能,平均薪资的计算公式也比较简单:
平均薪资 = (最低薪资+最高薪资)/2
同样的,我们再计算出岗位的年薪,数据分析岗位一般都是年薪值,一般是12薪、13薪,所以计算公式也比较简单:
平均年薪 = 平均薪资 * 年薪数
得到了这两个数据,我们的数据也就基本上处理好了,下一步就要进行可视化操作了,点击数据界面右上角的”创建组件“,命名为”数据分析岗位“,即可进入可视化界面。
在这个界面里我们可以直接拖动指标到横、纵坐标轴,然后选择对应的图表类型,如折线图、散点图、次云图等即可,比如:
当然数据可视化也是一门学问,在FineBI里也可以对数据进行筛选、过滤、快速计算等功能,具体的大家可以自己尝试一下,最终我制作出了下面的仪表板图:
1、不同城市的平均薪资
从城市分布上看,大部分数据分析岗位都集中于全国的一线、二线城市,但这些城市的薪资差异也是很大的:
北上深杭四个城市独领风骚,平均月薪全都超过了2w,广州、厦门紧跟其后,平均月薪也有1.8w左右;
而后面的城市岗位薪资都不属于很高的水平,数据表中被统计的几十个城市中,数据分析岗位平均薪资超过1w的一共只有9个城市,可以说非常惨淡。
2、不同城市的平均年薪
虽然月薪情况不如人意,那么年薪情况会不会好一点呢?
结果显示与月薪水平基本是保持一致的,北京一骑绝尘,而后面的城市增长乏力,全国排名第10的青岛数据分析岗位平均年薪仅12w,税后也只有10w左右;
3、全国的数分岗位分布
数据分析岗位还不属于传统意义上的职能岗位,因此整体上还是以京津塘、长三角和珠三角为主要的分布区域。
其他的也只有诸如成都、武汉、郑州等省会城市分布会多一些,其他三、四线城市分布比较稀缺;
4、不同行业的需求量
数据分析是十分看重行业的,从结果上看,互联网行业是数据分析岗位最多的,其次也是IT、软件、电商等领域较多,岗位的需求量一方面也代表着竞争的激烈程度。
5、不同行业的待遇
结果显示,互联网行业的年薪待遇是最高的,但是计算机软件的需求量虽然排名第二,但是薪资待遇却不如移动互联网,这也说明移动互联网现在正处于行业的上升期,相比之下是大家选择的不错选择。
6、年薪前20的公司
值得注意的是,年薪排名靠前的公司中除了腾讯、华为、网易、京东、阿里这种大厂,BOSS直聘的岗位待遇也非常的高,此外还有包括货拉拉、雅乐集团这种非大厂的待遇也很高,这应该出乎很多人的预料。
除此之外,还有非常多的有趣结论没有写出来,剩下的大家可以自己在FineBI中用数据做一次分析,体会数据分析流程的同时,对数据分析岗位有准确的认知。
相关的数据和python源代码,转发文章,私信我“岗位”获得!