当我用数据分析工具说服了丈母娘...

大家好,我叫xxx,在一家互联网公司做BI工程师。大学毕业三年,年龄28,身高175,体重75KG,长相......

 

我眼中的我是这样的:

 

 

但在我女朋友眼里我是这样的:

 

 

和女朋友谈恋爱一年多了,年纪也都老大不小了,令人紧张又害怕的环节终究还是来了,素未蒙面的准丈母娘前几天提出来要见见我,这一下让我慌乱了阵脚,不怕天,不怕地,就怕丈母娘突如其来的关心......

 

网上搜索一了一下见丈母娘必备攻略:

 

 

多方面总结,以下几个问题是逃不掉的:

 

  • 有车否?

  • 有房否?

  • 月入过万否?有前景否?

......

 

有车,名牌小鸟电动车;有房,乡下二层楼小洋房,暂时拆迁也拆不到;月入1万多点,前景嘛......

 

作为一名在数据行业打拼了两年多的BI 工程师,虽然目前收入还算ok,但每每想起房价,男儿三十还未立,内心就不免彷徨不已,回想自己过去的工作成绩也还算是不错的,多次通过自己分析报告,解决了业务的疑难杂症,领导们各种离不开。

 

但前景这个问题就真的问到我了,安逸久了总会有点莫名的慌张,我所在的这个岗位未来会有多大发展空间,十年之后我能成为什么样的人呢?自己的收入空间还有多少?没车没房我怎么说服准丈母娘放心的把女儿托付给我呢?

 

一番惆怅之后,别再问路在何方了,于是抄起自己的“家伙”,花了一小会时间爬了智联招聘上BI岗位的数据信息,做了个分析。

 

数据分析的过程如同烧一顿饭,先要数据采集(买菜),然后数据建模(配菜)、数据清洗(洗菜)、数据分析(做菜)、数据可视化(摆盘上菜)。

 

买菜:Python爬取智联招聘岗位信息

 

选择智联招聘,通过Python来进行“BI工程师”的关键数据信息的爬取,这里大家也可以试着爬取自己岗位的关键词,如“数据分析师”、“java开发工程师 ”等。经过F12分析调试,数据是以JSON的形式存储的,可以通过智联招聘提供的接口调用返回。

 

 

我通过Python对智联招聘网站的数据进行解析,爬取了30页数据,并且将岗位名称、公司名称、薪水、所在城市、所属行业、学历要求、工作年限这些关键信息用CSV文件保存下来。Python源码就不具体写了。

 

 

全部数据爬取完毕,一共18000条,保存在本地CSV文件中。数据是爬到了,具体我还想知道各城市的BI岗位需求情况以及薪资水平;薪水随工作经验的涨幅情况,以及有哪些具体的高薪岗。

 

由此可见,想要分析的角度很多,菜买了,要想做出一道美味的菜还得有个好使的工具,最简单快速出可视化的方法自然是用FineBI,来对数据做简单清洗加工,并呈现可视化。

 

先把FineBI免费激活码给大家,对付丈母娘备用

 

点我免费获得FineBI激活码

 

用FineBI的菜谱流程是这样的:连接/导入数据——数据处理/清洗(过滤、筛选、新增公式列)——探索式分析——数据可视化——出报告。

 

洗菜、切菜:数据清洗加工

 

薪水上下限分割:

 

将CSV文件数据导入FineBI中(新建数据链接,建立一个分析业务包,然后导入这张excel表)。因为薪水是以xxK-xxk(还有一些类似校招/薪资面议的数据)的形式进行存储的,我这边使用FineBI新增公式列(类似excel函数)将这些字符进行分割:

 

薪水下限(数值):left( indexofarray ( split (salary,"-") ,1),find( "K",INDEXOFARRAY( split(salary,"-") ,1))-1)

 

薪水上限(含K字符):right ( indexofarray( split(salary,"-") ,2),len(salary)- find("K",indexofarray(split(salary,"-"),2 ) ) )

 

薪水上限(数值):left( 薪水上限(文本),find("K",薪水上限(文本))-1 )

 

这样就得到每个岗位的数值格式的薪水区间了:

 

 

脏数据清洗:

 

浏览了一下数据,没有大问题,但是发现里面有一些类似BIM工程师的岗位信息,这些应该都是土木行业的工程师,这边我直接过滤掉即可(不包含“BIM”且不包含“bim”)。

 

 

岗位平均数据计算:

 

再新增列,平均薪水=(薪水下限+薪水上限)/2,即可得到每个岗位的平均薪水。

 

 

真实城市截取

 

由于城市字段存储有的数据为“城市-区域”格式,例如“上海-徐汇区”,为了方便分析每个城市的数据,最后新增列“城市”,截取“-”前面的真实城市数据。

 

城市:if(find("-",city)>0 , left(city, find("-",city)-1 ),city)

 

 

至此,18000多条数据差不多清洗完毕,食材已经全部准备好,下面可以正式开始数据可视化的美食下锅烹饪!

 

炒菜出锅:数据可视化

 

数据可视化可以说是很简单了,拖拽要分析的数据字段即可。

 

但是这里用FineBI分析要理解一个思路。常规我们用excel做分析或者说做图表,是先选用钻则图表然后设定系列、数值。这里没有系列和数值的概念,只有横轴和竖轴。拖入什么字段,该字段就以该轴进行扩展,至于图表嘛,FineBI会自动判别推荐,差不多是个自动炒锅。

 

我先分析个各城市平均薪水/岗位数量

 

1、横轴以“城市”字段扩展,展现两类数据。先是薪水值,拖拽到纵轴,默认对数值类的字段是汇总求和的。点击字段可直接对改字段修改计算、过滤等操作。

 

 

2.然后分析每个城市BI岗位的情况。将数据记录数这个指标拖入到纵轴展示。同样的方式,可以修改字段名。这里为了区分两者,将其修改为折线图,并且倒叙展示。

 

 

同理,其他图表也是这样的操作,想清楚展现什么样的数据,怎样展现,数据要作何处理。就得心应手了。其他图表就不一一赘述了。

 

最后,大概花了15分钟,一份完整的智联招聘网站-BI工程师岗位数据分析的可视化报告就制作完成啦~

 

 

这图我准备带去前方丈母娘现场

 

 

上菜:分析结果

 

分析结果必须要跟丈母娘好好儿讲解讲解:

 

  • 目前BI工程师岗位在智联招聘网站的平均薪资为13.46K(达到月入过万标准),主要薪水区间大概在12-15K(占比27.07%),相关工作需求总数为634个(仅仅为某一天的招聘需求数据,绝不会失业)。

 

  • 从城市岗位需求数量分布来看,BI工程师需求主要集中在北京、上海、深圳、广州区域;各城市BI工程师平均薪水方面,去除岗位需求量较少的城市来看,国内排在前面的分别为深圳(14.72K)、上海(14.59K)、北京(14.51)、杭州(12.07K)、成都(11.13K)、广州(10.94K),结婚以后生活的城市也能选下来了。

 

  • 从工作年限的平均薪水和岗位需求数量来看,工作5-10年的资深BI工程师的平均薪水可以达到20K以上。(换句话说,我这工作钱途一篇光明啊,此时不嫁更待何时?我的未来老母亲)

 

  • 看了一些高薪的招聘企业,最高的可以给到30K~40K的薪酬水平,其中主要是互联网、IT类公司为主。(虽然我现在没车没房,但是用不了多久,我都会有!)

一顿操作,醍醐灌顶,此次出征,我必是凯旋而归啊!

欢迎关注我的公众号“商业智能研究”,私信回复“资料包”,即可领取大数据、数据中台、商业智能、数据仓库等6G精华资料

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章