boss实习生岗位太难找,用SCRAPY爬取BOSS直聘实习生数据,原来是......

前言

每到毕业季,很多应届生在很多招聘的平台上去找工作,都想往自己学习兴趣这块发展。但是自身起点太低,都会往实习生这块去找。

最近想找实习单位。。结果发现boss上很多实习单位名字就叫‘实习生’…太不讲究了 , 难怪一直搜不到…咳,其实是我自己水平有限,有些简历根本就投不出去
在这里插入图片描述

所以就想爬下boss杭州地区有实习生关键词的所有职位,然后在职位详情里面搜索‘python’或者‘爬虫’…然后小白开始动手了…

首先写item 名字、公司、内容、url

在这里插入图片描述

如果你对python感兴趣,我这有个学习Python基地,里面有很多学习资料,感兴趣的+Q群:688244617

再接着去写爬虫 通过xpath 分析列表页的详情页url 再通过url进入详情页分析数据 (泪流满面。这过程居然没动态加载的数据)
在这里插入图片描述

下一页的url我是通过获取最后一个a标签拿到的 再如果有下一页,就继续爬

在这里插入图片描述

至于这个反爬机制 我不仅在settings里设置了下载器延迟 爬虫里面也弄了time.sleep,穷学生买不起代理啊,好了。就是慢慢爬
数据直接导入了mysql mysql代码是早写好的异步代码,当然对于这个龟速爬取(安全),异步同步没区别。。
在这里插入图片描述

思路描述完毕

其实找工作还是要靠自己的实力说话,实力不强的话,有再好的面试机会都是白费的。编程也是个慢慢积累的过程,而且不要想着一步登天吧。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章