爬取拉钩要登录

来源：7-6 item loader方式解析职位

xmzls

2017-08-13

现在爬取拉钩需要登录，自己写了登录逻辑，爬取速度也设10秒，发现也不行。折腾好几天了，真心希望老师能补节课程。或者放出这部分的可行的代码出来参考一下啊。

写回答

2回答

起得比鸡还早

2017-08-29

拉钩全站爬取 + JsPageMiddleware 在打断点的时候偶尔是有数据插入的，但是不打断点就j进入不了 CrawlSpider 的_response_downloaded函数啊

bobby

2017-08-14

这个应该是被判断为爬虫了如果一定需要登录的话你可以参考知乎的模拟登录然后获取到session后再爬取也可以

逍遥明月

慕圣1554054

没有，拉勾很难爬，我用 selenium 爬的。

2017-09-16

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5818 学习 · 6291 问题

相似问题

回答 3

回答 1

回答 1

回答 1

回答 1