Scrappy shell无效

来源:7-6 item loader方式解析职位

超级无敌大好人

2021-03-17

拉钩现在具体职位,我用shell直接重定向了,我加了cookie和useragent都没办法,老师该咋办

写回答

1回答

bobby

2021-03-19

拉钩采用了极度变态的动态cookie机制,目前正在破解中。使用scrapy已经无法获取到数据了,目前采用selenium获取最方便,使用scrapy获取也会被反爬

0
2
bobby
回复
qq_漫漫余生
我已经将拉钩的反爬代码更新到慕课的git源码中了并做了说明,可以在 git.imooc.com中查看到最新的源码
2021-04-30
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程