全网爬取拉钩时出现的问题

来源：7-8 职位信息入库-2

缘茜行

2019-06-26

拉勾网全网爬取问题
用crawl模板全网爬取的时候，如果不用cookie，就会出现登录重定向，但是如果用模拟登录，就会出现utrack重定向，这样就有点矛盾了。如何爬取呢？

写回答

1回答

缘茜行

提问者

2019-06-26

我在想会不会是网页结构是否并不固定，而是动态改变的？

何杨233

bobby

我的也是302 utrack, 用了随机UA随机延时，延时10秒，但是爬一会还是会有302

2019-07-05

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5831 学习 · 6293 问题

相似问题

回答 2

回答 1

回答 1

回答 3

回答 1