已经各种设置,拉勾网访问仍旧出现302

来源:7-9 网站反爬突破

qq_下弦月_1

2021-03-04

这里访问,刚开始就出现302,然后再运行一段时间后又200及302交替出现。出现200页面后,并不能提取有效数据。已经设置随机ua、cookies_enable=false、请求限速即DOWNLOAD_DELAY=10。还请老师帮忙解决,非常感谢!!!
图片描述
图片描述

写回答

1回答

bobby

2021-03-12

拉勾网目前采用了非常变态的动态cookie机制 我还在排查中

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程