scrapy shell 设置user-agent后仍然提示302

来源：4-12 提取详情页信息

qq_慕神6513837

2022-01-26

scrapy shell -s USER_AGENT=‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36’ https://news.cnblogs.com/n/711760/
仍然302
Redirecting (302) to <GET https://account.cnblogs.com:443/signin?ReturnUrl=https%3A%2F%2Fnews.cnblogs.com%2Fn%2F711760%2F> from <GET https://news.cnblogs.com/n/711760/>

写回答

1回答

bobby

2022-01-27

目前cnblogs变了规律了，所以详情页都需要登录才能访问了，所以如果你为了调试方便，需要自己登录一下cnblogs然后从浏览器中拿到cookie，然后将cookie放在scrapy shell中去拿到数据，还有另一个选择就是使用pythonJupyter Notebook，也可以写python代码进行装代码逐个调试

，

bobby

qq_慕神6513837

这个方法很好用

2022-02-06

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程

相似问题

在终端中 scrapy shell 如何避开302重定向呢？