用scrapy 返回301 requests 什么都没带 200 为什么。。

来源:2-3 windows和linux下安装python2和python3

慕慕7513118

2022-06-08

图片描述
import requests

url = 'http://www.gxib.cn/content/?4312.html
res = requests.get(url=url)
res.encoding = 'gbk’
print(res.status_code,res.text)
200

写回答

1回答

bobby

2022-06-10

301是重定向,不代表有问题,只是scrapy对于这种状态码就不会自动帮我们请求301指定的跳转,requests默认请求遇到301之后就请求新的地址而不是返回给用户, scrapy设置一下就可以让scrapy遇到状态码之后自动请求而不是报告给用户

0
0

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

查看课程