301如何使用meta

来源：10-4 scrapy-redis编写分布式爬虫代码

慕标6621168

2020-12-01

我遇到的问题是，爬取链家，但是很多链接出现301，重定向的新地址还是原地址。但是我传递的meta，在接收就收不到了，请问老师有什么办法可以解决？

写回答

2回答

bobby

2020-12-03

这个问题提的很好，所以我给你找到了301的源码， //img.mukewang.com/szimg/5fc849850932a73014660831.jpg 你看一下这个源码，代码不多，无论我给你怎么解释都不如你直接看这里的源码清楚

bobby

2020-12-02

出现的301一般是重定向这种操作一般scrapy会自己去抓取重定向的之后的url 你这里的返回的html是否正确？

慕标6621168

链家规则是重定向后还是原来的请求地址，数据都没问题，但是，code是301，meta没有了，不用mate一切都不影响。所以不知道有啥办法重定向时能带上meta的？

2020-12-02

共1条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

301

回答 2

回答 1

回答 1

回答 1