filtered offsite request的疑惑?

首页课程实战体系课手记专栏慕课教程

filtered offsite request的疑惑?

来源：10-4 scrapy-redis编写分布式爬虫代码

慕粉1946152704

2019-10-02

老师, 我将某个抓去明细数据request的dont_filter设置为False后, scrapy的日志中发现如下这样一条记录, 并且scrapy不再抓取明细数据了:
图片描述
看提示, 这个request不是由于request的指纹识别过滤的, 更像是被allowed_domains过滤的, 但是这两个url的domain明明是一样的, 为什么会过滤掉呢?

写回答

1回答

bobby

bobby

2019-10-08

已采纳

你的domain怎么设置的？

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

关于filtered duplicate request的疑惑?

回答 3

Filtered offsite request to

回答 3

调试进入不了parse_detail函数

回答 1

老师您好，无法debug 到 parse_detail 该怎么解决

回答 1

关于去重的两点疑惑

回答 1

打开慕课网App查看更多内容