rules如何解决request的地址和allow

rules如何解决request的地址和allow_domain里面的冲突

来源：2-4 虚拟环境的安装和配置

归根结底不优秀

2019-04-18

只能执行parse_job之前的部分，后面的执行不了

这种情况看网上的解决办法是 request的地址和allow_domain里面的冲突，从而被过滤掉。可以停用过滤功能。
yield Request(url, callback=self.parse_item, dont_filter=True)，可是我用的是crawlSpider，而且在yiled scrapy.Request时dont_filter确实为Ture，我就在想是不是rules也会有这个过滤选项，该如何解决

下面是我的设置

然而即使我把allow_domains注释掉了运行还是这个错误，觉得网上的解释有问题