如图，我使用scrapy 框架，
目标网站是 www.iciba.com/python
def parse(self, response):前后我都有打印，并且会成功打印出来，
但是没有执行 def parse(self, response):里面的方法
是因为爬虫失败，所以才没有进入def parse(self, response):里面的方法吗？
老师能不能试一下这个网址，看看是网站的问题，还是我写代码有问题。

问题二：
在设置反爬请求头的时候，
我在 middlewares.py 文件添加函数
class RandomUserAgentMiddleware(object):
def process_request(self, request, spider):
request.headers.setdefault(“User-Agent”, UserAgent().random)

并且在 settings.py 文件中添加
DOWNLOADER_MIDDLEWARES = {
‘scrapy_test.middlewares.RandomUserAgentMiddleware’: 543,
}
会报错