请问在 scrapy.Request里面添加 header和在settings里面设置 USER_AGENT有什么区别？
来源：6-16 item loder方式提取question - 3
evahere
2019-12-03
请问在 scrapy.Request里面添加 header和在settings里面设置 USER_AGENT有什么区别？
如果我一开始使用
return [scrapy.Request(url=self.start_urls[0], dont_filter=True, cookies=cookie_dict)]
这种方式 是不是之后的yield scrapy.Request() 都不需要用到headers这个参数
写回答
1回答
-
bobby
2019-12-06
从发送出去的http请求格式看是没有区别的。settings中配置的最好好处就是后续的所有的request都会默认添加上ua，这个你看过课程后面介绍的组件开发就明白了。其实就是一个组件使用了这个变量而已，如果单独在request中添加这个，那么其他的request就得自己设置了
00
相似问题