hearder问题

来源：6-14 item loder方式提取question - 1

evahere

2019-11-28

请问在 scrapy.Request里面添加 header和在settings里面设置 USER_AGENT有什么区别

写回答

1回答

鲁智深110

2020-01-21

setting一个的全局的，scrapy.Request一个只是当前请求的

推荐一个包，随机取USER_AGENT

from fake_useragent import UserAgent
UserAgent().random

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 3

回答 2