关于IP和user agent

来源：17-1 课程总结

慕用2063631

2020-06-12

老师，之前课程中，有在middle里面设置了随机更换user agent和IP的代码，这样意思就是只要在这个框架内的所有spider 每次访问的时候，都会随机给一个IP和user agent是吗？还是需要怎么样给他启动起来呢

如果需要配置别的话user agent其余的我应该存在哪里呢

写回答

1回答

bobby

2020-06-14

这里如果通过middlware配置的话默认是每个request和response都要走这个逻辑

bobby

慕用2063631

settings中只是用于配置而已，如果你的ip是动态获取的那就不要配置ip了啊

2020-06-18

共4条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 2