启动爬虫报400怎么解决啊？

来源：8-5 通过downloadmiddleware随机更换user-agent - 2

asdhjhg

2017-07-22

写回答

2回答

bobby

2017-07-24

已采纳

http://www.cnblogs.com/gcm688/p/6497536.html 你可以看看这篇文章看看有没有用

asdhjhg

非常感谢！

2017-07-24

共1条回复

asdhjhg

提问者

2017-07-24

//szimg.mukewang.com/597578e200013e2c13660768.jpg

//szimg.mukewang.com/597578e20001895a13660768.jpg

搞定了，成功爬取了，谢谢老师啊，爬的条目有点太多，哈哈哈，我要爬下来，分析整个上海租房的情况，把经纬度都搞下来了，准备结合地图和图表做一个分析报告！

bobby

asdhjhg

https://doc.scrapy.org/en/latest/topics/settings.html#std:setting-DOWNLOAD_DELAY 你看看这个官方文档实际上是可以设置随机的

2017-07-26

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 3