使用Crawlera后，response.body为空，取不到信息

首页课程实战体系课手记专栏慕课教程

使用Crawlera后，response.body为空，取不到信息

来源：8-8 scrapy实现ip代理池 - 3

BigCarrey

2018-04-15

老师您好。我按照课程内容完成了User-Agent设置和Crawlera的IP设置，去爬取大众点评网的信息，现在遇到一个问题。在我启用Crawlera之后，response.body基本上都是空的，提不出任何信息。反倒是我没启用Crawlera的话，大部分情况下response.body是正常的，可以取到信息，但是有一定几率会碰到403。请问这是什么原因呢？该如何解决？

PS：我已经尝试了设置DOWNLOAD_TIMEOUT为3000，以及设置DOWNLOAD_DELAY为1，均未能解决问题。

写回答

1回答

bobby

bobby

2018-04-16

应该是代理ip被识别为黑名单ip了你换个其他ip代理试试呢

0

3

bobby

回复

BigCarrey

你给我发个qq消息我看看呢 442421039

2018-04-18

共3条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

使用scrapy-crawlera做爬虫代理，但是运行爬虫出错，打印信息显示407状态码，要怎么解决？

回答 2

知乎访问用户信息的api获取数据时返回404

回答 2

获取了登录后的cookie无法获取具体信息

回答 1

老师比如我想动态获取美团美食的数据动态抓取到网页之后还怎么处理呢

回答 1

爬取的信息为空

回答 1

打开慕课网App查看更多内容