bobby老师，请教一个关于scrapy

bobby老师，请教一个关于scrapy_redis问题

来源：10-4 scrapy-redis编写分布式爬虫代码

wala_qili

2018-08-13

为什么下面这个url, 我用requests包，scrapy shell 和普通的scrapy等加上user_agent代理后都可以正常爬取，但是在使用scrapy_redis就不能爬取（相同的代码位置换上百度链接就可以爬取成功），而且它也不报错。请老师指点一下啊！！！！

谢谢老师！

写回答

1回答

bobby

2018-08-14

你把你的代码贴一下我在我这里运行试试呢

bobby

wala_qili

这个你可以在原始数据中看到原始数据 es返回的数据中有highlight 也把原始数据返回来了啊

2018-08-15

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 2

回答 2