scrapy shell 命令和debug运行的结果出现问题

来源：4-12 提取详情页信息

Czxxx

2019-11-11

为什么和老师视频里的步骤一摸一样（url也是一样的，特意改成了和视频中相同的），但是通过scrapy shell命令出来的结果是空的呢？图片描述
但是通过debug运行，title结果能打印出来，但是和我想要爬取的标题不一致，这两个分别是什么原因呢

写回答

1回答

bobby

2019-11-12

首先你通过在shell中打印一下看看html是什么样的？如果确实一样那就是选择器的错误，如果html不是预想的格式那应该就是反爬，需要加上user-agent，如果两个问题都不存在那就重新进入一下scrapy shell，我之前也遇到过，重新进入一下就可以了

bobby

Czxxx

好的，加油

2019-11-13

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 1

回答 1

回答 2