用scrapy shell调试采集cnblog的详情页，报错

首页课程实战体系课手记专栏慕课教程

用scrapy shell调试采集cnblog的详情页，报错

来源：4-12 提取详情页信息

王凯6397575

2022-05-06

写回答

1回答

bobby

bobby

2022-05-09

上面出现了403 没有抓取到数据，需要登录，可以先使用pycharm调试

0

2

bobby

回复

王凯6397575

是的，而且这里的url中明显带有登录login说明就是需要你登录

2022-05-11

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

在使用scrapy shell调试爬取伯乐在线代码的时候 response.css(...)出不来东西

回答 1

scrapy shell 设置user-agent后仍然提示302

回答 1

shell调试报错

回答 1

scrapy shell 命令报错

回答 2

在6.5 item loader方式解析职位中，我采用scrapy shell + 拉勾职位详情但是获取不到html显示的是

回答 1

打开慕课网App查看更多内容