知乎爬虫5-14，all_urls里没有一个带question

首页课程实战体系课手记专栏慕课教程

知乎爬虫5-14，all_urls里没有一个带question

来源：6-14 item loder方式提取question - 1

爬虫小白

2019-11-26

在第一张图调试，结果没有一个链接带question，如第二张图所示

图片描述
经查，这些链接都是来自以下第三张图的按钮的

图片描述

请问这是什么原因呢？是知乎的屏蔽了吗？谢谢！

写回答

1回答

bobby

bobby

2019-11-27

已采纳

你可以先打印一下看看html内容是什么

0

5

爬虫小白

回复

bobby

非常感谢！谢谢您！

2019-11-28

共5条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

知乎爬取问题

回答 2

学习爬取知乎首页所有question，发现提取网页源码的href解析出question的url是不能深度爬取全站所有question的url

回答 1

用scrapy-redis爬知乎报错

回答 2

知乎爬虫5-14，all_urls还是登录页面的链接

回答 1

打开慕课网App查看更多内容