爬取内容，与浏览器返回内容不一样？

来源：6-14 item loder方式提取question - 1

luluoverflow

2020-11-24

老师你好，我想问一下：为什么我通过爬虫获取的url 在网页源码中都查不到？也就是说，我爬取“问题”的和我在浏览器网页上看到的“问题”不一样。而且爬虫获得的“问题”url也比网页中所展示的少了很多。

写回答

1回答

bobby

2020-11-26

可能是被反爬了你可以打印一下html看看返回的html具体内容是什么也有可能页面变成动态页面了

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5823 学习 · 6292 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1