知乎登录成功后的数据跟首页不一样

来源：6-17 知乎spider爬虫逻辑的实现以及answer的提取 - 1

风暴洋

2020-09-09

all_urls明显跟chrome页面上的不一致。
比如all_urls中会有：人类的阴暗面等问题，但是页面中并没有。
是什么原因呢？是否可能因为知乎的推荐系统，每次的生成的页面都不一样？
用scrapy.request请求的页面跟chrome上展示的页面不是一个？

写回答

1回答

bobby

2020-09-10

已采纳

知乎首页是推荐式的，每次请求都不一样，所以你每次请求不一样和chrome访问也会不一样

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

相似问题

回答 2

回答 1

回答 3

回答 1

回答 1