知乎问题页面现已改成下拉，如何提取全部回答？

来源：6-17 知乎spider爬虫逻辑的实现以及answer的提取 - 1

烈焰卡卡

2018-04-16

知乎现在已经没有“更多”的选项了，而默认打开页面的html中只包含了几个问题的div，如何实现打开页面能获取全部问题？如果用selenium实现的话会不会使得整个爬虫效率变得很低？

写回答

2回答

bobby

2018-04-17

已采纳

知乎是你下拉的时候会自动去请求url你可以在网络下面的 xhr请求中看到

//img.mukewang.com/szimg/5ad5d3e20001c54910370302.jpg

bobby

晴天浪浪

你看一下我上面的回复

2018-09-30

共3条回复

bobby

2018-09-30

//img.mukewang.com/szimg/5bb06a430001625d14440287.jpg 下来的时候会有answer的信息

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 3

回答 2