现在知乎是前后端分离，scrapy默认不支持动态加载。

来源：6-16 item loder方式提取question - 3

冼星扉

2018-05-07

默认的response和浏览器的源码查看，有相当大的出入，有些数据是没有的，应该都是动态加载。

希望后续可以补充下 scrapy-splash 抓取动态内容。

写回答

1回答

bobby

2018-05-09

动态网站的抓取我会在后面章节介绍的而且不建议使用scrapy-splash用chromedriver比较好

bobby

冼星扉

当然支持啊

2018-05-15

共6条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 2

回答 1

回答 1