网站下一页的a标签，href链接是js脚本，该如何爬取下一页的内容？

来源：17-1 课程总结

Dylan_liang

2019-07-01

请问，打算爬下一页的内容，但下一页的a标签href是js脚本，那应该怎么抓取下一页的内容？图片描述

写回答

1回答

bobby

2019-07-03

这个是执行了js逻辑。这个有两种方式：1. 直接看网络请求就知道这个js逻辑完成的url是什么了，直接自己访问这个url就行了 2. 直接使用selenium模拟点击后查看数据就行了

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 2

回答 1

回答 1

回答 2

回答 2