如果列表很长需要翻页该怎么写呢

来源:16-1 并发版爬虫架构

weixin_慕容1248177

2021-01-15

写回答

1回答

ccmouse

2021-01-27

抱歉回复的晚了。同学是指哪个列表?

如果是爬取网页中的列表,我们分析了它翻页的方法。其实下一页按钮对应的也是一个url跳转,我们这里用了正则表达式把这些url,不管是翻页的还是其他的链接都一口气抓下来了。

如果是说最后elasticsearch返回的结果,我课上已经做了翻页 。

0
0

Google资深工程师深度讲解Go语言 由浅入深掌握Go语言

语法+分布式爬虫实战 为转型工程师量身打造

5995 学习 · 1909 问题

查看课程