main方法里怎么传不同的Url给engine.Request

来源：16-6 更多城市

地球是猿的

2021-09-07

老师好，我现在爬的一个新闻网站没有下一页，但是可以通过url改日期和页码数获取不同的新闻列表，可是main方法中执行了一次ConcurrentEngine.Run(engine.Request{})后没法再执行第二次了，想问下有没有更好的思路解决这个问题

写回答

1回答

爱吃apple的阿狸

2021-09-10

你直接写个ParseNewsList啊，先把所有列表页的url拿到。

当然你也可以粗暴一点，直接在main方法前面整。

main前面就是直接创建 []string，然后for循环，根据日期和页码数循环出所有url,存入slice，然后传参到main。

地球是猿的

在外面再套一次Parse应该是可行的，太折腾了

2021-09-10

共2条回复

Google资深工程师深度讲解Go语言由浅入深掌握Go语言

语法+分布式爬虫实战为转型工程师量身打造

5995 学习 · 1909 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1