如何优雅的结束爬虫呢？

来源：16-1 并发版爬虫架构

ayoualing

2018-08-29

现在爬虫没有结束的机制，怎样才能知道没有要爬取的内容了然后优雅的结束爬虫呢？我能想到的就是设置一个超时时间，这个时间之外如果没有新的request从channel中传过来，就结束engine。但是有没有更好一些的办法呢。

写回答

1回答

ccmouse

2018-09-01

或者我们也可以再加上一个条件，就是一段时间里没有request并且scheduler里面队列为空。不过这需要改一下scheduler接口。我们让scheduler来判断是否要退出，然后把这个信息通过一个channel送出去。

另外我们还可以通过捕获ctrl+c来更加优雅的处理一些退出前要做的事。这篇文章介绍了如何捕获ctrl+c https://studygolang.com/articles/6869

Google资深工程师深度讲解Go语言由浅入深掌握Go语言

语法+分布式爬虫实战为转型工程师量身打造

5995 学习 · 1909 问题

相似问题

回答 2

回答 1

回答 1

回答 1

回答 2