一个爬虫可以从头再开始爬吗

首页课程实战体系课手记专栏慕课教程

一个爬虫可以从头再开始爬吗

来源：4-18 mysql表结构设计

慕莱坞yql

2022-04-26

老师，当爬虫结束后，如何能再从头开始爬取呢？一直循环下去。谢谢！

写回答

1回答

bobby

bobby

2022-04-28

这个不难啊，每次爬完以后就把去重队列清空，然后定期又把爬虫重新启动一次

0

0

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5808 学习 · 6290 问题

相似问题

两个或两个以上的网站爬取算是分布式爬虫吗？我这样写可以启动无数个爬虫程序吧？为啥启动完第一个就直接结束了呢？

回答 1

请问源代码有实现scrapy-redis对招聘网站进行分布式爬虫吗

回答 1

scrapyd部署scrapy后无法关闭爬虫

回答 1

请教老师一个问题

回答 1

基于CrawlSpider，同一份代码爬取多个网站的数据，如果限制不爬取外链网站数据

回答 2

打开慕课网App查看更多内容