多爬虫分文件，scrapy能不能实现

来源：7-1 数据表结构设计

starkpan

2018-12-31

老师，我想写一个爬虫，每一次启动执行多个爬虫任务，然后每个爬虫爬取的内容写在不同的文件。这个能实现么？
在网上查到了可以多任务，但是没有介绍能不能分文件。
谢谢。

写回答

1回答

bobby

2019-01-01

份文件很容易课程中会讲解如何去重写start_requests方法，重写这个方法就可以添加自己的任何逻辑。这与你就可以自己去读取文件了

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1