如何实现提供restful接口，并实现增量爬取

来源：1-1 python分布式爬虫打造搜索引擎简介

慕尼黑7546459

2019-12-11

老师，基于scrapy，怎么实现提供restful接口给其他服务使用，并支持传参的增量爬取呢，谢谢

写回答

1回答

bobby

2019-12-12

scrapy本身并没有提供过多的接口给外部，不过可以使用scrapy-redis来完成，但是逻辑需要自己写，你可以写一个服务将不同的任务提交到redis队列中，但是队列应该如何处理需要自己去写逻辑

慕尼黑7546459

bobby

好的，谢谢老师。

2019-12-23

共7条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 1