如何重复不断的爬虫一个url列表

来源：1-1 python分布式爬虫打造搜索引擎简介

归来也无风雨也无晴

2021-11-28

老师，有个需求：
从数据库中获取一组url列表，爬取实时更新的值，我需要不断的重复这些url，该怎么写？

写回答

1回答

bobby

2021-11-29

//img.mukewang.com/szimg/61a4b00409a9ac0c04910251.jpg 可以看看这个章节主要是是使用scrapy-redis，自己写个定时脚本不停的把url放入redis即可

bobby

归来也无风雨也无晴

django和scrapy通信只能采用scrapy调用django的url，或者scrapy写入消息到redis中django去监听这个redis的消息

2021-12-03

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5829 学习 · 6293 问题

相似问题

回答 1

回答 1

回答 1

回答 1

回答 2