Scrapy-redis调度问题

首页课程实战体系课手记专栏慕课教程

Scrapy-redis调度问题

来源：

丶一夕夏

2017-06-05

老师您好，我想问一下。在新url入redis队列前，该如何调整他的优先级呢？

写回答

1回答

bobby

bobby

2017-06-06

request里面有一个priority参数设置大一点就行了

0

2

bobby

回复

丶一夕夏

这是你在yield request的类的时候 request有个参数

2017-06-07

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

相似问题

scrapy redis部署和scrapy的部署有什么不同？

回答 1

scrapyd部署scrapy后无法关闭爬虫

回答 1

想问问老师平时做的爬虫会不会经常用到scrapy-redis还是就直接用scrapy就能满足

回答 1

redis-scrapy 分布式爬虫之缓存问题

回答 3

基于Scrapy-redis的爬虫，模拟登陆如何设置cookies

回答 1

打开慕课网App查看更多内容