# -*- coding: utf-8 -*-
import scrapy
from jd_scrapy_redis.items import JdCategoryUrlsItem
from scrapy_redis.spiders import RedisSpider
from urllib import parse
from tools.common import get_md5

class JDUrlsSpider(RedisSpider):
    name = 'jd_category_urls'
    allowed_domains = ['jd.com']
    redis_key = 'jd_category_urls:start_urls'

    def parse(self, response):
        # 解析总类目页面，获取各类目url并存储到redis中
        jd_category_item = JdCategoryUrlsItem()
        category_urls = response.xpath('//div[@class="mc"]//dd//em//a//@href').extract()
        for url in category_urls:
            category_url = parse.urljoin(response.url, url)
            jd_category_item['category_url'] = category_url
            jd_category_item['category_url_object_id'] = get_md5(category_url)
            yield jd_category_item
            yield scrapy.Request(url=category_url)

# -*- coding: utf-8 -*-
import scrapy
from scrapy_redis.spiders import RedisSpider
from urllib import parse
from jd_scrapy_redis.items import JdDetailUrlsItem
from tools.common import get_md5

class JdDetailUrlsSpider(RedisSpider):
    name = 'jd_detail_urls'
    allowed_domains = ['jd.com']
    redis_key = 'jd_category_urls:requests'

    def parse(self, response):
        jd_detail_item = JdDetailUrlsItem()
        detail_urls = response.xpath('//div[@class="gl-i-wrap j-sku-item"]/div[@class="p-img"]/a/@href').extract()
        for url in detail_urls:
            detail_url = parse.urljoin(response.url, url)
            print('detail_url:' + detail_url)
            jd_detail_item['detail_url'] = detail_url
            jd_detail_item['detail_url_object_id'] = get_md5(detail_url)
            jd_detail_item['referer_url'] = response.url
            # 将每个图书类别url发送请求
            yield jd_detail_item
            yield scrapy.Request(detail_url)

        pn_next = response.xpath('//a[@class="pn-next"]//@href').extract()
        if len(pn_next) != 0:
            next_url = parse.urljoin(response.url, pn_next[0])
            # 依然是图书类别url，下一页
            print('next_url:' + next_url)
            yield scrapy.Request(next_url, callback=self.parse)

1、第一个爬虫是爬取分类url并构造成request，第二个爬虫的redis-key直接使用第一个爬虫生成的requests（zset）后报错如下：，好像是说redis中有不同类型的重名的key。请问老师我怎么让slave的爬虫消费master中的request呢？

2、是不是不同机器上配置了redis主从之后，master中相应的数据会同步到slave中，还是我的slave上的爬虫直接连接master上的redis进行消费呢？