根据limit=5&offset=5去爬取回答,发现每个这样的url都是只爬取到了data中的第一个回答,接下来的4个回答都没有爬取到,这是什么原因?

来源:6-21 保存数据到mysql中 -3

Yan雪杉

2018-06-11

def parse_answer(self, response):
    answer_item_loader = ZhihuItemLoader(item=ZhihuAnswerItem(), response=response)
    answer_dict = json.loads(response.text)

    is_end = answer_dict['paging']['is_end']
    next_answer_url = answer_dict['paging']['next']

    for answer in answer_dict['data']:
        create_time = answer['created_time']
        update_time = answer['updated_time']
        answer_id = answer['id']
        praise_nums = answer['voteup_count']
        answer_url = answer['url']
        author_id = answer['author']['id'] if 'id' in answer['author'] else ''
        question_id = answer['question']['id']
        question_create_time = answer['question']['created']
        question_update_time = answer['question']['updated_time']
        content = answer['content'] if 'content' in answer['content'] else answer['excerpt']
        comment_nums = answer['comment_count']
        crawl_time = datetime.now()

        answer_item_loader.add_value('answer_id', answer_id)
        answer_item_loader.add_value('question_id', question_id)
        answer_item_loader.add_value('answer_url', answer_url)
        answer_item_loader.add_value('author_id', author_id)
        answer_item_loader.add_value('content', content)
        answer_item_loader.add_value('praise_nums', praise_nums)
        answer_item_loader.add_value('comment_nums', comment_nums)
        answer_item_loader.add_value('create_time', create_time)
        answer_item_loader.add_value('update_time', update_time)
        answer_item_loader.add_value('crawl_time', crawl_time)

        answer_item = answer_item_loader.load_item()
        yield answer_item

    if is_end == False:
        yield scrapy.Request(next_answer_url, callback=self.parse_answer)


写回答

1回答

bobby

2018-06-12

是返回的数据里面只有一条数据?还是你只能从返回的数据中获取到第一条数据?

0
2
bobby
回复
Yan雪杉
那其实问题已经比较明确了 实际上采集是返回了数据,但是因为每一页都都是主键冲突造成了 只有一个数据入库,所以你需要确定一下是哪个主键冲突了,然后看看是不是这一页的所有数据都是想同的主键
2018-06-14
共2条回复

Scrapy打造搜索引擎 畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy,用Django+Elasticsearch搭建搜索引擎

5796 学习 · 6290 问题

查看课程