老师scrapy爬取的数据是否都不按顺序？如何解决？

来源：4-19 pipeline数据库保存

weibo_府东二路走九遍_0

2020-02-23

我将爬取的cnblogs标题写入word中，每次顺序都不一样。请教大家如何解决？才看了前四章，如果后面有讲解也请提醒一下谢谢！

写回答

1回答

bobby

2020-02-25

异步io的库都不会保证顺序的，谁先下载完先处理谁，我将爬取的cnblogs标题写入word中是什么意思？为什么要保证顺序呢？

bobby

weibo_府东二路走九遍_0

这个顺序是无法保证的，因为每个url的下载返回时间不一样，如果想一样那就成了同步库的功能了

2020-02-27

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

回答 1

回答 2

回答 2

回答 1

回答 2