为什么在遍历yield出去的url时，有时候会丢失没有采集到，是跟网络有关吗？

首页课程实战体系课手记专栏慕课教程

为什么在遍历yield出去的url时，有时候会丢失没有采集到，是跟网络有关吗？

来源：1-1 python分布式爬虫打造搜索引擎简介

Richelieu1780

2021-08-12

怎么能够稳定采集成功

写回答

1回答

bobby

bobby

2021-08-13

为什么感觉到没有采集到？有没有看看日志是否是出现了非200状态码？

0

2

bobby

回复

Richelieu1780

那应该是某个的状态码不是200，你可以看看日志，日志也会统计爬取了多少个的

2021-08-16

共2条回复

Scrapy打造搜索引擎畅销4年的Python分布式爬虫课

带你彻底掌握Scrapy，用Django+Elasticsearch搭建搜索引擎

5795 学习 · 6290 问题

相似问题

在解析的过程，有多个url被yield跟进爬取时，如何保证都解析完成，才被yield给pipelines

回答 1

yield 和 return的问题

回答 1

crawlspider中能yield出去 Request的吗？

回答 1

关于去重的两点疑惑

回答 1

Redis 能否标记内容是否已经采集

回答 1

打开慕课网App查看更多内容