scrapy 怎么给每个爬虫添加进度条，显示爬取的进度？

首页课程实战体系课手记专栏慕课教程

scrapy 怎么给每个爬虫添加进度条，显示爬取的进度？

来源：1-4 【讨论题】：爬虫工程师该何去何从？

慕慕7513118

2022-04-18

scrapy 怎么给每个爬虫添加进度条，显示爬取的进度？

写回答

1回答

小布_老师

小布_老师

2022-04-18

这个不好处理，爬虫通常是没有明确的目标量，都是获取到下一个请求，再去处理，目标量不够明确。

这里提两个终端进度条的相关库：tqdm、alive_progress。

你加进去试试

0

2

小布_老师

推荐在爬虫中间件。 scrapy有大量的日志，你要先关闭这个日志。

2022-04-18

共2条回复

Python高级爬虫实战-系统掌握破解反爬技能挑战高薪

加密破解、逆向重构、分布式框架及海量存储方案

494 学习 · 105 问题

相似问题

对于汉字的反爬如何解决呢？

回答 1

为什么要js逆向？

回答 1

用scrapy写了很多个爬虫，怎么一个一个运行，判断一个爬虫运行完，自动下一个爬虫启动？

回答 1

老师最近使用多进程爬虫，利用进程池pool(64)

回答 1

老师请教一个问题

回答 1

打开慕课网App查看更多内容