老师最近使用多进程爬虫，利用进程池pool(64)

首页课程实战体系课手记专栏慕课教程

老师最近使用多进程爬虫，利用进程池pool(64)

来源：1-4 【讨论题】：爬虫工程师该何去何从？

慕慕7513118

2022-04-19

刚开始爬还挺快，跑一段时间后，最后只剩下四五个进程再跑了，其他进程都卡住不动了，为什么。

写回答

1回答

小布_老师

小布_老师

2022-04-22

线程处理爬虫，一般都是卡请求。

请求的超时默认120秒，如果响应一直不回来，线程只会死等。

推荐线程+协程

0

3

小布_老师

或者多线程多loop

2022-04-28

共3条回复

Python高级爬虫实战-系统掌握破解反爬技能挑战高薪

加密破解、逆向重构、分布式框架及海量存储方案

494 学习 · 105 问题

相似问题

scrapy 怎么给每个爬虫添加进度条，显示爬取的进度？

回答 1

老师请教一个问题

回答 1

请教老师有就业方向的专门课程指导吗？

回答 1

为什么要js逆向？

回答 1

用scrapy写了很多个爬虫，怎么一个一个运行，判断一个爬虫运行完，自动下一个爬虫启动？

回答 1

打开慕课网App查看更多内容