queue队列再设置了最大化出现的问题

来源:8-8 进一步的思考 - 课后作业

慕用7231610

2020-07-31

设置了queue最大化的时候在遇到下一页需要添加下一页url这时候会遭遇阻塞 这种问题怎么处理呢?老师

写回答

1回答

bobby

2020-08-03

queue超过最大的长度了 难道不能阻塞吗?

0
6
bobby
回复
慕用7231610
消费者跟不上肯定不行啊,你得想办法提高消费速度啊,如果要是一直处理不了 那么更好的建议是别用基于内存的queue而是采用kafka这种
2020-08-13
共6条回复

Python爬虫工程师实战 大数据时代必备

慕课网严选精品教程,高质量内容+服务!

2378 学习 · 1158 问题

查看课程