关于kafka出站速率的问题
来源：11-1 集群监控安全介绍
LBruce
2020-11-20
测试环境
均阿里云Centos7服务器,8核16G，走内网通信。
1台Producer，开启200个条线程，持续3分钟投递消息。总消息数量在百万级。
1台Kafka，接收消息用了1个Topic（包含10个partition），消费消息用了1个ConsumerGoup（包含10个Consumer）
1台Consumer，用线程池开启了20个不同的Consumer线程，每个consumer分别处理对应的partition消息。
问题
consumer消费极其缓慢，最终排查发现，kafka服务器的出站速率非常低。在1Mbps左右（个人猜想大概是这个原因导致消费缓慢），但不知道要怎么进行调优。还请老师解答一下，谢谢老师。
kafka出站速率
kafka写盘速率
和RabbitMQ做了对比，以下是RabbitMQ的出站速率
Rabbit的写盘速率
感觉kafka不应该这么低效的，但个人又不知道问题出在哪里，希望老师解答一下，谢谢老师。
写回答
1回答
-
这个原因有可能很多方面， 要逐一排查。 比如你的Kafka如果是公有云产品，可能自带限制，直接联系客服。 如果是自建kafka，要看你的给kafka server做的缓存设置和写入相关配置， 这个可以在官网上直接找一下
112020-11-23
相似问题
關於流式處理
回答 1