RocketMQ顺序消息(Ordered Message)保证消息严格按照顺序消费,但顺序消费天然会限制消息吞吐量。
如果需要提高吞吐量,可以从以下几个维度进行优化:
增加队列数(合理划分队列粒度)
顺序消息在RocketMQ中是基于单个Queue顺序消费的,队列越多,并发消费能力就越强。
实践:
将消息按照顺序要求的业务主键进行分片(如订单号、用户ID),同一个分片的消息投递到同一个队列中,不同分片的消息可以并行消费,从而提高整体吞吐量。
例如:
// 根据订单号取模,确定投递的队列
int queueNum = orderId % queueCount;
常见实践技巧
① 提高队列数量(最常见)
调整Topic的队列数量,例如从4个队列调整到8或16个。
根据消息的业务标识分配到不同的Queue。
单队列保证单分片顺序,多队列并行提高吞吐。
// 消息发送示例(自定义消息队列选择器)
SendResult sendResult = producer.send(msg, (mqs, msg, arg) -> {
int index = (arg.hashCode()) % mqs.size();
return mqs.get(index);
}, orderId);
② 降低单条消息的业务处理时长
顺序消息的消费速度受限于单个消息的消费速度,因此:
减少顺序消息处理过程中的耗时操作,快速提交消费结果。
异步处理耗时逻辑,顺序消费只负责确认顺序并快速落盘或提交。
例如:
// 快速消费,异步提交耗时任务
consumer.registerMessageListener((msgs, context) -> {
// 同步轻量级逻辑,快速返回
quicklySaveToDB(msgs);
// 异步线程池处理复杂任务
asyncExecutor.execute(() -> handleComplexTask(msgs));
return ConsumeOrderlyStatus.SUCCESS;
});
③ 增加消费者线程数
虽然单个队列是严格串行消费,但多个Queue之间可并发消费,增加消费端线程数或消费者实例数量,提升整体吞吐。
增加消费者实例数量,提升并发处理能力。
合理规划Queue数量,队列数一般建议 >= 消费者实例数。
推荐的最佳实践组合方案
发送端:
按照业务逻辑(如订单号)分片,多Queue投递。消费端:
适度增加消费者线程数量。
增加消费者节点(水平扩容),提高并发能力。
快速消费,耗时操作异步化。
注意事项:
队列越多并行越高,但维护成本也会上升,需要结合具体业务场景平衡。
顺序消息消费端严禁长时间阻塞或耗时较长的操作,否则即使增加队列也无法提高吞吐量。
其实最好用redis list实现队列,因为redis list可以无限扩展,mq加队列很麻烦。