本文作者：李伟，Apache RocketMQ Committer，RocketMQ Python客户端项目Owner，Apache Doris Contributor，腾讯云数据库开发工程师。
01 RocketMQ 4.9.X架构
| 组件和数据流 | 说明 |
|---|---|
| Namesrv | 无状态服务，保存Topic路由信息Topic路由=topic-queue-broker |
| Broker | 有状态服务，处理计算和存储。计算 = 生产者请求，消费者请求，管理请求，Broker系统服务（比如索引构建服务，消息过期服务）存储 = 消息存储，索引存储 |
| Broker -> Namesrv | Broker定期把Broker信息+当前Broker中的Topic信息上报Namesrv |
| 生产者 | 生产消息 |
| 生产者<-> Namesrv | 生产者从Namesrv获取Topic路由信息，包含Broker IP |
| 生产者<-> Broker | 生产者通过Topic路由信息，把消息直接发送给Broker生产者定期和Broker心跳，上报当前生产者实例信息 |
| 消费者 | 消费消息 |
| 消费者<-> Namesrv | 消费者从Namesrv获取Topic路由信息，包含Broker IP |
| 消费者 <-> Broker | 消费者通过Topic路由信息，从指定Broker中拉取消息消费消费者定期和Broker心跳，上报当前消费者实例信息 |
1、生产者通过Topic路由信息，把消息直接发送给Broker。
消费者消费消息消费者<-> Namesrv
Broker IP消费者 <-> Broker 。
- 消费者通过Topic路由信息，从指定Broker中拉取消息消费。
- 消费者定期和Broker心跳，上报当前消费者实例信息。
02 RocketMQ 5.0.0 架构
| 组件和数据流 | 说明 |
|---|---|
| Namesrv | 无状态服务，保存Topic路由信息Topic路由=topic-queue-broker。在5.0.0时，Namesrv进程中可以嵌入Controller模块。若设置enableControllerInNamesrv=true，在Namesrv进程中嵌入启动一个Controller实例 |
| Broker | 有状态服务，处理计算和存储。计算 = 生产者请求，消费者请求，管理请求，Broker系统服务（比如索引构建服务，消息过期服务）存储 = 消息存储，索引存储在5.0.0时，Broker支持主从切换，Broker的角色包含：master，slave，learner。若设置asyncLearner=true，则Broker为learner，只同步数据，不参与选举master |
| Broker -> Namesrv | Broker定期把Broker信息+当前Broker中的Topic信息上报Namesrv |
| Remoting生产者 | 生产消息 |
| Remoting生产者<-> Namesrv | 生产者从Namesrv获取Topic路由信息，包含Broker IP |
| Remoting生产者<-> Broker | 产者通过Topic路由信息，把消息直接发送给Broker生产者定期和Broker心跳，上报当前生产者实例信息 |
| Remoting消费者 | 消费消息 |
| Remoting消费者<-> Namesrv | 消费者从Namesrv获取Topic路由信息，包含Broker IP |
| Remoting消费者 <-> Broker | 消费者通过Topic路由信息，从指定Broker中拉取消息消费消费者定期和Broker心跳，上报当前消费者实例信息 |
| 5.0.0新增模块Controller(控制器 | 和Kafka Controller类似，在RocketMQ中负责Broker Master的选举和通知Broker |
| 5.0.0新增模块Broker <-> Controller | Broker定期把Broker信息上报ControllerBroker同步副本状态Controller选举新的Broker Master后，通知全部Broker |
| 5.0.0新增模块Proxy | 无状态服务，新客户端通过Grpc接口访问Proxy进行收发消息。社区已支持Remoting协议。Proxy中支持嵌入Broker。若设置proxyMode=LOCAL，则会在Proxy进程中启动一个Broker实例 |
| 5.0.0新增模块Proxy <-> Broker | Proxy通过Remoting协议和Broker通信，可以把Proxy当作一个Remoting的Client |
| 5.0.0新增模块新 Client | 新客户端，支持生产、消费、管理功能。目前支持Grpc协议 |
| 5.0.0新增模块新Client <-> Proxy | 新客户端访问Proxy进行收发消息，管理 |
1、生产者通过Topic路由信息，把消息直接发送给Broker。
Remoting消费者消费消息Remoting消费者<-> Namesrv
- 消费者通过Topic路由信息，从指定Broker中拉取消息消费。
- 消费者定期和Broker心跳，上报当前消费者实例信息。
5.0.0新增模块
5.0.0新增模块
- Broker定期把Broker信息上报Controller
- Broker同步副本状态
- Controller选举新的Broker Master后，通知全部Broker
5.0.0新增模块
社区正在讨论支持Remoting协议。
若设置proxyMode=LOCAL，则会在Proxy进程中启动一个Broker实例。
5.0.0新增模块
通过Remoting协议和Broker通信，可以把Proxy当作一个Remoting的Client。
5.0.0新增模块
5.0.0新增模块
新Client <-> Proxy新客户端访问Proxy进行收发消息，管理。