皮皮网

1.RocketMQ源码分析：Broker概述+同步消息发送原理与高可用设计及思考
2.NameServer 核心原理解析
3.搭建源码调试环境—RocketMQ源码分析（一）
4.RocketMQ-Broker模块解析之Broker初始化以及启动
5.RocketMQ（一）NameServer
6.RocketMQ之消费者，发送重平衡机制与流程详解附带源码解析

RocketMQ源码分析：Broker概述+同步消息发送原理与高可用设计及思考

       Broker在RocketMQ架构中扮演关键角色，源码主要负责存储消息，发送其核心任务在于持久化消息。源码消息通过生产者发送给Broker，发送而消费者则从Broker获取消息。源码全部代码源码Broker的发送物理部署架构图清晰展示了这一过程。

       从配置文件角度，源码我们深入探讨Broker的发送存储设计，重点关注以下几个方面：消息发送、源码消息协议、发送消息存储与检索、源码消费队列维护、发送消息消费与重试机制。源码深入分析Broker内部实现，发送包括消息发送过程、获取topic路由信息、选择消息队列以及发送消息至特定Broker。

       消息发送过程包括参数解析、发送方式选择、回调函数配置以及超时时间设定。同步消息发送流程主要分为获取路由信息、选择消息队列、发送消息、更新失败策略与处理同步调用方式。获取路由信息过程包括从本地缓存尝试获取、从NameServer获取配置信息更新缓存，excel工具源码以及针对特定或默认topic的路由信息查询。

       选择消息队列时考虑Broker负载均衡，通过轮询机制获取下一个可用消息队列。选择队列逻辑涉及发送失败延迟规避机制，确保选择的Broker正常，并根据Broker状态进行排序后选择一个队列。消息发送至指定Broker，使用长连接发送并存储消息，同步消息发送包含重试机制，异步消息发送则在回调中处理重试。

       思考题：分析消息发送异常处理，包括NameServer宕机与Broker挂机情况。NameServer宕机时，生产者可利用本地缓存继续发送消息，而Broker挂机会导致消息发送失败，但通过故障延迟机制可确保高可用性设计。理解这些机制与流程，有助于深入掌握RocketMQ的同步消息发送原理与高可用设计。

NameServer 核心原理解析

       NameServer，通常被称为注册中心，是RocketMQ架构中一个关键但常被忽视的组件。它在集群背后起着类似Zookeeper在Kafka中的作用，支持Broker、Producer和Consumer的正常协作。

       在日常操作中，我们主要与Producer和Consumer交互，arducopter源码编译NameServer则作为幕后支持者。Broker启动时，会将自己的信息，如IP、端口以及存储的Topic路由信息（指明每个MessageQueue所在的Broker）通过心跳发送到NameServer。Producer则依赖NameServer获取元数据，将消息发送到正确的Broker。而Consumer通过NameServer获取消费配置，如Topic和Consumer Group，从而获取Broker的地址信息，开始消费消息。

       接下来，我们通过注册Broker的源码来理解NameServer的工作。首先，NameServer会验证Broker发送的数据完整性，接着处理Body，如重置DataVersion或解析配置信息。核心的注册逻辑会维护集群中Broker的Name及其对应的地址信息，确保数据一致性。同时，它还会维护每个Broker的地址，区分主从节点，并处理可能的重复地址。此外，NameServer还会维护MessageQueue的数据，包括创建、博客 源码 html更新和维护Broker与MessageQueue的映射关系。

       NameServer的启动流程涉及定期扫描并更新活跃Broker列表，以及移除长时间无心跳的Broker。虽然文章仅展示了注册Broker的流程，但NameServer实际上支持更多操作，如查询、删除等，这些操作的源码都与注册操作紧密相关。

       本文已为您全面解析了NameServer的核心原理，若对其他内容感兴趣，欢迎您通过微信搜索关注SH的全栈笔记获取更多帮助。感谢您的支持，点赞关注和分享是对我们最大的鼓励。

搭建源码调试环境—RocketMQ源码分析（一）

       搭建源码调试环境，深入分析 RocketMQ 的内部运行机制。理解 RocketMQ 的目录结构是搭建调试环境的第一步，有助于我们快速定位代码功能和问题。

       目录结构主要包括：

       acl：权限控制模块，用于指定话题权限，确保只有拥有权限的消费者可以进行消费。

       broker：RocketMQ 的核心组件，负责接收客户端发送的消息、存储消息并传递给消费端。

       client：包含 Producer、Consumer 的代码，用于消息的用户评论源码生产和消费。

       common：公共模块，提供基础功能和服务。

       distribution：部署 RocketMQ 的工具，包含 bin、conf 等目录。

       example：提供 RocketMQ 的示例代码。

       filter：消息过滤器。

       namesvr：NameServer，所有 Broker 的注册中心。

       remoting：远程网络通信模块。

       srvutil：工具类。

       store：消息的存储机制。

       style：代码检查工具。

       tools：命令行监控工具。

       获取 RocketMQ 源码：从 Github 下载最新版本或选择其他版本。遇到下载困难时，可留言或私信寻求帮助。

       导入源码到 IDE 中，确保 Maven 目录正确，刷新并等待依赖下载完成。

       启动 RocketMQ 的 NameServer 和 Broker，配置相关参数，如环境变量、配置文件等。确保正确启动后，通过查看启动日志检查运行状态。

       进行消息生产与消费测试，使用源码自带的示例代码进行操作。设置 NameServer 地址后，启动 Producer 和 Consumer，验证消息成功发送与消费。

       使用 RocketMQ Dashboard 监控 RocketMQ 运行情况，持续优化和调试。

RocketMQ-Broker模块解析之Broker初始化以及启动

       RocketMQ物理架构中，Broker服务器扮演关键角色，负责消息的存储、投递、查询，并保障服务高可用性。其核心功能基于几个重要子模块实现。

       消息存储(MessageStore)是Broker服务器的核心功能，旨在确保消息存储的可靠性与高效性，支持读写操作。

       请求处理器(Processor)封装了Broker对外提供的能力，包括消息发送、拉取、查询、事务消息处理等。

       定时调度服务(scheduleAtFixedRate)用于方便地统计和维护Broker服务状态。

       HA高可用服务(HAservice)通过主从同步实现，确保从Broker能同步主Broker的消息。

       文章聚焦于Broker服务的初始化与启动，通过源码解析，清晰展示初始化流程及加载资源的方式。

       BrokerStartup作为启动脚本调用入口，通过调用createBrokerController方法创建BrokerController对象，执行初始化。

       createBrokerController方法执行多个步骤，包括加载配置文件、初始化依赖对象、设置主从节点及HA监听端口等。

       初始化工作主要涉及命令行参数解析、校验NamesrvAddr、创建BrokerController、加载队列信息、设置资源及配置文件、初始化默认存储模块和Netty服务、注册请求处理器、开启定时任务、初始化事务消息服务及权限管理。

       在创建完毕BrokerController后，调用initialize方法进行初始化工作，完成Broker服务器持久化存储资源的加载、配置默认存储模块、初始化Netty服务、启动线程池并关联处理器、开启定时任务、初始化事务消息服务等。

       随后，通过调用start方法启动Broker服务，开启接收客户端请求。

       至此，Broker初始化及启动过程解析完毕，涉及内容广泛，文章仅对重要模块进行了简要解释，后续文章将进一步拆解各个子模块，共同深入学习。

RocketMQ（一）NameServer

       NameServer是RocketMQ中的重要组件，它作为服务注册和发现中心，实现了集群中所有节点的对等关系，每个节点独立运行且互不通信。当Broker启动时，会向集群中的所有NameServer节点进行服务注册，确保每个节点都持有Broker的注册信息，便于生产者和消费者获取消息发送和消费的Broker列表。

       在高并发和分布式部署场景下，NameServer避免了Broker之间大规模的信息交换，减少了通信压力。相较于ZooKeeper这类分布式协调组件，RocketMQ选择NameServer更侧重可用性，因为它在一致性与可用性之间更倾向于后者。例如，即使在ZooKeeper不可用时，消费者可能因为无法从NameServer获取信息而无法正常工作，这在高负载情况下可能导致严重问题。相比之下，NameServer通过心跳机制确保数据最终一致性，即便短暂的不一致也能在后续恢复。

       NameServer的工作机制包括定时向所有注册的Broker发送心跳包，以检测其可用性。如果NameServer超过一定时间未收到某个Broker的心跳，会认为其下线并从列表中移除。生产者和消费者也会定期更新从NameServer获取的Broker信息，以保持最新的连接状态。

       关于具体实现，例如Broker的注册、心跳检测以及异常下线处理，可以通过查看如下的源码理解：RocketMQ源码NameServer的启动和RocketMQ源码Broker服务注册。若想深入了解，可以关注个人公众号获取更多信息。

RocketMQ之消费者，重平衡机制与流程详解附带源码解析

       本文深入探讨了RocketMQ消费者中的重平衡机制与流程。重平衡是消费者开始消费过程的起点，其目的是将多个消费者分配到多个Queue上以提高消费速率。由于每个Queue只能由一个消费者同时消费，消费者数量的变化需要通过调整Queue的分配来实现，这就是重平衡。

       RocketMQ使用一种固定的分配策略，确保所有消费者的分配结果一致，以实现幂等性。重平衡的触发有两种方式：主动触发由消费者的启动和停止引起，被动触发则是每秒进行一次检查或收到Broker发送的重平衡请求。重平衡主要涉及RebalanceImpl类和RebalanceService类，客户端完成重平衡流程。

       RabbitImpl类中实现了整个重平衡流程，并保存了必要的基本信息和重分配策略类allocateMessageQueueStrategy。RebalanceImpl中包含了一系列逻辑和抽象方法，根据消费者类型不同有不同实现。主动触发和被动触发在流程中分别对应**和蓝色标识。

       当重平衡线程调用客户端实例的doRebalance方法进行重平衡时，客户端实例仅遍历所有注册的消费者，获取它们的重平衡实现并调用RebalanceImpl#doRebalance方法。该方法逻辑涉及处理队列和拉取请求，其中处理队列与消息队列一一对应，拉取请求使用一次后重新放入等待队列以进行下一次拉取，重平衡是消息拉取的唯一起点。

       RocketMQ提供了六种队列分配策略以适应不同场景，实现灵活的重平衡机制。源码解析部分详细分析了RebalanceService和RebalanceImpl类，特别强调了doRebalance方法作为重平衡入口，以及对Topic进行重平衡、更新订阅队列和处理队列列表、处理消息队列变化的流程。