云原生时代，消息队列成为现代化应用的关键组件，也是云原生架构底层通信的基础设施。阿里云消息队列发展至今已有十多年历程。早在 2012 年，RocketMQ 诞生于阿里内部，用于淘宝交易核心链路。历经多年双 11 的考验打磨，2015 年，阿里云面向企业客户提供商业化消息队列服务。随后以 RocketMQ 为基础，拓展了 Kafka、RabbitMQ、MQTT 等商业化产品，用以服务多样化的客户场景。
2017 年，RocketMQ 成为 Apache 顶级开源项目，也成为了开源消息中间件领域的领导者。2022 年，阿里云发布 RocketMQ 5.0，全面拥抱云原生架构，显著提升性能体验。2023 年，阿里云消息队列全面 Serverless 化，极简运维、按需计费，进一步增强弹性、降低成本。
为了给企业和开发者带来更清晰的产品认知，提升使用体验，阿里云消息产品迎来全新品牌升级——云消息队列ApsaraMQ。
3 月 29 日，在“阿里云飞天发布时刻-消息队列全面升级为 Apsara 发布会"后，CSDN 专访了阿里云资深技术专家林清山与阿里云资深产品专家杨秋弟，共同探讨随着 Serverless 时代全面到来，消息产品技术演进方面的路线选择与实践经验。
全行业数字化转型加速，ApsaraMQ 诞生
数据显示，全球 IDC 的利用率不超过 30%，企业仍在为基础设施付出巨大的成本。杨秋弟在分享中提到，在数字化转型方面，互联网企业是先行者，天生就已经拥有了数字化的基因，因此这类企业对于新技术有极高的嗅觉和灵敏度，快速发展业务是必然趋势。
近几年，传统行业对于数字化的成本和效率都有了更高的要求，并且转型的速度非常快。例如金融行业对于上云、用云的需求与发展速度非常高，另外制造业、新能源汽车等领域的企业对于数字化转型的布局，以及上云、用云的加速，也远超预期。随着云原生、Serverless 技术心智的加强，越来越多企业数字化转型的进程，会像互联网行业一样，逐步进入到成熟阶段。
正是在这样的行业背景下，随着云原生、Serverless 技术的快速发展，为了给企业和开发者带来更清晰的产品认知，提升使用体验，阿里云消息产品迎来全新品牌升级云消息队列 ApsaraMQ，涵盖了业界主流的消息队列产品：包括 RocketMQ、Kafka、RabbitMQ、MQTT 和 MNS，以精细化的产品定位和功能特性，满足企业在多元化场景下的消息服务需求。目前，ApsaraMQ 全系列产品，已经成功服务超过 10 万家企业，广泛覆盖超过 20 个垂直行业。
阿里云全系列消息产品 Serverless 化，国内唯一
与早期云计算为用户提供弹性的基础设施不同，Serverless 让云计算从一种资源真正变成一种能力。过去云计算用云服务器替代了物理服务器，但客户依旧按“几核几 G 服务器”的模式来购买云资源，未来云计算将全面 Serverless 化，更加接近“电网”模式，按计算的调用次数付费。因此，全球各个云厂商都在不断将产品体系 Serverless 化，新的云服务或新功能大多数是 Serverless 形态。
Serverless 全托管的出现正在深度影响和改变着应用技术架构。从企业级应用架构，到互联网分布式架构，服务化、可伸缩、松耦合等理念已经深入人心，但分布式技术的实施复杂度却不断攀升。而 Serverless 的自适应、免运维能够大幅降低复杂度，其高弹性又充分发挥了云的优势。随着各行业对 Serverless 理念逐步接受，应用场景不再局限于轻量级的事件驱动，更多的企业将他们的核心业务运行在 Serverless 架构上。可以说，企业全栈 Serverless 的发展趋势逐渐明朗。
在 IT 技术架构中，消息服务是重要组成部分，消息队列契合了 Serverless 事件驱动的编程理念，有助于开发者实现高度可扩展和弹性的应用程序，这也是 Kafka 等消息技术与服务兴起的原因。不过，在众多公有云厂商提供的消息队列服务中，多数仅仅是提供了开源消息产品的纯托管服务，而阿里云的消息队列是其中少有的全面结合大规模云计算场景，在开源基础上深度自研增强的消息服务。
消息中间件作为分布式架构中的重要组成部分，在全栈 Serverless 化的潮流中，阿里云需要比用户更早看到趋势的变化，才能满足客户的需求。杨秋弟介绍，“以 Serverless 的形式提供消息中间件产品，我们希望给客户带来实在的价值，用户可以按需使用，灵活计费，而非以往云托管类 IDC 的形式。”
林清山分享表示：“大部分云厂商提供消息产品，主要是提供预付费的、面向物理资源售卖的托管开源消息队列实例；在技术实现上，更多的是直接基于开源的消息队列进行运维自动化和产品化包装，较少涉及内核自研和技术增强。而 ApsaraMQ 则是深度结合阿里云基础设施的能力，充分利用飞天操作系统的底层能力（如盘古 DFS、对象存储 OSS 等），进行消息引擎存算分离改造、软硬结合优化改造，彻底走向 Serverless 架构；在产品形态上则是提供按需弹性、按量付费，面向业务能力售卖的 Serverless 模式。云计算走向 Serverless，符合计算机技术发展的必然趋势，那就是池化资源、分时复用，不断提升算力利用率，同时屏蔽技术细节，让客户专注实现业务价值。”
阿里云消息队列 Serverless 架构采用经典的存算分离架构，遵循三层架构设计理念：
第一层 MQ Proxy 采用彻底的无状态网关架构设计，客户可以通过灵活的多形态网络接入，随机连接一台计算节点可以进行消息收发。在统一存储引擎的基础上，面对客户侧实现多协议多领域场景的消息的覆盖，目前 ApsaraMQ 可支持 MQTT、gRPC、HTTP，AMQP 等多种主流协议。Proxy 同时承载多租户架构的设计，包括多租户命名空间权限认证、安全隔离、扩大管理等，以及消息云服务多个切面的逻辑，包括可观测、计量计费、审计等等。
第二层消息的存储引擎，是承载消息基础存储实现，包括消息的持久化、哈希索引、时间轮索引、消费者进度维护及高可用切换逻辑，可以面向云存储、本地存储进行统一的存储抽象。由于采用存算分离架构，消息的存储引擎也逐渐变成一个无状态的计算节点，其数据都落地在分布式的文件系统、盘古以及对象存储上。消息存储引擎节点通过动态绑定云存储上的消息数据分区，对上层 Proxy 提供消息读写服务。
底层的共享云存储层则是由云厂商提供的基础存储服务。Apsara MQ 使用共享的热存储盘古 DFS，提供高性能、高可用、低延迟的存储能力。同时，消息冷数据可转存到对象存储，通过共享的冷存储 OSS，获取无限的低成本存储空间。
ApsaraMQ 始终围绕 高弹性低成本、更稳定更安全、智能化免运维三大核心方向，做拓展与突破。其中：
高弹性低成本：ApsaraMQ 打造的存算分离架构，提供秒级万 QPS 吞吐的弹性能力，弹性实例的成本平均降低 50%；
更稳定更安全：ApsaraMQ 容灾能力增强，服务可用 SLA 最高达到 4 个 9，数据提供了多级存储，最高达到 12 个 9 的消息可靠性；
智能化免运维：ApsaraMQ 提供全链路的健康度智能巡检，按需自适应弹性，免运维。
产品版图再+1，云消息队列 Confluent 版
将成大数据、业务日志数据通道首选
在 2021 年，阿里云与全球消息流领域的领导者 Confluent 公司建立合作关系，在云市场联合发布数据流服务。2023 年，合作再次升级，Confluent 成为阿里云战略合作伙伴。阿里云作为 Confluent 在中国大陆地区的唯一合作云厂商，双方联合打造更全面的 Kafka 消息流解决方案，服务于亚太市场。
云消息队列 Confluent 版的发布，将进一步完善了阿里云在消息领域的产品布局，将 Confluent 的专业技术和实战经验，与阿里云强大的基础设施与服务体系相结合，基于 Apache Kafka 的核心能力，提供更加高效、安全并且兼容性更强的消息流服务。
这次发布的能力，包括 Self-Balancing 等企业级特性；120 多个全托管的 Connector，简化数据流入流出；支持轻量级 SQL，实时流式消息处理；提供消息领域最完善的数据治理、管理版本和兼容性。
利用云消息队列 Confluent 版，企业可以快速构建和扩展与生产集群规模相匹配的企业级 Kafka Confluent 集群。借助 Confluent 版产品服务，为全球的用户提供丰富产品选型。此外，云消息队列 Confluent 版具有着 Apache Kafka 原厂商业化产品、高 SLA 保障，数据持久化、免运维、易观测、开箱即用，无缝迁移等优势，能有效解决企业所面临的对云端全托管企业级 Kafka 服务有迫切需求、Kafka 集群搭建及运维复杂性挑战大的痛点，在人工智能、客户洞察与体验优化、事件驱动型微服务应用场景中发挥高效作用。
除了 Confluent 版，ApsaraMQ 产品还集合了市场上广泛使用的五款主流消息队列产品，无论是开源迁移上云，还是新业务构建，在 ApsaraMQ 产品系列中，总能找到一款适合业务场景的可靠的消息中间件。企业可以按业务需求、系统架构、性能要求、以及运维能力随需选、随需配，实现真正的提效和提升。ApsaraMQ 将持续构建完整产品矩阵、技术影响力、市场规模领先，希望以云服务更开放、包容的态度和更多开源、商业公司进行联合研发，开拓共赢的合作模式。
未来阿里云消息团队会持续走开源标准+自研增强的技术路线，并持续把云计算、电商场景大规模生产实践沉淀的消息产品特性、技术增强回馈到 Apache RocketMQ、Apache Kafka 等社区，让云计算和开源齐头并进，协同发展，共建更好的技术生态。
