亚马逊 MSK 现在支持将预置集群从标准型代理原位升级为 Express 代理,并提供完全托管的数据迁移,无需更改应用程序。与标准型代理相比,Express 代理旨在实现每个代理高达 3 倍的吞吐量、快达 20 倍的扩展速度,以及快达 90% 的恢复速度。升级过程保持集群端点不变,免去应用程序切换,并保留消费者偏移量,确保 Apache Flink 和 Kafka Streams 等有状态应用程序能够继续运行,而无需重新处理数据或产生重复数据。
Amazon MSK Express 代理的性能与运维优势
Express 代理让 Apache Kafka 更易于管理,也能以更低成本实现规模化运行;其存储按使用量付费并自动扩展,还内置了最佳实践默认设置,以提高弹性。此前,升级到 Express 代理需要创建新集群并将工作负载迁移过去,这需要周密规划和跨团队协调。此次推出的功能支持将现有标准型代理原位升级为 Express 代理,不会中断应用程序,同时让用户完全掌控升级过程。升级时,Express 代理会加入集群,主题也会迁移到这些代理上;迁移可以自动进行,也可以按用户控制的批次进行。标准型代理会继续保留在集群中,直到用户选择将其停用以完成升级,从而能够验证应用程序,并在需要时回滚。
原位升级的可用性与实例选项
对于运行标准型代理、采用 Apache Kafka 3.9 版并使用 KRaft 的 MSK 预置集群,原位升级适用于所有提供 Express 代理的 AWS 区域。用户可以升级到采用 M7g 或 M8g 实例的 Express 代理。与采用 M7g 的 Express 代理相比,采用 M8g 的 Express 代理最多可节省 30% 的成本。升级本身不收取额外费用。升级期间,客户需要同时为标准型代理和 Express 代理付费。
关键事实
- 与标准型代理相比,Express 代理每个代理的吞吐量最高可达 3 倍
- Express 代理的扩展速度比标准型代理快达 20 倍
- Express 代理的恢复速度比标准型代理快达 90%
- 支持对使用 KRaft 的 Apache Kafka 3.9 版进行原位升级
- 与 M7g 实例相比,采用 M8g 实例的 Express 代理最多可节省 30% 的成本
- 升级过程本身不收取额外费用
- 所有支持 Express 代理的 AWS 区域均支持原位升级
常见问题
原位升级到 Express 代理的主要优势是什么?
主要优势在于,无需创建新集群、迁移数据或更改应用程序,即可将现有标准型代理升级为 Express 代理。升级过程保持集群端点不变,并保留消费者偏移量,因此有状态应用程序可以继续运行,无需重新处理数据或产生重复数据。升级可在数小时内完成,同时让用户完全掌控升级过程,并能够在需要时回滚。
原位升级到 Express 代理需要使用哪个版本的 Apache Kafka?
对于运行标准型代理、采用 Apache Kafka 3.9 版并使用 KRaft 的 MSK 预置集群,原位升级适用于所有提供 Express 代理的 AWS 区域。
采用 M8g 实例的 Express 代理最多能节省多少成本?
与采用 M7g 实例的 Express 代理相比,采用 M8g 的 Express 代理最多可节省 30% 的成本。此外,Express 代理采用按使用量付费且自动扩展的存储,有助于提升规模化运行时的整体成本效益。