Amazon EMR 8.2 搭载 Apache Spark 4.1.3 发布,并增强数据治理能力

关键要点

  • 亚马逊 EMR 8.2 作为长期支持版发布,所有部署选项均升级至 Apache Spark 4.1.3、Apache Iceberg 1.11.0 和 Delta Lake 4.2.0。
  • 亚马逊 S3 上的并发 Delta Lake 写入现可通过条件写入实现,无需使用 DynamoDB 日志存储,支持多集群并发写入和访问治理。
  • 亚马逊 EMR 8.2 改进了 Secret Agent,在 EC2 上将用户配置延迟降低 97%;在 Serverless 上新增三种扩缩容配置文件,并在 EKS 上推出 Spark Operator 2。

Amazon EMR 8.2 现已在 Amazon EMR on EC2、Amazon EMR on EKS 和 Amazon EMR Serverless 上推出,作为长期支持(LTS)版本,升级了 Apache Spark 4.1.3、Apache Iceberg 1.11.0 和 Delta Lake 4.2.0。此版本支持多个集群并发写入 Amazon S3 上的 Delta Lake 表、增量刷新 Iceberg 实体化视图,以及将终端用户身份从 Spark 作业和交互式会话传递至 AWS Lake Formation 和 Amazon S3,以实现经授权且可审计的访问控制。

治理和访问控制增强

Amazon EMR 8.2 扩展了 Lake Formation 精细访问控制(FGAC)的适用范围,涵盖实体化视图、受治理的用户定义函数,以及更多 Spark SQL 功能和额外的 Iceberg 操作。此版本引入了通过 Amazon S3 条件写入实现的 Delta Lake 并发写入,无需使用 DynamoDB 日志存储。现在支持步骤和会话的可信身份传递,并在 AWS Glue Data Catalog 中增加了基于 OpenLineage 的血缘捕获功能。这些功能使数据工程师能够从多个集群并发写入 Amazon S3 上的同一个 Delta Lake 表,同时在整个数据管道中维持受治理的访问控制。

实体化视图优化与性能

使用 EMR 8.2,数据工程师可以通过 SQL 将管道的每个阶段预先计算为 Iceberg 实体化视图。每个实体化视图仅刷新发生变更的部分,而无需针对投影、内连接、筛选以及 SUM 和 COUNT 聚合重新计算整个源表。这种增量刷新功能可降低计算开销,并提升复杂分析工作流的性能。

部署选项专属增强

Amazon EMR 8.2 针对其三种部署选项推出了不同的改进。在 EMR on EC2 上,多主节点集群现已支持 Spark Connect;Secret Agent 的改进可在高并发情况下将用户配置延迟最多降低 97%。EMR Serverless 现为 Spark 提供新的扩缩容配置:性能优化型、均衡型或成本优化型,让用户能够调整执行器扩缩容速度;应用程序还可以运行受 Lake Formation 治理的 Glue UDF。EMR on EKS 上的 Spark Operator 已升级至版本 2,该版本基于开源 Spark Operator 2.5.0。

关键事实

  • Amazon EMR 8.2 被指定为长期支持(LTS)版本
  • Apache Spark 升级至版本 4.1.3
  • Apache Iceberg 升级至版本 1.11.0
  • Delta Lake 升级至版本 4.2.0
  • Amazon S3 上的 Delta Lake 并发写入现使用条件写入,无需 DynamoDB 日志存储
  • Lake Formation 精细访问控制(FGAC)现涵盖实体化视图、受治理的用户定义函数和更多 Iceberg 操作
  • Iceberg 实体化视图支持对投影、内连接、筛选以及 SUM 和 COUNT 聚合进行增量刷新
  • 在高并发情况下,EMR on EC2 上的 Secret Agent 改进可将用户配置延迟最多降低 97%
  • EMR Serverless 扩缩容配置包括性能优化型、均衡型和成本优化型选项
  • EMR on EKS 上的 Spark Operator 已升级至版本 2,该版本基于开源 Spark Operator 2.5.0
  • Amazon EMR 8.2 已在所有提供 Amazon EMR 的 AWS 区域推出

常见问题

Amazon EMR 8.2 的主要组件升级有哪些?

Amazon EMR 8.2 将 Apache Spark 升级至 4.1.3,将 Apache Iceberg 升级至 1.11.0,并将 Delta Lake 升级至 4.2.0。此版本被指定为长期支持(LTS)版本,意味着可获得更长时间的支持并具备稳定性。

Amazon EMR 8.2 如何实现 Delta Lake 并发写入?

现在,Amazon S3 上的 Delta Lake 并发写入通过 Amazon S3 条件写入实现,无需使用 DynamoDB 日志存储。这使多个集群能够同时写入同一个 Delta Lake 表,同时维持数据一致性和治理控制。

EMR 8.2 为 EMR on EC2 的用户配置带来了哪些改进?

在高并发情况下,EMR on EC2 上的 Secret Agent 改进可将用户配置延迟最多降低 97%,显著加快高负载场景下新用户的配置流程。

免责声明:本页面信息可能来自第三方,仅供参考,不代表 Gate 的观点或意见,亦不构成任何财务、投资或法律建议。数字资产交易风险较高,请勿仅依赖本页面信息作出决策。具体内容详见声明。
评论
0/400
暂无评论