停止支持 Lake Formation 的治理表特性

关键要点

经过认真考虑，我们决定于 2024 年 12 月 31 日停止对治理表的支持，转而专注于开源的事务表格式，例如Apache Iceberg、Apache Hudi和Linux Foundation Delta Lake。该决定源于客户对这些开源解决方案的偏好，这些解决方案提供了 ACID 合规事务、数据压缩、时间旅行及其他之前由治理表提供的功能。亚马逊网络服务AWS已经在多个分析服务中增强了对这些格式的支持，包括亚马逊 Athena、亚马逊 EMR弹性 MapReduce、AWS Glue和亚马逊 Redshift，特性包括对 Apache Iceberg 的自动压缩支持、对 Apache Iceberg 的保留和快照过期及孤儿文件删除支持，以及增强的AWS Glue 数据目录 CreateTable API来创建 Apache Iceberg 表，和AWS Glue Crawlers 对Apache Iceberg、Apache Hudi和Linux Foundation Delta Lake的模式检测支持。客户现在可以使用这些开源格式在基于亚马逊简单存储服务Amazon S3的数据上实现 ACID 合规事务，享受其丰富的特性和广泛的兼容性。

在 2024 年 12 月 31 日后，客户将无法创建治理表事务lakeformationStartTransaction、写入治理表lakeformationUpdateTableObjects或使用 Amazon Athena 查询治理表。直到 2025 年 2 月 17 日，客户仍可以通过调用 lakeformationGetTableObjects 访问其表状态信息，或通过调用 lakeformationListTransactions 访问交易信息。自 2025 年 2 月 17 日起，所有与治理表相关的 API 将开始失败。治理表的元数据将继续存在于 AWS Glue 数据目录中，而治理表数据将留在您的 S3 存储桶中。此变更不会影响其他表类型，包括 HiveApache Parquet、CSV、ORC 等、Iceberg、Hudi 和 Delta Lake 表。

迁移您的治理表

客户可以通过使用 Amazon Athena 将治理表的数据直接复制到 Apache Iceberg 来迁移他们的表。要将数据迁移到 Iceberg，您可以使用 Amazon Athena 的CREATE TABLE AS (CTAS)语句，如下示例代码所示。

sqlCREATE TABLE myicebergtable WITH ( tabletype = ICEBERG isexternal = false location = s3//mybucket/myicebergdata/) AS SELECT FROM mygovernedtable

您可以指定其他表级属性，相关信息可在亚马逊 Athena 用户指南中找到。如果您在 Apache Iceberg 表定义中指定了分区或桶，可能会遇到每个桶 100 个分区的限制。在这种情况下，请参考使用 CTAS 和 INSERT INTO 解决 100 个分区限制的问题。

如果您在迁移表时需要任何帮助或有任何问题，请通过电子邮件联系我们：governedtablessupport@amazoncom。

关于作者

Mert Hocanin 是 AWS Lake Formation 的首席大数据架构师。