按需生成列统计数据 - Amazon Glue
按需更新列统计信息
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

按需生成列统计数据

您可以按需运行 Amazon Glue Data Catalog 表任务的列统计任务，无需设定计划。此选项对于即席分析或需要立即计算统计数据时非常有用。

按照以下步骤使用 Amazon Glue 控制台或根据需要为数据目录表生成列统计信息 Amazon CLI。

Amazon Web Services Management Console
使用控制台生成列统计数据

  1. 登录 Amazon Glue 控制台，网址为https://console.aws.amazon.com/glue/。

  2. 选择 Data Catalog 表。

  3. 从列表中选择一个表。

  4. 在操作菜单下选择生成统计数据。

    您也可以在 “表” 页下方的 “列统计信息” 选项卡下选择 “生成，按需生成” 选项。

  5. 按照中的步骤 7-11 为表生成列统计信息。按计划生成列统计信息

  6. 在生成统计数据页面上，请指定以下选项：

    此屏幕截图显示了可用于生成列统计数据的选项。

    • 所有列 – 选择此选项可生成表中所有列的统计信息。

    • 选定列 – 选择此选项可生成特定列的统计数据。您可以从下拉列表中选择列。

    • IAMro le —选择创建具有运行列统计数据生成任务所需权限策略的新IAM角色。选择“查看权限详细信息”，查看政策声明。您也可以从列表中选择一个IAM角色。有关所需权限的更多信息，请参阅 生成列统计数据的先决条件。

      Amazon Glue 使用您指定的角色的权限来生成统计信息。

      有关为提供角色的更多信息 Amazon Glue，请参阅的基于身份的策略。 Amazon Glue。

    • （可选）然后选择一种安全配置来启用日志静态加密。

    • 样本行 – 仅从表中选择特定百分比的行来生成统计数据。默认值为所有行。使用向上和向下箭头可增加或减少百分比值。

      注意

      我们建议选择表中的所有行，以计算出准确的统计数据。仅在可接受近似值时，才使用样本行来生成列统计数据。

    选择生成统计数据以运行任务。

Amazon CLI

此命令将触发为指定表运行的列统计任务。您需要提供数据库名称、表名、有权生成统计信息的IAM角色，还可以选择提供列名和样本大小百分比以进行统计计算。

aws glue start-column-statistics-task-run \ 
    --database-name 'database_name \ 
    --table-name 'table_name' \ 
    --role 'arn:aws:iam::123456789012:role/stats-role' \
    --column-name 'col1','col2'  \
    --sample-size 10.0

此命令将启动一项任务，为指定表生成列统计信息。

按需更新列统计信息

维护 up-to-date列统计信息对于查询优化器生成高效的执行计划、确保提高查询性能、减少资源消耗和提高整体系统性能至关重要。在数据发生重大变化（例如批量加载或大量修改）之后，这一过程尤其重要，这可能会使现有的统计数据过时。

您需要从 Amazon Glue 控制台显式运行 “生成统计信息” 任务才能刷新列统计信息。Data Catalog 不会自动刷新统计数据。

如果您没有在控制台中使用 Amazon Glue统计信息生成功能，则可以使用UpdateColumnStatisticsForTableAPI操作或手动更新列统计信息 Amazon CLI。以下示例演示了如何使用 Amazon CLI更新列统计数据。

aws glue update-column-statistics-for-table --cli-input-json:

{
    "CatalogId": "111122223333",
    "DatabaseName": "database_name",
    "TableName": "table_name",
    "ColumnStatisticsList": [
        {
            "ColumnName": "col1",
            "ColumnType": "Boolean",
            "AnalyzedTime": "1970-01-01T00:00:00",
            "StatisticsData": {
                "Type": "BOOLEAN",
                "BooleanColumnStatisticsData": {
                    "NumberOfTrues": 5,
                    "NumberOfFalses": 5,
                    "NumberOfNulls": 0
                }
            }
        }
    ]
}