Amazon Glue Data Quality for the Data Catalog 入门

打开 Amazon Glue 控制台，网址为 https://console.aws.amazon.com/glue/。

在导航窗格中，选择 Tables（表）。然后选择要为其生成数据质量规则建议的表。

在表格详细信息页面上，选择数据质量选项卡以访问表的 Amazon Glue Data Quality 规则和设置。

在数据质量选项卡上，选择添加规则并监控数据质量。

在规则集生成器页面上，如果没有规则建议运行，页面顶部的警报将提示您启动建议任务。

选择推荐规则以打开模态并输入建议任务的参数。

选择一个有权访问 Amazon Glue 的 IAM 角色。此角色必须具有运行各种 Amazon Glue Data Quality 进程所需的资源的访问权限。

根据您的偏好填写字段后，选择推荐规则以开始运行建议任务。如果建议运行正在进行或已完成，则可以在此警报中管理您的运行。您可能需要刷新警报才能查看状态更改。已完成和正在进行的建议任务运行显示在运行历史记录页面中，该页面列出了过去 90 天的所有建议运行。

在 Amazon Glue 控制台中的导航窗格中，选择 Data Catalog，然后选择数据库表。选择 tickets 表。

在表格详细信息页面上，选择数据质量选项卡以访问表的 Amazon Glue Data Quality 规则和设置。

在规则集部分，选择在 生成规则建议 中生成的规则集。

选择操作，然后在控制台窗口中选择编辑。规则集编辑器加载到控制台中。它包括规则的编辑窗格和 DQDL 的快速参考。

删除脚本中的 2 行。这放宽了将数据库大小限制在一定行数之内的要求。编辑完成后，您的文件应在第 1-3 行包含以下内容：

Rules = [
    IsComplete "TAG_NUMBER_MASKED",
    ColumnLength "TAG_NUMBER_MASKED" between 6 and 9,

删除脚本中的 25 行。这放宽了记录在案的省份中占 96% 的要求为 ON。编辑完成后，您的文件应包含从行 24 到规则集末尾的以下内容：

ColumnValues "PROVINCE" in ["ON", "QC", "AB", "NY", "AZ", "NS", "BC", "MI", "PQ", "MB", "PA", "FL", "SK", "NJ", "OH", "NB", "IL", "MA", "CA",
    "VA", "TX", "NF", "MD", "PE", "CT", "NC", "GA", "IN", "OR", "MN", "TN", "WI", "KY", "MO", "WA", "NH", "SC", "CO", "OK", "VT", "RI", "ME", "AL",
    "YT", "IA", "DE", "AR", "LA", "XX", "WV", "MT", "KS", "NT", "DC", "NV", "NE", "UT", "MS", "NM", "ID", "SD", "ND", "AK", "NU", "GO", "WY", "HI"],
ColumnLength "PROVINCE" = 2
]

将行14 更改为以下内容：

IsComplete "TIME_OF_INFRACTION",

通过将数据库限制为仅包含记录的违规时间的工单，这加强了对列的要求。在此数据集中，您应始终将没有记录违规时间的工单视为无效数据。这与分区或转换可能更适合进一步使用或检查数据以确定质量规则的情况不同。

选择控制台页面底部的更新规则集。

在 Amazon Glue 控制台中的导航窗格中，选择 Data Catalog，选择数据库，然后选择表。选择表 tickets。

打开 Data quality（数据质量）选项卡。

在规则集部分中，选择创建规则集。DQDL 编辑器将在控制台中启动。它有一个用于直接编辑的文本区域，还有用于 DQDL 规则和表架构的快速参考。

开始向 DQDL 编辑器的文本区域添加规则。您可以直接从本教程中编写规则，也可以使用数据质量规则编辑器的 DQDL 规则生成器功能。

例如，以下规则是对 tickets 表中 ticket_number 列进行数据验证的约束。要添加以下规则，请使用 DQDL 规则生成器或直接编辑您的规则集：

IsComplete "ticket_number",
IsUnique "ticket_number",
ColumnValues "ticket_number" > 9000000000

在规则集名称字段中为您的新规则集提供一个名称。

选择保存规则集。

在 Amazon Glue 控制台中的导航窗格中，选择 Data Catalog，选择数据库，然后选择表。选择表 tickets。

选择数据质量选项卡。

在规则集列表中，选择要对照表评估的规则集。在此步骤中，我们建议使用您已经编写或修改过的规则集，而不是生成的规则。选择运行。

在模态中，选择您的 IAM 角色。此角色必须具有运行各种 Amazon Glue Data Quality 进程所需的资源的访问权限。您可以将 IAM 角色保存为默认角色，也可以前往默认设置页面对其进行修改。

在 Data quality actions（数据质量操作）下，选择是否要 Publish metrics to Amazon CloudWatch（将指标发布到 Amazon CloudWatch）。选择此选项后，Amazon Glue Data Quality 会发布指标，指示通过的规则数量和失败的规则数量。要对以这种方式存储的指标采取行动，您可以使用 CloudWatch 警报。系统还会将关键指标发布到 Amazon EventBridge 供您设置警报。有关更多信息，请参阅 Setting up alerts, deployments, and scheduling。

在运行频率中，选择按需运行或计划规则集。计划规则集时，系统会提示您输入任务名称。计划将在 Amazon EventBridge 中创建。您可以在 Amazon EventBridge 中编辑计划。

要在 Amazon S3 中保存数据质量结果，请选择数据质量结果位置。您之前为此任务选择的 IAM 角色必须具有您选择的位置的写入权限。

在其他配置下，输入您希望 Amazon Glue 为数据质量任务分配的请求的工作线程数。

您可以选择在数据来源上设置筛选器。这可以帮助减少要读取的数据。您还可以使用筛选器来运行增量验证，方法是选择分区信息并通过 API 调用将其作为参数传递。为了提高性能，您可以提供分区谓词。

选择运行。您应该在 Data quality task runs（数据质量任务运行）列表中看到您的新任务。当任务的运行状态列显示为已完成时，您可以查看质量分数结果。您可能需要刷新控制台窗口才能正确更新状态。

要查看数据质量结果详细信息的列，请选择“+”图标展开规则集。结果显示了在评估中通过和失败的规则，以及触发规则失败的原因。

在 Amazon Glue 控制台中，选择 Tables（表）。然后选择要为其运行数据质量任务的表。

选择数据质量选项卡。

数据质量快照显示了一段时间内运行的总体趋势。默认情况下，系统会显示所有规则集的最近 10 次运行。要按规则集进行筛选，请从下拉列表中选择所需的规则集。如果运行次数少于 10 次，则会显示所有已完成的可用运行。

在数据质量表中，系统显示了每个规则集及其最新运行次数（如果有的话）以及分数。展开规则集会显示该规则集中的规则以及该运行的规则结果。

在 Amazon Glue 控制台中，选择 Tables（表）。然后选择要为其运行数据质量任务的表。

选择数据质量选项卡。

在数据质量表中，选择特定的规则集。

在规则集详细信息页面上，选择运行历史记录选项卡。

该特定规则集的所有评估运行都列在该选项卡的表格中。您可以查看分数历史记录和运行状态。

要查看有关特定运行的更多信息，请选择运行 ID 以转到评估运行详细信息页面。在此页面上，您可以看到有关运行的详细信息以及有关各个规则结果状态的更多详细信息。