Amazon Glue Data Quality
Amazon Glue Data Quality 帮助您衡量和监控数据质量，从而做出明智的业务决策。Amazon Glue Data Quality 建立在开源 DeeQu 框架之上，提供托管的无服务器体验。Amazon GlueData Quality 使用数据质量定义语言（DQDL），这是一种特定领域的语言，用于定义数据质量规则。要了解有关 DQDL 和支持的规则类型的更多信息，请参阅 数据质量定义语言（DQDL）引用。
有关产品详细信息和定价，请参阅 Amazon Glue Data Quality
优点和主要功能
Amazon Glue 数据质量自动监测功能的优点和主要功能包括：
-
无服务器 – 无需安装、修补或维护。
-
快速入门 — Amazon Glue Data Quality 可快速分析您的数据并为您创建数据质量规则。只需点击两下即可开始：“创建数据质量规则 → 推荐规则”。
-
检测数据质量问题 – 使用机器学习（ML）检测异常和难以检测的数据质量问题。
-
即兴制定规则 — 从超过 25 个开箱即用的 DQ 规则开始，您可以创建适合自己特定需求的规则。
-
评估质量并做出自信的业务决策 — 评估规则后，您将获得一个数据质量分数，该分数可以概述数据的运行状况。使用数据质量分数做出自信的业务决策。
-
聚焦不良数据 — Amazon Glue Data Quality 可帮助您识别导致质量分数下降的确切记录。轻松识别它们，对其进行隔离和修复。
-
按实际使用量付费 – 无需年度许可证即可使用 Amazon Glue 数据质量自动监测功能。
-
无锁定 — Amazon Glue Data Quality 建立在开源 DeeQu 之上，允许您保留以开放语言编写的规则。
-
数据质量检查 – 您可以对 Data Catalog 和 Amazon Glue ETL 管道进行数据质量检查，从而管理静态和传输中的数据质量。
-
基于 ML 的数据质量检测 – 使用机器学习（ML）检测异常和难以检测的数据质量问题。
-
表达规则的开放性语言 – 确保简单一致地编写数据质量规则。业务用户可以用他们能理解的简单语言轻松地表达数据质量规则。对于工程师来说，这种语言可以让他们更灵活地生成代码、实现一致的版本控制并进行自动部署。
工作方式
Amazon Glue Data Quality 有两个入口点：Amazon Glue Data Catalog 和 Amazon Glue ETL 作业。本节概述了每个入口点支持的用例和 Amazon Glue 功能。
Amazon Glue Data Catalog 的数据质量
Amazon Glue Data Quality 评估存储在 Amazon Glue Data Catalog 中的对象。它为非编码人员提供了一种设置数据质量规则的简便方法。这些角色包括数据管理员和业务分析师。
您可以为以下用例选择此选项：
-
您想对已在 Amazon Glue Data Catalog 中编目的数据集执行数据质量任务。
-
您从事数据治理工作，需要持续识别或评估数据湖中的数据质量问题。
您可以使用以下界面管理 Data Catalog 的数据质量：
-
Amazon Glue 管理控制台
-
Amazon Glue API
要开始为 Amazon Glue Data Catalog 使用 Amazon Glue Data Quality，请参阅 Amazon Glue Data Quality for the Data Catalog 入门。
Amazon Glue ETL 作业的数据质量
适用于 Amazon Glue ETL 的 Amazon Glue Data Quality 允许您主动执行数据质量任务。主动任务可帮助您在将数据集加载到数据湖之前识别并筛选出不良数据。
您可以针对以下用例为 ETL 作业选择数据质量：
-
您想将数据质量任务整合到您的 ETL 作业中
-
您想编写在 ETL 脚本中定义数据质量任务的代码
-
您想管理可视化数据管道中流出的数据的质量
您可以使用以下界面管理适用于 ETL 作业的数据质量：
-
Amazon Glue Studio、Amazon Glue Studio 笔记本和 Amazon Glue 交互式会话
-
用于 ETL 脚本的 Amazon Glue 库
-
Amazon Glue API
要开始了解适用于 ETL 作业的数据质量，请参阅《Amazon Glue Studio 用户指南》中的 Tutorial: Getting started with Data Quality。
将 Data Catalog 的数据质量与适用于 ETL 作业的数据质量进行比较
下表概述了 Amazon Glue Data Quality 支持的每个入口点的功能。
| 功能 | Data Catalog 的数据质量 | ETL 作业的数据质量 |
|---|---|---|
| 数据来源 | Amazon S3、Amazon Redshift、与 Data Catalog 兼容的 JDBC 源以及交易数据湖格式，例如 Apache Iceberg、Apache Hudi 和 Delta Lake。请注意，如果表是由 Amazon Lake Formation 托管的，则不支持 Iceberg、Delta 和 HUDI 表。不支持 Amazon Glue Data Catalog 中编入目录的 Amazon Athena 视图。 | Amazon Glue 支持的所有数据来源，包括自定义连接器和第三方连接器。 |
| 数据质量规则建议 | 支持 | 不支持 |
| 编写并运行 DQDL 规则 | 支持 | 支持 |
| 自动扩缩 | 不支持 | 支持 |
| Amazon Glue Flex 支持 | 不支持 | 支持 |
| 调度 | 在评估 Data Quality 规则时和通过 Step Functions 时支持。 | 使用 Step Functions 和工作流程时支持。 |
| 识别未通过数据质量检查的记录 | 不支持 | 支持 |
| 与 Amazon EventBridge 集成 | 支持 | 支持 |
| 将 Amazon CloudWatch 集成 | 支持 | 支持 |
| 将数据质量结果写入 Amazon S3 | 支持 | 支持 |
| 增量数据质量 | 通过下推谓词支持 | 通过 Amazon Glue 书签支持 |
| Amazon CloudFormation 支持 | 支持 | 支持 |
| 基于 ML 的异常检测 | 不支持 | 支持 |
| 动态规则 | 不支持 | 支持 |
注意事项
在使用 Amazon Glue 数据质量自动监测功能之前，请考虑以下各项：
-
数据质量规则无法评估嵌套或列表类型的数据源。请参阅 扁平化嵌套结构。
术语
下表定义了与 Amazon Glue Data Quality 相关的术语。
- 数据质量定义语言（DQDL）
-
一种特定领域的语言，可用于编写 Amazon Glue Data Quality 规则。
要了解有关 DQDL 的更多信息，请参阅数据质量定义语言（DQDL）引用指南。
- 数据质量
-
描述数据集在多大程度上发挥其特定用途。Amazon GlueData Quality 根据数据集评估规则以衡量数据质量。每条规则都检查特定特征，例如数据新鲜度或完整性。要量化数据质量，可以使用数据质量分数。
- 数据质量分数
-
当您使用 Amazon Glue 数据质量评估规则集时，通过（结果为真）的数据质量规则的百分比。
- 规则
-
DQDL 表达式，用于检查您的数据是否存在特定特征并返回布尔值。有关更多信息，请参阅 规则结构。
- 分析器
-
用于收集数据统计信息的 DQDL 表达式。分析器收集的数据统计信息，ML 算法可以使用这些统计信息来检测一段时间内的异常情况和难以检测的数据质量问题。
- 规则集
-
一种包含一组数据质量规则的 Amazon Glue 资源。规则集必须与 Amazon Glue Data Catalog 中的一个表格关联。保存规则集时，Amazon Glue 会为规则集分配一个 Amazon 资源名称(ARN)。
- 数据质量分数
-
当您使用 Amazon Glue 数据质量评估规则集时，通过（结果为真）的数据质量规则的百分比。
- 观测值
-
Amazon Glue 通过分析一段时间内从规则和分析器收集的数据统计信息得出的未经证实的见解。
限制
Amazon Glue 数据质量自动监测功能服务限制：
-
一个规则集中可以有 2000 个规则。如果您的规则集较大，我们建议将其拆分成多个规则集。
-
规则集的大小为 65 KB。如果您的规则集较大，我们建议将其拆分成多个规则集。
-
创建规则或分析器时，Amazon Glue 数据质量自动监测功能会收集统计信息。存储这些统计信息不会产生任何费用。但是，每个账户的统计信息上限为 10 万条，并且这些统计信息最多保留两年。
Amazon Glue Data Quality 发布说明
本主题介绍了 Amazon Glue Data Quality 中引入的功能。
正式上市：新功能
随着 Amazon Glue Data Quality 的正式上市，将提供以下新功能：
现在 Amazon Glue Studio 支持识别哪些记录未通过数据质量检查的功能
新的数据质量规则类型，例如验证两个数据集之间数据的引用完整性、比较两个数据集之间的数据以及数据类型检查
改善了 Amazon Glue Data Catalog 中的用户体验
支持 Apache Iceberg、Apache Hudi 和 Delta Lake
支持 Amazon Redshift
使用 Amazon EventBridge 简化通知
Amazon CloudFormation 支持创建规则集
性能改进：ETL 和 Amazon Glue Studio 中的缓存选项以及评估数据质量时更快的性能
2023 年 11 月 27 日（预览版）
-
由 ML 提供支持的异常检测功能现已在 Amazon Glue ETL 和 Amazon Glue Studio 中提供。凭借此功能，您现在可以检测异常和难以检测的数据质量问题
2024 年 3 月 12 日
-
DQDL 改进
2024 年 6 月 26 日
-
DQDL 改进
-
DQDL 现在支持 where 子句，这样您就可以在应用 DQ 规则之前筛选数据
-
2024 年 8 月 7 日
-
异常检测和动态规则现已正式发布
2024 年 11 月 22 日
-
用于管理文件的数据质量的新规则类型
-
Visual ETL 作业中的默认数据质量检查
2024 年 12 月 6 日
-
Amazon Glue 数据质量现在支持 Amazon SageMaker AI LakeHouse 表和 Amazon Lake Formation 管理的数据目录和 ETL 中的 Iceberg、Delta 及 HUDI 表