可用检查 - Amazon Glue DataBrew
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

可用检查

下表列出了对可在规则中使用的所有可用条件的引用。请注意，聚合条件不能与同一规则中的非聚合条件结合使用。

注意

对于 SDK 用户，要将相同的规则应用于多列，请使用规则的 ColumnSelectors 属性，使用名称或正则表达式指定经过验证的列。在这种情况下，您应该使用隐式 CheckExpression。例如，“> :val” 可将每个选定列中的值与提供的值进行比较。DataBrew 使用隐式语法在动态数据集中定义 FilterExpression。如果要为每项检查单独指定列，请不要设置 ColumnSelectors 属性。相反，请提供一个显式表达式。例如，“:col > :val” 作为规则中的 CheckExpression。

条件类型 数据质量检查 额外参数 比较类型 SDK 语法示例
聚合数据集条件 行数 与自定义值的数值比较

"CheckExpression": "AGG(ROWS_COUNT) > :val", "SubstitutionMap": {":val", "10000"}
列数 与自定义值的数值比较

"CheckExpression": "AGG(COLUMNS_COUNT) == :val", "SubstitutionMap": {":val", "20"}

重复行

 与自定义值的数值比较

"CheckExpression": "AGG(DUPLICATE_ROWS_COUNT) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(DUPLICATE_ROWS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

聚合列统计信息条件 缺失值 与自定义值的数值比较

"CheckExpression": "AGG(MISSING_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(MISSING_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

重复值 与自定义值的数值比较

"CheckExpression": "AGG(DUPLICATE_VALUES_COUNT) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(DUPLICATE_VALUES_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

有效值

 与自定义值的数值比较

"CheckExpression": "AGG(VALID_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "10000"}

或

"CheckExpression": "AGG(VALID_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "95"}

相异值 与自定义值的数值比较

"CheckExpression": "AGG(DISTINCT_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "1000"}

或

"CheckExpression": "AGG(DISTINCT_VALUES_PERCENTAGE) >= :val", "SubstitutionMap": {":val", "50"}

唯一值

 与自定义值的数值比较

"CheckExpression": "AGG(UNIQUE_VALUES_COUNT) > :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(UNIQUE_VALUES_PERCENTAGE) > :val", "SubstitutionMap": {":val", "20"}

异常值

 Z-score 阈值 与自定义值的数值比较

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_COUNT, :zscore_dev) < :val", "SubstitutionMap": {":zscore_dev": "4", ":val", "100"}

或

"CheckExpression": "AGG(Z_SCORE_OUTLIERS_PERCENTAGE) < :val", "SubstitutionMap": {":val", "5"}

值分布统计数据

 统计数据名称（参见下表） 与自定义值的数值比较

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

注意

有关可能的 STAT_NAME 值，请参见下表

数值统计数据

 统计数据名称（参见下表） 与自定义值的数值比较

"CheckExpression": "AGG(<STAT_NAME>) < :val", "SubstitutionMap": {":val", "100"}

或

"CheckExpression": "AGG(<STAT_NAME>, :param) < :val", "SubstitutionMap": {":param": "0.25", :val", "5"}

注意

有关可能的 STAT_NAME 值，请参见下表
非聚合（接受阈值） 值正好是 与值列表进行精确比较

"CheckExpression": ":col IN :list", "SubstitutionMap": {":col": "`size`", ":list": "[\"S\",\"M\",\"L\",\"XL\"]"}
值不完全是 值不应与列表中的任何值完全匹配

"CheckExpression": ":col NOT IN :list", "SubstitutionMap": {":col": "`domain`", ":list": "[\"GOV\",\"ORG\"]"}

字符串值 与自定义值或其他字符串列进行字符串比较

"CheckExpression": ":col STARTS_WITH :val", "SubstitutionMap": {":col": "`url`", ":val": "http"}

或

"CheckExpression": ":col1 contains :col2", "SubstitutionMap": {":col1": "`url`", ":col2": "`company_name`"}

数字值 与自定义值或其他数值列进行数值比较

"CheckExpression": ":col IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`APY`", ":val1": "0", ":val2": "10"}

或

"CheckExpression": ":col1 <= :col2", "SubstitutionMap": {":col1": "`bank_rate`", ":col2": "`fed_rate`"}

值字符串长度 与自定义值或其他数值列进行数值比较

"CheckExpression": "length(:col) IS_BETWEEN :val1 and :val2", "SubstitutionMap": {":col": "`identifier`", ":val1": "8", ":val2": "12"}

或

"CheckExpression": "length(:col1) <= :col2", "SubstitutionMap": {":col1": "`name`", ":col2": "`max_name_len`"}

数字比较

DataBrew 支持通过以下运算进行数值比较：等于（==）、不等于（!=）、小于（<）、小于等于（<=）、大于（>）、大于等于（>=）和介于（is_between :val1 和 :val2）。

字符串比较

支持以下字符串比较：开头为、开头不是、结尾为、不以以下值结尾、包含、不包含、等于、不等于、匹配、不匹配。

下表显示了可用于值分布统计数据和数值统计数据的可用统计数据：

数据质量检查 统计数据名称 额外参数 SDK 语法
值分布统计数据 最小值 "CheckExpression": "AGG(MAX) < :val", "SubstitutionMap": {":val", "100"}
最大值 "CheckExpression": "AGG(MIN) > :val", "SubstitutionMap": {":val", "0"}
中位数 "CheckExpression": "AGG(MEDIAN) >= :val", "SubstitutionMap": {":val", "50"}
平均值 "CheckExpression": "AGG(MEAN) <= :val", "SubstitutionMap": {":val", "10"}
模式 "CheckExpression": "AGG(MODE) > :val", "SubstitutionMap": {":val", "0"}
标准偏差 "CheckExpression": "AGG(STANDARD_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
熵 "CheckExpression": "AGG(ENTROPY) > :val", "SubstitutionMap": {":val", "0"}
数值统计数据 总和 "CheckExpression": "AGG(SUM) > :val", "SubstitutionMap": {":val", "0"}
峰度 "CheckExpression": "AGG(KURTOSIS) > :val", "SubstitutionMap": {":val", "0"}
偏度 "CheckExpression": "AGG(SKEWNESS) > :val", "SubstitutionMap": {":val", "0"}
方差 "CheckExpression": "AGG(VARIANCE) > :val", "SubstitutionMap": {":val", "0"}
绝对偏差 "CheckExpression": "AGG(MEDIAN_ABSOLUTE_DEVIATION) > :val", "SubstitutionMap": {":val", "0"}
分位数 分位数：“0.25”、“0.5”和“0.75”之一 "CheckExpression": "AGG(QUANTILE, :pct) > :val", "SubstitutionMap": {":pct": "0.25", ":val", "0"}