使用 DropNullFields 删除空值字段 - Amazon Glue Studio
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

使用 DropNullFields 删除空值字段

如果字段中的所有值均为“null”(空),请使用 DropNullFields 转换从数据集中删除字段。预设情况下,Amazon Glue Studio 将识别空对象,但某些值(如空字符串、“null”(空)字符串、-1 整数或其他占位符(如零))不会自动识别为空。

要使用 DropNullFields

  1. 将 DropNullFields 节点添加到任务图中。

  2. Node properties(节点属性)选项卡上,选择其他表示空值的值。您可以选择不选择任何值,也可以选择所有值:

    
               屏幕截图显示了 DropNullFields 节点的 Transform(转换)选项卡。
    • 空字符串(""或'')- 将删除包含空字符串的字段

    • “null string”(空字符串)- 将删除包含带有“null”(空)一词的字符串的字段

    • -1 整数 - 将删除包含 -1(负一)整数的字段

  3. 如果需要,还可以指定自定义空值。这些空值可能仅适用于您的数据集。要添加自定义空值,请选择 Add new value(添加新值)。

  4. 输入自定义空值。例如,可以是零,也可以是用于表示数据集中空值的任何值。

  5. 在下拉字段中选择数据类型。数据类型可以是字符串或整数。

    注意

    自定义空值及其数据类型必须完全匹配,才能将字段识别为空值并删除字段。部分匹配(只有自定义空值匹配,但数据类型不匹配)不会导致删除字段。