SplitFields 类 - Amazon Glue
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

SplitFields 类

按指定字段将一个 DynamicFrame 拆分成两个新项。

Methods

__call__(frame, paths, name1 = None, name2 = None, transformation_ctx = "", info = "", stageThreshold = 0, totalThreshold = 0)

DynamicFrame 中的一个或多个字段拆分成新的 DynamicFrame 并创建另一个包含保留字段的新 DynamicFrame

  • frame – 要拆分到新 DynamicFrame 中的源 DynamicFrame (必需)。

  • paths – 要拆分的字段的完整路径的列表 (必需)。

  • name1— 要分配给DynamicFrame,将包含要拆分的字段(可选)。如果没有提供名称,则会使用源框架的名称并附加“1”。

  • name2— 要分配给DynamicFrame,它将包含在指定字段拆分后仍保留的字段(可选)。如果没有提供名称,则会使用源框架的名称并附加“2”。

  • transformation_ctx – 用于标识状态信息的唯一字符串 (可选)。

  • info – 与转换中的错误关联的字符串 (可选)。

  • stageThreshold – 在转换出错之前可能在其中发生的最大错误数 (可选;默认值为零)。

  • totalThreshold – 在处理出错之前可能全面发生的最大错误数 (可选;默认值为零)。

返回一个包含两个 DynamicFramesDynamicFrameCollection:一个仅包含要拆分的指定字段,另一个包含所有剩余字段。

apply(cls, *args, **kwargs)

继承自 GlueTransform apply

name(cls)

继承自 GlueTransform name

describeArgs(cls)

继承自 GlueTransform describeArgs

describeReturn(cls)

继承自 GlueTransform describeReturn

describeTransform(cls)

继承自 GlueTransform describeTransform

describeErrors(cls)

继承自 GlueTransform describeErrors

describe(cls)

继承自 GlueTransform 描述

SplitFields 示例

此示例使用以下 DynamicFrame 作为输入,并将其拆分为两个 DynamicFrames。

dyf_dropNullfields.toDF().show() +-------------+---------------+--------------+----------+ |warehouse_loc|data.strawberry|data.pineapple|data.mango| +-------------+---------------+--------------+----------+ | TX_WAREHOUSE| 220| 560| 350| | CA_WAREHOUSE| 34| 123| 42| | CO_WAREHOUSE| 340| 180| 2| +-------------+---------------+--------------+----------+
dyf_splitFields = SplitFields.apply(frame = dyf_dropNullfields, paths = ["`data.strawberry`", "`data.pineapple`"], name1 = "a", name2 = "b")

您可以使用以下命令查看第一个 DynamicFrame 结果。

dyf_retrieve_a = SelectFromCollection.apply(dyf_splitFields, "a") dyf_retrieve_a.toDF().show() +---------------+--------------+ |data.strawberry|data.pineapple| +---------------+--------------+ | 220| 560| | 34| 123| | 340| 180| +---------------+--------------+

您可以使用以下命令查看第二个 DynamicFrame 结果。

dyf_retrieve_b = SelectFromCollection.apply(dyf_splitFields, "b") dyf_retrieve_b.toDF().show() +-------------+----------+ |warehouse_loc|data.mango| +-------------+----------+ | TX_WAREHOUSE| 350| | CA_WAREHOUSE| 42| | CO_WAREHOUSE| 2| +-------------+----------+