SplitFields 类
按指定字段将一个 DynamicFrame 拆分成两个新项。
Methods
__call__(frame, paths, name1 = None, name2 = None, transformation_ctx = "", info = "", stageThreshold = 0, totalThreshold = 0)
将 DynamicFrame 中的一个或多个字段拆分成新的 DynamicFrame 并创建另一个包含保留字段的新 DynamicFrame。
frame– 要拆分到新 DynamicFrame 中的源DynamicFrame(必需)。paths– 要拆分的字段的完整路径的列表 (必需)。name1– 要为将包含要拆分的字段的DynamicFrame分配的名称（可选）。如果没有提供名称，则会使用源框架的名称并附加“1”。name2– 要为将包含在指定字段拆分后仍保留的字段的DynamicFrame分配的名称（可选）。如果没有提供名称，则会使用源框架的名称并附加“2”。transformation_ctx– 用于标识状态信息的唯一字符串 (可选)。info– 与转换中的错误关联的字符串 (可选)。stageThreshold– 在转换出错之前可能在其中发生的最大错误数 (可选；默认值为零)。totalThreshold– 在处理出错之前可能全面发生的最大错误数 (可选；默认值为零)。
返回一个包含两个 DynamicFrameCollection 的 DynamicFrames：一个仅包含要拆分的指定字段，另一个包含所有剩余字段。
apply(cls, *args, **kwargs)
继承自 GlueTransform apply。
name(cls)
继承自 GlueTransform 名称。
describeArgs(cls)
继承自 GlueTransform describeArgs。
describeReturn(cls)
继承自 GlueTransform describeReturn。
describeTransform(cls)
继承自 GlueTransform describeTransform。
describeErrors(cls)
继承自 GlueTransform describeErrors。
describe(cls)
继承自 GlueTransform 描述。
SplitFields 示例
此示例使用以下 DynamicFrame 作为输入，并将其拆分为两个 DynamicFrames。
dyf_dropNullfields.toDF().show() +-------------+---------------+--------------+----------+ |warehouse_loc|data.strawberry|data.pineapple|data.mango| +-------------+---------------+--------------+----------+ | TX_WAREHOUSE| 220| 560| 350| | CA_WAREHOUSE| 34| 123| 42| | CO_WAREHOUSE| 340| 180| 2| +-------------+---------------+--------------+----------+
dyf_splitFields = SplitFields.apply(frame = dyf_dropNullfields, paths = ["`data.strawberry`", "`data.pineapple`"], name1 = "a", name2 = "b")
您可以使用以下命令查看第一个 DynamicFrame 结果。
dyf_retrieve_a = SelectFromCollection.apply(dyf_splitFields, "a") dyf_retrieve_a.toDF().show() +---------------+--------------+ |data.strawberry|data.pineapple| +---------------+--------------+ | 220| 560| | 34| 123| | 340| 180| +---------------+--------------+
您可以使用以下命令查看第二个 DynamicFrame 结果。
dyf_retrieve_b = SelectFromCollection.apply(dyf_splitFields, "b") dyf_retrieve_b.toDF().show() +-------------+----------+ |warehouse_loc|data.mango| +-------------+----------+ | TX_WAREHOUSE| 350| | CA_WAREHOUSE| 42| | CO_WAREHOUSE| 2| +-------------+----------+