MonthName 类
MonthName
转换会使用表示日期的字符串创建一个包含月份名称的新列。
示例
from pyspark.context import SparkContext from pyspark.sql import SparkSession from awsgluedi.transforms import * sc = SparkContext() spark = SparkSession(sc) spark.conf.set("spark.sql.legacy.timeParserPolicy", "LEGACY") input_df = spark.createDataFrame( [ ("20-2018-12",), ("2018-20-12",), ("20182012",), ("12202018",), ("20122018",), ("20-12-2018",), ("12/20/2018",), ("02/02/02",), ("02 02 2009",), ("02/02/2009",), ("August/02/2009",), ("02/june/2009",), ("02/2020/june",), ("2013-02-21 06:35:45.658505",), ("August 02 2009",), ("2013/02/21",), (None,), ], ["column_1"], ) try: df_output = datetime_functions.MonthName.apply( data_frame=input_df, spark_context=sc, source_column="column_1", target_column="target_column" ) df_output.show() except: print("Unexpected Error happened ") raise
输出
输出是:
``` +------------+------------+ | column_1|target_column| +------------+------------+ |20-2018-12 | December | |2018-20-12 | null | | 20182012| null | | 12202018| null | | 20122018| null | |20-12-2018 | December | |12/20/2018 | December | | 02/02/02 | February | |02 02 2009 | February | |02/02/2009 | February | |August/02/2009| August | |02/june/2009| null | |02/2020/june| null | |2013-02-21 06:35:45.658505| February | |August 02 2009| August | | 2013/02/21| February | | null | null | +------------+------------+ ```
MonthName
转换会将“source_column”设为“column_1”,将“target_column”设为“target_column”。它会尝试从“column_1”列中的日期/时间字符串中提取月份名称,并将其放在“target_column”列中。如果日期/时间字符串的格式无法识别或无法解析,则“target_column”的值将设置为“null”。
该转换可成功地从各种日期/时间格式中提取月份名称,例如“20-12-2018”、“12/20/2018”、“02/02/2009”、“2013-02-21 06:35:45.658505”和“August 02 2009”。
方法
__call__(spark_context, data_frame, target_column, source_column=None, value=None)
MonthName
转换会使用表示日期的字符串创建一个包含月份名称的新列。
-
source_column
– 现有列的名称。 -
value
– 要评估的字符串。 -
target_column
– 新创建的列的名称。
apply(cls, *args, **kwargs)
继承自 GlueTransform
apply。
name(cls)
继承自 GlueTransform
name。
describeArgs(cls)
继承自 GlueTransform
describeArgs。
describeReturn(cls)
继承自 GlueTransform
describeReturn。
describeTransform(cls)
继承自 GlueTransform
describeTransform。
describeErrors(cls)
继承自 GlueTransform
describeErrors。
describe(cls)
继承自 GlueTransform
describe。