Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

Amazon Glue 中的 ETL 输入和输出的格式选项

各种 Amazon Glue PySpark 和 Scala 方法和转换使用 format 参数和 format_options 参数指定其输入和/或输出格式。这些参数可以采用以下值。

对于访问 Amazon Lake Formation 受管表的任务，Amazon Glue 支持读取和写入 Lake Formation 受管表支持的所有格式。有关当前 Amazon Lake Formation 受管表支持的格式列表，请参阅 Amazon Lake Formation 开发人员指南中的受管表的注释和限制。

format="avro"

此值指定 Apache Avro 数据格式。

您可以将以下 format_options 值与 format="avro" 结合使用：

对于读取器：此表显示 Avro 数据类型（逻辑类型和 Avro 基元类型）与 Avro 阅读器 1.7 和 1.8 的 Amazon Glue DynamicFrame 数据类型之间的转换。

对于写入器：此表显示 Avro 写入器 1.7 和 1.8 在 Amazon Glue DynamicFrame 数据类型与 Avro 数据类型之间的转换。

format="csv"

此值指定 comma-separated-values 作为数据格式 (例如，请参阅 RFC 4180 和 RFC 7111)。

您可以将以下 format_options 值与 format="csv" 结合使用：

以下示例演示了如何在 Amazon Glue ETL 任务脚本内指定格式选项。

glueContext.write_dynamic_frame.from_options(
    frame = datasource1,
    connection_type = "s3", 
    connection_options = {
        "path": "s3://s3path"
        }, 
    format = "csv", 
    format_options={
        "quoteChar": -1, 
        "separator": "|"
        }, 
    transformation_ctx = "datasink2")

结合使用矢量化 SIMD CSV 读取器与 Apache Arrow 列式格式

Amazon Glue 版本 3.0 支持将 Apache Arrow 用作内存列式格式，允许以列式方式批处理记录。批处理可减少与处理跨记录批处理更改模式相关的 CPU 瓶颈，并提高从列缓冲区检索数据的效率。Amazon Glue 使用 CPU SIMD 指令集和微并行算法矢量化 CSV 读取器。通过这些优化，与使用基于行的 Amazon Glue DynamicFrame 或 Spark DataFrames 相比，Amazon Glue 版本 3.0 实现显著的性能提升。

要使用 Arrow 格式的优化读取器，请在 format_options 或表属性中将“optimizePerformance”设为 true。

glueContext.create_dynamic_frame.from_options(
    frame = datasource1,
    connection_type = "s3", 
    connection_options = {"paths": ["s3://s3path"]}, 
    format = "csv", 
    format_options={
        "optimizePerformance": True, 
        "separator": ","
        }, 
    transformation_ctx = "datasink2")

矢量化 CSV 读取器的限制

请注意以下限制：

format="ion"

此值指定 Amazon Ion 作为数据格式。(有关更多信息，请参阅 Amazon Ion 规范。)

目前，Amazon Glue 不支持以 ion 格式输出。

没有适用于 format_options 的 format="ion" 值。

format="grokLog"

此值指定由一个或多个 Logstash grok 模式指定的日志数据格式（例如，请参阅 Logstash 参考 [6.2]：Grok 筛选器插件）。

目前，Amazon Glue 不支持以 groklog 格式输出。

您可以将以下 format_options 值与 format="grokLog" 结合使用：

format="json"

此值指定 JSON (JavaScript 对象表示法) 数据格式。

您可以将以下 format_options 值与 format="json" 结合使用：

format="orc"

此值指定 Apache ORC 作为数据格式。(有关更多信息，请参阅 LanguageManual ORC。)

没有适用于 format_options 的 format="orc" 值。不过，基础 SparkSQL 代码所接受的任何选项均可通过 connection_options 映射参数传递给它。

format="parquet"

此值指定 Apache Parquet 作为数据格式，但也提供了选项来使用针对动态帧进行优化的自定义 Parquet 编写器类型。编写前不需要预先计算的架构。使用 useGlueParquetWriter 选项指定时，编写器会在数据传入时，动态计算和修改架构。

您可以将以下 format_options 值：

请参阅以下示例，其中 sink 是 glue_context.getSink() 返回的对象。

sink.setFormat("parquet", useGlueParquetWriter=True)

指定 useGlueParquetWriter 时的限制：

此外，基础 SparkSQL 代码所接受的任何选项均可通过 connection_options 映射参数传递给此格式。例如，可以为 Amazon Glue Spark 读取器设置 Spark 配置（如 mergeSchema），以合并所有文件的架构。

format="xml"

此值指定 XML 作为数据格式，通过 Apache Spark 的 XML 数据源分析器分支对其进行分析。

目前，Amazon Glue 不支持以“xml”格式输出。

您可以将以下 format_options 值与 format="xml" 结合使用：

示例

此示例使用 withSchema 格式选项来指定 XML 数据的架构。

schema = StructType([ 
  Field("id", IntegerType()),
  Field("name", StringType()),
  Field("nested", StructType([
    Field("x", IntegerType()),
    Field("y", StringType()),
    Field("z", ChoiceType([IntegerType(), StringType()]))
  ]))
])

datasource0 = create_dynamic_frame_from_options(
    connection_type, 
    connection_options={"paths": ["s3://xml_bucket/someprefix"]},
    format="xml", 
    format_options={"withSchema": json.dumps(schema.jsonValue())},
    transformation_ctx = ""
)