AWS::KinesisFirehose::DeliveryStream ParquetSerDe - AWS CloudFormation
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

AWS::KinesisFirehose::DeliveryStream ParquetSerDe

在将数据存储到 Amazon S3 中之前用于将其转换为 Parquet 格式的串行器。有关更多信息,请参阅 Apache Parquet

语法

要在 AWS CloudFormation 模板中声明此实体,请使用以下语法:

JSON

{ "BlockSizeBytes" : Integer, "Compression" : String, "EnableDictionaryCompression" : Boolean, "MaxPaddingBytes" : Integer, "PageSizeBytes" : Integer, "WriterVersion" : String }

YAML

BlockSizeBytes: Integer Compression: String EnableDictionaryCompression: Boolean MaxPaddingBytes: Integer PageSizeBytes: Integer WriterVersion: String

属性

BlockSizeBytes

Hadoop 分布式文件系统 (HDFS) 块大小。如果您打算在查询之前将数据从 Amazon S3 复制到 HDFS,这很有用。默认值为 256 MiB,最小值为 64 MiB。Kinesis Data Firehose 将此值用于填充计算。

必需:否

类型:整数

最低67108864

Update requires: No interruption

Compression

对数据块使用的压缩代码。可能的值为 UNCOMPRESSEDSNAPPY、和 GZIP,默认值为 SNAPPY。使用 SNAPPY 可获得更高的压缩速度。如果压缩率比速度更重要,则使用 GZIP

必需:否

类型:字符串

允许的值GZIP | SNAPPY | UNCOMPRESSED

Update requires: No interruption

EnableDictionaryCompression

指示是否启用字典压缩。

必需:否

类型:布尔值

Update requires: No interruption

MaxPaddingBytes

要应用的最大填充数量。如果您打算在查询之前将数据从 Amazon S3 复制到 HDFS,这很有用。默认值为 0。

必需:否

类型:整数

最低0

Update requires: No interruption

PageSizeBytes

Parquet 页面大小。列块划分为页面。页面是在概念上不可分的单元(就压缩和编码而言)。最小值为 64 KiB,默认值为 1 MiB。

必需:否

类型:整数

最低65536

Update requires: No interruption

WriterVersion

指示输出的行格式的版本。可能的值为 V1V2。默认为 V1

必需:否

类型:字符串

允许的值V1 | V2

Update requires: No interruption