AWS::KinesisFirehose::DeliveryStream OrcSerDe - AWS CloudFormation
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

AWS::KinesisFirehose::DeliveryStream OrcSerDe

在将数据存储到 Amazon S3 中之前用于将其转换为 ORC 格式的串行器。有关更多信息,请参阅 Apache ORC

语法

要在 AWS CloudFormation 模板中声明此实体,请使用以下语法:

JSON

{ "BlockSizeBytes" : Integer, "BloomFilterColumns" : [ String, ... ], "BloomFilterFalsePositiveProbability" : Double, "Compression" : String, "DictionaryKeyThreshold" : Double, "EnablePadding" : Boolean, "FormatVersion" : String, "PaddingTolerance" : Double, "RowIndexStride" : Integer, "StripeSizeBytes" : Integer }

属性

BlockSizeBytes

Hadoop 分布式文件系统 (HDFS) 块大小。如果您打算在查询之前将数据从 Amazon S3 复制到 HDFS,这很有用。默认值为 256 MiB,最小值为 64 MiB。Kinesis Data Firehose 将此值用于填充计算。

必需:否

类型:整数

最低67108864

Update requires: No interruption

BloomFilterColumns

您希望 Kinesis Data Firehose 为其创建 bloom 筛选条件的列名。默认为 null

必需:否

类型:字符串列表

Update requires: No interruption

BloomFilterFalsePositiveProbability

Bloom 筛选条件误报概率 (FPP)。FPP 越低,Bloom 筛选条件越大。默认值为 0.05,最小值为 0,最大值为 1。

必需:否

类型:双精度

Update requires: No interruption

Compression

对数据块使用的压缩代码。默认为 SNAPPY

必需:否

类型:字符串

允许的值NONE | SNAPPY | ZLIB

Update requires: No interruption

DictionaryKeyThreshold

表示总非 null 行数的分数。要关闭字典编码,请将此分数设置为小于字典中不同键数量的数值。要始终使用字典编码,请将此阈值设置为 1。

必需:否

类型:双精度

Update requires: No interruption

EnablePadding

将此项设置为 true 可指示您希望向 HDFS 数据块边界填充条带。如果您打算在查询之前将数据从 Amazon S3 复制到 HDFS,这很有用。默认为 false

必需:否

类型:布尔值

Update requires: No interruption

FormatVersion

文件写入的版本。可能的值为 V0_11V0_12。默认为 V0_12

必需:否

类型:字符串

允许的值V0_11 | V0_12

Update requires: No interruption

PaddingTolerance

一个介于 0 和 1 之间的数字,以条带大小的小数比例定义数据块填充的容差。默认值为 0.05,这意味着条带大小的 5%。

对于 64 MiB ORC 条带和 256 MiB HDFS 数据块的默认值,默认块填充容差为 5% 将在 256 MiB 的数据块中最多保留 3.2 MiB 用于填充。在这种情况下,如果数据块中的可用大小超过 3.2 MiB,则将插入新的较小条带以适合该空间。这可以确保没有条带会超过数据块边界,使远程读取在节点本地任务中进行。

EnablePaddingfalse 时,Kinesis Data Firehose 会忽略此参数。

必需:否

类型:双精度

Update requires: No interruption

RowIndexStride

索引条目之间的行数。默认值为 10000,最小值为 1000。

必需:否

类型:整数

最低1000

Update requires: No interruption

StripeSizeBytes

每个条带中的字节数。默认值为 64 MiB,最小值为 8 MiB。

必需:否

类型:整数

最低8388608

Update requires: No interruption