Amazon Kinesis Data Firehose
开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

配置设置

本主题介绍 Create Delivery Stream 向导的 Configure settings 页。

配置设置

  1. Configure settings (配置设置) 页面上,为以下字段提供值:

    Buffer size, Buffer interval

    Kinesis Data Firehose 缓冲传入数据,然后将其传输到 Amazon S3。您可以选择缓冲区大小 (1–128 MB) 或缓冲间隔(60–900 秒)。先满足的条件将触发到 Amazon S3 的数据传输操作。如果您启用数据转换,缓冲间隔是指从 Kinesis Data Firehose 收到转换数据时直至数据传输到 Amazon S3 时。如果将数据传输到目标的速度落后于将数据写入到传输流的速度,Kinesis Data Firehose 将动态增加缓冲区大小以保持同步。此操作有助于确保所有数据都传输到目标。

    Compression

    选择 GZIP、Snappy 或 Zip 数据压缩,也可以选择不使用数据压缩。Snappy 或 Zip 压缩对以 Amazon Redshift 作为目标的传输流不可用。

    加密

    Kinesis Data Firehose 支持使用 AWS Key Management Service (AWS KMS) 进行 Amazon S3 服务器端加密,以保护传输到 Amazon S3 的数据。您可以选择不加密数据,也可以选择使用自己的 AWS KMS 密钥列表中的密钥进行加密。有关更多信息,请参阅使用具有 AWS KMS 托管密钥的服务器端加密 (SSE-KMS) 保护数据

    错误日志记录

    如果启用了数据转换,Kinesis Data Firehose 可以记录 Lambda 调用并将数据传输错误发送到 CloudWatch Logs。之后,如果 Lambda 调用或数据传输失败,您可以查看特定的错误日志。有关更多信息,请参阅使用 CloudWatch Logs 监控 Kinesis Data Firehose

    IAM 角色

    您可以选择创建新的角色(此时,系统会自动分配所需权限),也可以选择为 Kinesis Data Firehose 创建的现有角色。该角色用于为 Kinesis Data Firehose 授予对 S3 存储桶、AWS KMS 密钥(如果启用了数据加密)和 Lambda 函数(如果启用了数据转换)的访问权限。控制台可创建带占位符的角色。您可以安全地忽略或删除包含 %FIREHOSE_BUCKET_NAME%%FIREHOSE_DEFAULT_FUNCTION%%FIREHOSE_DEFAULT_VERSION% 的行。有关更多信息,请参阅 授予 Kinesis Data Firehose 访问 Amazon S3 目标的权限

  2. 查看设置并选择 Create Delivery Stream

新的 Kinesis Data Firehose 传输流 将进入 Creating (正在创建) 状态,片刻后便可正常使用。Kinesis Data Firehose 传输流 进入 Active (活动) 状态后,就可以从创建器向其发送数据。