Backup 和高级设置 - Amazon Kinesis Data Firehose
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Backup 和高级设置

本主题介绍了如何配置备份和 Kinesis Data Firehose 传输流的高级设置。

Backup 设置

Kinesis Data Firehose 使用 Amazon S3 来备份它尝试传送到您选择的目的地的所有数据或仅备份失败的数据。如果您进行了以下选择之一,您可以为 Kinesis Data Firehose 传输流指定 S3 备份设置:

  • 如果您将 Amazon S3 设置为 Kinesis Data Firehose 传输流的目的地,并且您选择指定AmazonLambda 函数用于转换数据记录,或者您选择转换传输流的数据记录格式。

  • 如果您将 Amazon Redshift 设置为 Kinesis Data Firehose 交付流的目的地,并且您选择指定Amazon用于转换数据记录的 Lambda 函数。

  • 如果您将以下任何服务设置为 Kinesis Data Firehose 传输流的目的地:亚马逊 OpenSearch 服务、Datadog、Dynatrace、HTTP 端点、LogicMonitor、MongoDB 云、新遗物、Splunk 或相扑逻辑。

以下是 Kinesis Data Firehose 传输流的备份设置:

  • Amazon S3 中的源记录备份-如果 S3 或 Amazon Redshift 是您选择的目标,则此设置指示您是要启用源数据备份还是将其保持禁用状态。如果任何其他受支持的服务(S3 或 Amazon Redshift 除外)被设置为您选择的目标,则此设置表示您是想备份所有源数据还是仅备份失败的数据。

  • S3 备份存储桶 — 这是 Kinesis Data Firehose 在其中备份数据的 S3 存储桶。

  • S3 备份存储桶前缀-这是 Kinesis Data Firehose 在其中备份数据的前缀。

  • S3 备份存储桶错误输出前缀-所有失败的数据都在此 S3 存储桶错误输出前缀中备份。

  • 用于备份的缓冲区提示、压缩和加密-Kinesis Data Firehose 使用 Amazon S3 来备份它尝试传送到您选择的目的地的所有数据或仅备份失败的数据。Kinesis Data Firehose 在将传入数据传输到 Amazon S3 之前进行缓冲。您可以选择 1-128 MiBs 的缓冲区大小和 60—900 秒的缓冲间隔。先满足的条件将触发到 Amazon S3 的数据传输操作。如果您启用数据转换,缓冲间隔是指从 Kinesis Data Firehose 接收转换数据时直至将数据传输到 Amazon S3 的时。如果将数据传输到目标的速度落后于将数据写入到传输流的速度,Kinesis Data Firehose 将动态增加缓冲区大小以保持同步。此操作有助于确保所有数据都传输到目标。

  • 选择 S3 压缩和加密 — 选择 GZIP、Snappy、Zip 或 Hadoop 兼容 Snappy 数据压缩,也可以选择不使用数据压缩。Snappy、Zip 和 Hadoop 兼容 Snappy 压缩对以 Amazon Redshift 作为目标的传输流不可用。

    Kinesis Data Firehose 支持 Amazon S3 服务器端加密,AmazonKey Management ServiceAmazonKMS) 用于加密 Amazon S3 中的传输数据。您可以选择不加密数据,也可以选择使用列表中的密钥进行加密。Amazon你拥有的 KMS 密钥。有关更多信息,请参阅 。使用服务器端加密保护数据AmazonKMS 托管密钥 (SSE-KMS).

高级设置

以下是 Kinesis Data Firehose 传输流的高级设置:

  • Kinesis Data Firehose 支持 Amazon S3 服务器端加密,AmazonKey Management ServiceAmazonKMS) 用于加密 Amazon S3 中的传输数据。有关更多信息,请参阅 。使用服务器端加密保护数据AmazonKMS 托管密钥 (SSE-KMS).

  • 如果启用了数据转换,Kinesis Data Firehose 可以记录 Lambda 调用并将数据传输错误发送到 CloudWatch Logs。之后,如果 Lambda 调用或数据传输失败,您可以查看特定的错误日志。有关更多信息,请参阅 。使用 CloudWatch Logs 监控 Kinesis Data Firehose.

  • 权限-Kinesis Data Firehose 将 IAM 角色用于传输流所需的所有权限。您可以选择创建新的角色(此时,系统会自动分配所需权限),也可以选择为 Kinesis Data Firehose 创建的现有角色。该角色用于授予 Kinesis Data Firehose 对各种服务的访问权限,包括您的 S3 存储桶,AmazonKMS 密钥 (如果启用了数据加密) 和 Lambda 函数 (如果启用了数据转换)。控制台可创建带占位符的角色。有关更多信息,请参阅 。什么是 IAM?.

  • 标签-您可以添加标签以保护您的Amazon资源、跟踪成本和控制访问权限。

选择备份和高级设置后,请查看您的选择,然后选择创建传输流.

新的 Kinesis Data Firehose 传输流需要在创建在可用之前的状态。在 Kinesis Data Firehose 传输流进入之后处于活动状态州,您可以开始从生产商向其发送数据。