Zscaler Internet Access 的管道配置

source:
  s3:
    aws:
      region: "us-east-1"
      sts_role_arn: "arn:aws:iam::<account>:role/<role-name>"
    compression: "gzip"
    codec:
      ndjson:
    data_source_name: "zscaler_internetaccess"
    default_bucket_owner: "123456789012"
    bucket_owners:
      my-bucket: "123456789012"
    disable_bucket_ownership_validation: false
    notification_type: "sqs"
    sqs:
      queue_url: "https://sqs.region.amazonaws.com/<account>/<queue-name>"
    on_error: "retain_messages"

Parameters

notification_type（必需）

指定通知机制。若通过 SQS 进行 S3 事件通知，该参数值必须设为“sqs”。

data_source_name（必需）

标识数据来源。它可以是任何表示数据来源的字符串值。示例：“zscaler_internetaccess”。

aws.region（必需）

S3 存储桶与 SQS 队列所在的 Amazon 区域。

aws.sts_role_arn（必需）

访问 S3 和 SQS 资源而要代入的 IAM 角色 ARN。

codec（必需）

用于解析 S3 对象的编解码器配置。支持 csv、json、ndjson 三种编解码器。

compression（可选）

S3 对象的压缩类型。有效值为“none”、“gzip”、“automatic”。默认值为“none”。

sqs.queue_url（对于 SQS 为必填）

新对象创建时接收 S3 存储桶通知的完整 SQS 队列 URL。

on_error（可选）

确定如何处理 Amazon SQS 中的错误。可选值为 retain_messages 或 delete_messages。默认值为 retain_messages。