Logging - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Logging

您可以向以下一种或多种目标类型传送 Apache Kafka 代理日志:Amazon CloudWatch Logs、Amazon CloudWatch Logs、Amazon Kinesis Data Firehose。您也可以使用记录 Amazon MSK API 调用Amazon CloudTrail.

代理日志

借助代理日志,您可以对 Apache Kafka 应用程序进行问题排查,并分析它们与 MSK 集群的通信。您可以配置新的或现有的 MSK 集群,以便将信息级代理日志传送到以下一种或多种类型的目标资源:CloudWatch 日志组、S3 存储桶、Kinesis Data Firehose 传输流。然后,您可以通过 Kinesis Data Firehose 将日志数据从传输流传输到。OpenSearch Service. 您必须先创建目标资源,然后再配置集群以向其传送代理日志。如果这些目标资源尚不存在,则不会为您创建这些目标资源。有关这三种类型的目标资源以及如何创建这些资源的信息,请参阅以下文档:

所需权限

要让 Amazon MSK 向您配置的目标传送代理日志,请确保AmazonMSKFullAccess策略附加到您的 IAM 角色。要将代理日志流式传输到 S3 存储桶,您还需要将 s3:PutBucketPolicy 权限附加到您的 IAM 角色。有关 S3 存储桶策略的信息,请参阅。如何添加 S3 存储桶策略?在 Amazon S3 控制台用户指南中。有关 IAM 策略的一般信息,请参阅。访问控制(在 IAM 用户指南中)。

与 SSE-KMS 存储桶结合使用时必需的 CMK 密钥策略

如果您使用 S3 存储桶启用服务器端加密。Amazon KMS具有客户托管的客户主密钥 (CMK) 的托管密钥 (SSE-KMS),将以下内容添加到 CMK 的密钥策略中,以便 Amazon MSK 可以将代理文件写入存储桶。

{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }

使用 Amazon Web Services Management Console配置代理日志

如果您正在创建新集群,请查找交付代理日志标题在监控部分。您可以指定希望 Amazon MSK 向其传送代理日志的目标。

对于现有集群,请从集群列表中选择集群,然后选择 Details (详细信息) 选项卡。向下滚动到监控部分然后选择它的编辑按钮。您可以指定希望 Amazon MSK 向其传送代理日志的目标。

使用 Amazon CLI配置代理日志

使用 create-clusterupdate-monitoring 命令时,您可以选择指定 logging-info 参数并将类似如下的 JSON 结构传递给该参数。在此 JSON 中,所有三种目标类型都是可选的。

{ "BrokerLogs": { "S3": { "Bucket": "ExampleBucketName", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }

使用 API 配置代理日志

您可以指定可选loggingInfo你传递给的 JSON 中的结构CreateCluster或者UpdateMonitoring操作。

注意

默认情况下,启用经纪商日志记录后,亚马逊 MSK 会日志INFO级别日志到指定目的地。但是,Apache Kafka 2.4.X 及更高版本的用户可以动态将代理日志级别设置为任何log4j 日志级别. 有关动态设置代理日志级别的信息,请参阅KIP-412:扩展管理 API 以支持动态应用程序日志级别. 如果将日志级别动态设置为DEBUG或者TRACE,我们建议使用 Amazon S3 或 Kinesis Data Firehose 作为日志目标。如果您使用 CloudWatch Logs 作为日志目标并动态启用DEBUG或者TRACE级别日志记录,Amazon MSK 可能会持续提供日志样本。这可能会显著影响经纪商的绩效,并且只能在INFO日志级别不够详细,无法确定问题的根本原因。

使用 Amazon CloudTrail 记录 API 调用

亚马逊 MSK 与Amazon CloudTrail,提供用户、角色或执行操作的记录的服务。Amazon亚马逊 MSK 中的服务。CloudTrail 将 的API 调用作为事件捕获。捕获的调用包括来自 Amazon MSK 控制台的调用和对 Amazon MSK API 操作的代码调用。它还捕获 Apache Kafka 操作,例如创建和更改主题和组。

如果您创建跟踪,则可以使 CloudTrail 事件持续传送到 Amazon S3 存储桶(包括 Amazon MSK 的事件)。如果您不配置跟踪,则仍可在 CloudTrail 控制台中的 Event history(事件历史记录)中查看最新事件。通过使用 CloudTrail 收集的信息,您可以确定向 Amazon MSK 发出了什么请求或 Apache Kafka 操作、发出请求的 IP 地址、何人发出的请求、何人发出的请求、请求的发出时间以及其他详细信息。

要了解有关 CloudTrail 的更多信息(包括如何配置和启用),请参阅 Amazon CloudTrail 用户指南

CloudTrail 中的 Amazon MSK 信息

在您创建 Amazon Web Services 账户时,将在该账户上启用 CloudTrail。当 MSK 集群中发生受支持的事件活动时,该活动将记录在 CloudTrail 事件中,并与其他活动一同保存在Amazon中的服务事件事件记录. 您可以在 Amazon Web Services 账户中查看、搜索和下载最新事件。有关更多信息,请参见使用 CloudTrail 事件历史记录查看事件

要持续记录 Amazon Web Services 账户中的事件(包括 Amazon MSK 的事件),请创建跟踪。通过跟踪,CloudTrail 可将日志文件传送至 Amazon S3 存储桶。默认情况下,在控制台中创建跟踪时,此跟踪应用于所有区域。此跟踪在 Amazon 分区中记录所有区域中的事件,并将日志文件传送至您指定的 Amazon S3 存储桶。此外,您可以配置其他 Amazon 服务,进一步分析在 CloudTrail 日志中收集的事件数据并采取操作。有关更多信息,请参阅下列内容:

所有 Amazon MSK 记录操作作为 CloudTrail 日志文件中的事件。此外,它还记录了下列出的 Apache Kafka 操作行动和资源的语义.

每个事件或日志条目都包含有关生成请求的人员信息。身份信息可帮助您确定以下内容:

  • 请求是使用根用户凭证还是 Amazon Identity and Access Management (IAM) 用户凭证发出的.

  • 请求是使用角色还是联合身份用户的临时安全凭证发出的。

  • 请求是否由其他Amazon服务发出。

有关更多信息,请参阅 CloudTrail userIdentity 元素

例如:Amazon MSK 日志文件条目

跟踪是一种配置,可用于将事件作为日志文件传送到您指定的 Amazon S3 存储桶。CloudTrail 日志文件包含一个或多个日志条目。一个事件表示来自任何源的一个请求,包括有关所请求的操作、操作的日期和时间、请求参数等方面的信息。CloudTrail 日志文件不是公用 API 调用和 Apache Kafka 操作的有序堆栈跟踪,因此它们不会按任何特定顺序显示。

以下示例显示了 CloudTrail 日志条目,它们演示了DescribeClusterDeleteClusterAmazon MSK 操作。

{ "Records": [ { "eventVersion": "1.05", "userIdentity": { "type": "IAMUser", "principalId": "ABCDEF0123456789ABCDE", "arn": "arn:aws:iam::012345678901:user/Joe", "accountId": "012345678901", "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE", "userName": "Joe" }, "eventTime": "2018-12-12T02:29:24Z", "eventSource": "kafka.amazonaws.com", "eventName": "DescribeCluster", "awsRegion": "us-east-1", "sourceIPAddress": "192.0.2.0", "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20", "requestParameters": { "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2" }, "responseElements": null, "requestID": "bd83f636-fdb5-abcd-0123-157e2fbf2bde", "eventID": "60052aba-0123-4511-bcde-3e18dbd42aa4", "readOnly": true, "eventType": "AwsApiCall", "recipientAccountId": "012345678901" }, { "eventVersion": "1.05", "userIdentity": { "type": "IAMUser", "principalId": "ABCDEF0123456789ABCDE", "arn": "arn:aws:iam::012345678901:user/Joe", "accountId": "012345678901", "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE", "userName": "Joe" }, "eventTime": "2018-12-12T02:29:40Z", "eventSource": "kafka.amazonaws.com", "eventName": "DeleteCluster", "awsRegion": "us-east-1", "sourceIPAddress": "192.0.2.0", "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20", "requestParameters": { "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2" }, "responseElements": { "clusterArn": "arn:aws:kafka:us-east-1:012345678901:cluster/examplecluster/01234567-abcd-0123-abcd-abcd0123efa-2", "state": "DELETING" }, "requestID": "c6bfb3f7-abcd-0123-afa5-293519897703", "eventID": "8a7f1fcf-0123-abcd-9bdb-1ebf0663a75c", "readOnly": false, "eventType": "AwsApiCall", "recipientAccountId": "012345678901" } ] }

下面的示例显示了一个 CloudTrail 日志条目,该条目说明了 kafka-cluster:CreateTopic 操作。

{ "eventVersion": "1.08", "userIdentity": { "type": "IAMUser", "principalId": "ABCDEFGH1IJKLMN2P34Q5", "arn": "arn:aws:iam::111122223333:user/Admin", "accountId": "111122223333", "accessKeyId": "CDEFAB1C2UUUUU3AB4TT", "userName": "Admin" }, "eventTime": "2021-03-01T12:51:19Z", "eventSource": "kafka-cluster.amazonaws.com", "eventName": "CreateTopic", "awsRegion": "us-east-1", "sourceIPAddress": "198.51.100.0/24", "userAgent": "aws-msk-iam-auth/unknown-version/aws-internal/3 aws-sdk-java/1.11.970 Linux/4.14.214-160.339.amzn2.x86_64 OpenJDK_64-Bit_Server_VM/25.272-b10 java/1.8.0_272 scala/2.12.8 vendor/Red_Hat,_Inc.", "requestParameters": { "kafkaAPI": "CreateTopics", "resourceARN": "arn:aws:kafka:us-east-1:111122223333:topic/IamAuthCluster/3ebafd8e-dae9-440d-85db-4ef52679674d-1/Topic9" }, "responseElements": null, "requestID": "e7c5e49f-6aac-4c9a-a1d1-c2c46599f5e4", "eventID": "be1f93fd-4f14-4634-ab02-b5a79cb833d2", "readOnly": false, "eventType": "AwsApiCall", "managementEvent": true, "eventCategory": "Management", "recipientAccountId": "111122223333" }