日志记录 - Amazon Managed Streaming for Apache Kafka
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

日志记录

您可以将 Apache Ka 代理日志传送到以下一种或多种目标类型:Amazon L CloudWatch ogs、Amazon S3、Amazon Kinesis Data Firehose。您也可以使用记录亚马逊 MSK API 调用Amazon CloudTrail。

代理日志

代理日志使您能够对 Apache Kafka 应用程序进行故障排除,并分析它们与 MSK 集群的通信。您可以配置新的或现有的 MSK 集群,将信息级别的代理日志传送到以下一种或多种类型的目标资源: CloudWatch 日志组、S3 存储桶、Kinesis Data Firehose 传输流。然后,您可以通过 Kinesis Data Firehose 将日志数据从传输流传输到 OpenSearch 服务。在配置集群以向其传送代理日志之前,您必须创建目标资源。Amazon MSK 不会为您创建这些目标资源,如果它们尚不存在。有关这三种类型的目标资源以及如何创建这些资源的信息,请参阅以下文档:

注意

Amazon MSK 不支持将代理日志传输到亚太地区(大阪)区域的 Kinesis Data Firehose。

所需的 权限

要为 Amazon MSK 代理日志配置目的地,您用于 Amazon MSK 操作的 IAM 身份必须具有Amazon托管政策:AmazonMSKFullAccess策略中描述的权限。

要将代理日志传输到 S3 存储桶,您还需要s3:PutBucketPolicy权限。有关 S3 存储桶策略的信息,请参阅如何添加 S3 存储桶策略? 在 Amazon S3 控制台用户指南中。有关 IAM 策略的一般信息,请参阅 IAM 用户指南中的访问管理

与 SSE-KMS 存储桶结合使用时必需的 KMS 密钥策略

如果使用具有客户Amazon KMS托管的密钥 (SSE-KMS) 为 S3 存储桶启用了服务器端加密,请将以下内容添加到 KMS 密钥的密钥策略中,以便Amazon MSK 可以将代理文件写入存储桶。

{ "Sid": "Allow Amazon MSK to use the key.", "Effect": "Allow", "Principal": { "Service": [ "delivery.logs.amazonaws.com" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }

使用 Amazon Web Services Management Console配置代理日志

如果您要创建新集群,请在 “监控” 部分查找 Broker 日志传输标题。您可以指定您希望 Amazon MSK 将代理日志传送到的目的地。

对于现有集群,从集群列表中选择集群,然后选择属性选项卡。向下滚动到日志传输部分,然后选择其编辑按钮。您可以指定您希望 Amazon MSK 将代理日志传送到的目的地。

使用 Amazon CLI配置代理日志

使用 create-clusterupdate-monitoring 命令时,您可以选择指定 logging-info 参数并将类似如下的 JSON 结构传递给该参数。在此 JSON 中,所有三种目标类型都是可选的。

{ "BrokerLogs": { "S3": { "Bucket": "ExampleBucketName", "Prefix": "ExamplePrefix", "Enabled": true }, "Firehose": { "DeliveryStream": "ExampleDeliveryStreamName", "Enabled": true }, "CloudWatchLogs": { "Enabled": true, "LogGroup": "ExampleLogGroupName" } } }

使用 API 配置代理日志

您可以在 JSON 中指定传递给CreateClusterUpdateMonitoring操作的可选loggingInfo结构。

注意

默认情况下,启用代理日志记录时,Amazon MSK 会将INFO级别日志记录到指定目的地。但是,Apache Kafka 2.4.X 及更高版本的用户可以动态地将代理日志级别设置为任何 log4j 日志级别。有关动态设置代理日志级别的信息,请参阅 KIP-412:扩展管理员 API 以支持动态应用程序日志级别。如果您将日志级别动态设置为DEBUGTRACE,我们建议使用 Amazon S3 或 Kinesis Data Firehose 作为日志目标。如果您使用 CloudWatch 日志作为日志目标并动态启用DEBUGTRACE级别日志记录,Amazon MSK 可能会持续提供日志样本。这可能会显著影响代理性能,因此应仅在INFO日志级别不够详细,无法确定问题的根本原因时使用。

使用 Amazon CloudTrail 记录 API 调用

注意

Amazon CloudTrail日志仅在您使用时才可用于 Amazon MSKIAM 访问控制

Amazon MSK 与Amazon CloudTrail集成,后者是在 Amazon MSK 中提供用户、角色或Amazon服务所采取操作的记录的服务。 CloudTrail 将的 API 调用作为事件捕获。捕获的调用包括来自 Amazon MSK 控制台的调用以及对 Amazon MSK API 操作的代码调用。它还捕获 Apache Kafka 操作,例如创建和修改主题和群组。

如果您创建跟踪,则可以使 CloudTrail 事件持续传送到 Amazon S3 存储桶,包括 Amazon MSK 的事件。如果您不配置跟踪,则仍可在 CloudTrail 控制台的 Event history (事件历史记录) 中查看最新事件。通过 CloudTrail收集的信息,您可以确定向 Amazon MSK 或 Apache Ka 操作发出了什么请求、从中发出请求的 IP 地址、何人发出的请求、何人发出的请求、何人发出的请求、何人发出的请求、请求的发出时间以及其他详细信息。

要了解 CloudTrail更多信息(包括如何对其进行配置和启用),请参阅《Amazon CloudTrail用户指南》

中的亚马逊 MSK 信息 CloudTrail

CloudTrail 在您创建Amazon Web Services 账户时,将在该账户上启用。当 MSK 集群中发生受支持的事件活动时,该活动将记录在事件中,并与其他Amazon服务 CloudTrail 事件一同保存在 Event history (事件历史记录) 中。您可以在 Amazon Web Services 账户中查看、搜索和下载最新事件。有关更多信息,请参阅使用 CloudTrail 事件历史记录查看事件

要持续记录 Amazon Web Services 账户中的事件(包括 Amazon MSK 的事件),请创建跟踪记录。通过跟踪 CloudTrail ,可将日志文件传送至 Amazon S3 存储桶。默认情况下,在控制台中创建跟踪时,此跟踪应用于所有区域。此跟踪记录在 Amazon 分区中记录所有区域中的事件,并将日志文件传送至您指定的 Simple Storage Service(Amazon S3)存储桶。此外,您可以配置其他 Amazon 服务,进一步分析在 CloudTrail 日志中收集的事件数据并采取操作。有关更多信息,请参阅下列内容:

亚马逊 MSK 将所有亚马逊 MSK 操作作为事件 CloudTrail 记录在日志文件中。此外,它还记录了以下 Apache Kafka 操作。

  • kafka 集群:DescribeClusterDynamicConfiguration

  • kafka 集群:AlterClusterDynamicConfiguration

  • kafka 集群:CreateTopic

  • kafka 集群:DescribeTopicDynamicConfiguration

  • kafka 集群:AlterTopic

  • kafka 集群:AlterTopicDynamicConfiguration

  • kafka 集群:DeleteTopic

每个事件或日志条目都包含有关生成请求的人员信息。身份信息可帮助您确定以下内容:

  • 请求是使用根用户凭证还是 Amazon Identity and Access Management(IAM) 用户凭证发出的。

  • 请求是使用角色还是联合身份用户的临时安全凭证发出的。

  • 请求是否由其它 Amazon 服务发出。

有关更多信息,请参阅 CloudTrail userIdentity 元素

示例:Amazon MSK 日志文件条目

跟踪是一种配置,可用于将事件作为日志文件传送到您指定的 Amazon S3 存储桶。 CloudTrail 日志文件包含一个或多个日志条目。一个事件表示来自任何源的一个请求,包括有关所请求的操作、操作的日期和时间、请求参数等方面的信息。 CloudTrail 日志文件不是公用 API 调用和 Apache Ka 操作的有序堆栈跟踪,因此它们不会按任何特定顺序显示。

以下示例显示了演示DescribeClusterDeleteCluster Amazon MSK 操作 CloudTrail 的日志条目。

{ "Records": [ { "eventVersion": "1.05", "userIdentity": { "type": "IAMUser", "principalId": "ABCDEF0123456789ABCDE", "arn": "arn:aws:iam::012345678901:user/Joe", "accountId": "012345678901", "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE", "userName": "Joe" }, "eventTime": "2018-12-12T02:29:24Z", "eventSource": "kafka.amazonaws.com", "eventName": "DescribeCluster", "awsRegion": "us-east-1", "sourceIPAddress": "192.0.2.0", "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20", "requestParameters": { "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2" }, "responseElements": null, "requestID": "bd83f636-fdb5-abcd-0123-157e2fbf2bde", "eventID": "60052aba-0123-4511-bcde-3e18dbd42aa4", "readOnly": true, "eventType": "AwsApiCall", "recipientAccountId": "012345678901" }, { "eventVersion": "1.05", "userIdentity": { "type": "IAMUser", "principalId": "ABCDEF0123456789ABCDE", "arn": "arn:aws:iam::012345678901:user/Joe", "accountId": "012345678901", "accessKeyId": "AIDACKCEVSQ6C2EXAMPLE", "userName": "Joe" }, "eventTime": "2018-12-12T02:29:40Z", "eventSource": "kafka.amazonaws.com", "eventName": "DeleteCluster", "awsRegion": "us-east-1", "sourceIPAddress": "192.0.2.0", "userAgent": "aws-cli/1.14.67 Python/3.6.0 Windows/10 botocore/1.9.20", "requestParameters": { "clusterArn": "arn%3Aaws%3Akafka%3Aus-east-1%3A012345678901%3Acluster%2Fexamplecluster%2F01234567-abcd-0123-abcd-abcd0123efa-2" }, "responseElements": { "clusterArn": "arn:aws:kafka:us-east-1:012345678901:cluster/examplecluster/01234567-abcd-0123-abcd-abcd0123efa-2", "state": "DELETING" }, "requestID": "c6bfb3f7-abcd-0123-afa5-293519897703", "eventID": "8a7f1fcf-0123-abcd-9bdb-1ebf0663a75c", "readOnly": false, "eventType": "AwsApiCall", "recipientAccountId": "012345678901" } ] }

下面的示例显示了一个 CloudTrail 日志条目,该条目说明了kafka-cluster:CreateTopic操作。

{ "eventVersion": "1.08", "userIdentity": { "type": "IAMUser", "principalId": "ABCDEFGH1IJKLMN2P34Q5", "arn": "arn:aws:iam::111122223333:user/Admin", "accountId": "111122223333", "accessKeyId": "CDEFAB1C2UUUUU3AB4TT", "userName": "Admin" }, "eventTime": "2021-03-01T12:51:19Z", "eventSource": "kafka-cluster.amazonaws.com", "eventName": "CreateTopic", "awsRegion": "us-east-1", "sourceIPAddress": "198.51.100.0/24", "userAgent": "aws-msk-iam-auth/unknown-version/aws-internal/3 aws-sdk-java/1.11.970 Linux/4.14.214-160.339.amzn2.x86_64 OpenJDK_64-Bit_Server_VM/25.272-b10 java/1.8.0_272 scala/2.12.8 vendor/Red_Hat,_Inc.", "requestParameters": { "kafkaAPI": "CreateTopics", "resourceARN": "arn:aws:kafka:us-east-1:111122223333:topic/IamAuthCluster/3ebafd8e-dae9-440d-85db-4ef52679674d-1/Topic9" }, "responseElements": null, "requestID": "e7c5e49f-6aac-4c9a-a1d1-c2c46599f5e4", "eventID": "be1f93fd-4f14-4634-ab02-b5a79cb833d2", "readOnly": false, "eventType": "AwsApiCall", "managementEvent": true, "eventCategory": "Management", "recipientAccountId": "111122223333" }