本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
设置 Managed Service for Apache Flink 中的应用程序日志记录
通过添加亚马逊 CloudWatch 登录到您的 Apache Flink 托管服务应用程序的选项,您可以监控应用程序事件或配置问题。
本主题介绍如何配置您的应用程序以将应用程序事件写入到 CloudWatch 日志直播。一个 CloudWatch 日志选项是应用程序设置和权限的集合,您的应用程序使用这些设置和权限来配置向其写入应用程序事件的方式 CloudWatch 日志。您可以添加和配置 CloudWatch 使用以下任一选项进行登录 Amazon Web Services 管理控制台 或者 Amazon Command Line Interface (Amazon CLI)。
关于添加,请注意以下几点 CloudWatch 应用程序的登录选项:
-
当你添加 CloudWatch 使用控制台的日志记录选项,Apache Flink 的托管服务创建 CloudWatch 为您提供日志组和日志流,并添加应用程序写入日志流所需的权限。
-
当你添加 CloudWatch 使用 API 的日志记录选项,您还必须创建应用程序的日志组和日志流,并添加应用程序写入日志流所需的权限。
设置 CloudWatch 使用控制台登录
当你启用时 CloudWatch 在控制台中记录您的应用程序,a CloudWatch 日志组和日志流是为您创建的。此外,还会使用写入到流的权限更新应用程序的权限策略。
Apache Flink 托管服务使用以下约定创建名为的日志组,其中 ApplicationName 是您的应用程序的名称。
/aws/kinesis-analytics/ApplicationName
Managed Service for Apache Flink使用以下名称在新日志组中创建一个日志流。
kinesis-analytics-log-stream
您可以使用配置应用程序页面的监控日志级别部分来设置应用程序监控指标级别和监控日志级别。有关应用程序日志级别的信息,请参阅控制应用程序监控级别。
设置 CloudWatch 使用 CLI 进行登录
要添加 CloudWatch 使用 logging 选项 Amazon CLI,你完成了以下操作:
-
创建一个 CloudWatch 日志组和日志流。
-
使用创建应用程序时添加日志记录选项 CreateApplication 操作,或者使用向现有应用程序添加日志记录选项 AddApplicationCloudWatchLoggingOption 行动。
-
在应用程序的策略中添加权限以写入到日志。
创建一个 CloudWatch 日志组和日志流
你创建一个 CloudWatch 使用以下任一方式进行日志组和流式传输 CloudWatch 记录控制台或 API。有关创建的信息 CloudWatch 日志组和日志流,请参阅 使用日志组和日志流。
使用应用程序 CloudWatch 记录选项
使用以下 API 操作来添加 CloudWatch 将选项记录到新的或现有的应用程序,或者更改现有应用程序的日志选项。有关如何将 JSON 文件用于 API 操作输入的信息,请参阅 Managed Service for Apache Flink API 示例代码。
添加一个 CloudWatch 创建应用程序时的日志选项
以下示例演示了如何使用 CreateApplication 添加 a 的操作 CloudWatch 创建应用程序时的日志选项。在示例中,将 Amazon Resource Name
(ARN) of the CloudWatch Log stream to add to the new
application 替换为您自己的信息。有关该操作的更多信息,请参阅 CreateApplication。
{ "ApplicationName": "test", "ApplicationDescription": "test-application-description", "RuntimeEnvironment": "FLINK-1_15", "ServiceExecutionRole": "arn:aws:iam::123456789123:role/myrole", "ApplicationConfiguration": { "ApplicationCodeConfiguration": { "CodeContent": { "S3ContentLocation":{ "BucketARN": "arn:aws:s3:::amzn-s3-demo-bucket", "FileKey": "myflink.jar" } }, "CodeContentType": "ZIPFILE" } }, "CloudWatchLoggingOptions": [{ "LogStreamARN": "<Amazon Resource Name (ARN) of the CloudWatch log stream to add to the new application>" }] }
添加一个 CloudWatch 现有应用程序的日志选项
以下示例演示了如何使用 AddApplicationCloudWatchLoggingOption 添加 a 的操作 CloudWatch 将选项登录到现有应用程序。在示例中,替换每个 user input placeholder 用你自己的信息。有关该操作的更多信息,请参阅 AddApplicationCloudWatchLoggingOption。
{ "ApplicationName": "<Name of the application to add the log option to>", "CloudWatchLoggingOption": { "LogStreamARN": "<ARN of the log stream to add to the application>" }, "CurrentApplicationVersionId":<Version of the application to add the log to>}
如果应用程序是 RUNNING 在增强快照模式下,以及 SnapshotsEnabled 是 true,Apache Flink 的托管服务会创建系统快照。在这种情况下,来电者 AddApplicationCloudWatchLoggingOption 需求 kinesisanalytics:CreateSystemSnapshot 在应用程序 ARN 上。如果应用程序从增强型快照重新启动,则调用方还需要 kinesisanalytics:RestoreFromSnapshot 在那张快照上。有关更多信息,请参阅 IAM 权限。
更新现有的 CloudWatch 日志选项
以下示例演示了如何使用 UpdateApplication 修改现有内容的操作 CloudWatch 日志选项。在示例中,替换每个 user input placeholder 用你自己的信息。有关该操作的更多信息,请参阅 UpdateApplication。
{ "ApplicationName": "<Name of the application to update the log option for>", "CloudWatchLoggingOptionUpdates": [ { "CloudWatchLoggingOptionId": "<ID of the logging option to modify>", "LogStreamARNUpdate": "<ARN of the new log stream to use>" } ], "CurrentApplicationVersionId":<ID of the application version to modify>}
删除 CloudWatch 来自应用程序的日志选项
以下示例演示了如何使用 DeleteApplicationCloudWatchLoggingOption 删除现有内容的操作 CloudWatch 日志选项。在示例中,替换每个 user input
placeholder 用你自己的信息。有关该操作的更多信息,请参阅 DeleteApplicationCloudWatchLoggingOption。
{ "ApplicationName": "<Name of application to delete log option from>", "CloudWatchLoggingOptionId": "<ID of the application log option to delete>", "CurrentApplicationVersionId":<Version of the application to delete the log option from>}
如果应用程序是 RUNNING 在增强快照模式下,以及 SnapshotsEnabled 是 true,Apache Flink 的托管服务会创建系统快照。在这种情况下,来电者 DeleteApplicationCloudWatchLoggingOption 需求 kinesisanalytics:CreateSystemSnapshot 在应用程序 ARN 上。如果应用程序从增强型快照重新启动,则调用方还需要 kinesisanalytics:RestoreFromSnapshot 在那张快照上。有关更多信息,请参阅 IAM 权限。
设置应用程序日志记录级别
要设置应用程序日志记录级别,请使用 CreateApplication 操作的 MonitoringConfiguration 参数或 UpdateApplication 操作的 MonitoringConfigurationUpdate 参数。
有关应用程序日志级别的信息,请参阅控制应用程序监控级别。
在创建应用程序时设置应用程序日志记录级别
CreateApplication 操作的以下示例请求将应用程序日志级别设置为 INFO。
{ "ApplicationName": "MyApplication", "ApplicationDescription": "My Application Description", "ApplicationConfiguration": { "ApplicationCodeConfiguration":{ "CodeContent":{ "S3ContentLocation":{ "BucketARN":"arn:aws:s3:::amzn-s3-demo-bucket", "FileKey":"myflink.jar", "ObjectVersion":"AbCdEfGhIjKlMnOpQrStUvWxYz12345" } }, "CodeContentType":"ZIPFILE" }, "FlinkApplicationConfiguration": "MonitoringConfiguration": { "ConfigurationType": "CUSTOM", "LogLevel": "INFO" } }, "RuntimeEnvironment": "FLINK-1_15", "ServiceExecutionRole": "arn:aws:iam::123456789123:role/myrole" }
更新应用程序日志记录级别
UpdateApplication 操作的以下示例请求将应用程序日志级别设置为 INFO。
{ "ApplicationConfigurationUpdate": { "FlinkApplicationConfigurationUpdate": { "MonitoringConfigurationUpdate": { "ConfigurationTypeUpdate": "CUSTOM", "LogLevelUpdate": "INFO" } } } }
添加写入权限 CloudWatch 日志流
Apache Flink 托管服务需要权限才能将配置错误写入 CloudWatch。您可以将这些权限添加到 Amazon Identity and Access Management Apache Flink 托管服务承担的 (IAM) 角色。
有关使用Managed Service for Apache Flink的 IAM 角色的更多信息,请参阅Amazon Managed Service for Apache Flink 的身份和访问管理。
信任策略
要授权Managed Service for Apache Flink担任 IAM 角色,您可以将以下信任策略附加到服务执行角色。
权限策略
向应用程序授予写入日志事件的权限 CloudWatch 在 Apache Flink 的托管服务资源中,您可以使用以下 IAM 权限策略。为日志组和流提供正确的 Amazon 资源名称 (ARN)。
控制应用程序监控级别
您可以使用应用程序的监控指标级别和监控日志级别,以控制生成应用程序日志消息的过程。
应用程序的监控指标级别控制日志消息的粒度。监控指标级别定义如下:
-
应用程序:指标范围是整个应用程序。
-
任务:指标范围是每个任务。有关任务的信息,请参阅实施 Managed Service for Apache Flink 中的应用程序扩展。
-
操作符:指标范围是每个操作符。有关操作符的信息,请参阅在 Apache Flink 托管服务中使用运算符转换数据 DataStream API。
-
并行度:指标范围是应用程序并行度。您只能使用设置此指标级别 MonitoringConfigurationUpdate 的参数 UpdateApplication API。您无法使用控制台设置此指标级别。有关并行度的信息,请参阅实施 Managed Service for Apache Flink 中的应用程序扩展。
应用程序的监控日志级别控制应用程序日志的详细程度。监控日志级别定义如下:
-
错误:应用程序的潜在灾难性事件。
-
警告:应用程序的可能有害情况。
-
信息:应用程序的信息性和暂时性故障事件。我们建议您使用该日志记录级别。
-
调试: Fine-grained 对调试应用程序最有用的信息事件。注意:仅将该级别用于临时调试目的。
应用日志记录最佳实践
我们建议您的应用程序使用信息日志记录级别。我们建议您使用该级别,以确保您看到 Apache Flink 错误,这些错误是在信息级别而不是错误级别记录的。
我们建议您仅在调查应用程序问题时临时使用调试级别。在解决问题后,请切换回信息级别。使用调试日志记录级别将严重影响应用程序的性能。
过多的日志记录也可能会严重影响应用程序性能。例如,我们建议您不要为每个处理的记录写入一个日志条目。过多的日志记录可能会导致严重的数据处理瓶颈,并且可能会导致从源中读取数据时出现反向压力。
执行日志记录故障排除
如果没有将应用程序日志写入到日志流,请验证以下内容:
-
验证应用程序的 IAM 角色和策略是否正确。应用程序的策略需要具有以下权限以访问日志流:
logs:PutLogEventslogs:DescribeLogGroupslogs:DescribeLogStreams
有关更多信息,请参阅 添加写入权限 CloudWatch 日志流。
-
验证应用程序是否正在运行。要检查应用程序的状态,请在控制台中查看应用程序的页面,或使用 DescribeApplication 要么 ListApplications 行动。
-
监视器 CloudWatch 指标,例如
downtime诊断其他应用程序问题。有关阅读的信息 CloudWatch 指标,请参阅 Managed Service for Apache Flink 中的指标和维度。
使用 CloudWatch 日志见解
启用后 CloudWatch 登录您的应用程序,你可以使用 CloudWatch 记录见解以分析您的应用程序日志。有关更多信息,请参阅 使用 “日志见解” 分析 CloudWatch 日志。