View a markdown version of this page

第 4 步:验证和故障排除 - Amazon Batch
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

第 4 步:验证和故障排除

在您提交触发实例扩展的任务后,验证日志文件是否显示在 Amazon S3 存储桶中。

提示

要在全面部署之前测试日志收集,请在计算环境中设置minvCpus为非零值。这 Amazon Batch 会强制在不等待任务提交的情况下扩大至少一个实例。测试minvCpus后设置为零,以避免不必要的成本。

Amazon Console
  1. 打开 Amazon S3 控制台,网址为 https://console.aws.amazon.com/s3/

  2. 打开您的存储桶并导航到前ecs-logs/缀。

  3. 确认出现以实例 ID 命名的文件夹。每个文件夹都包含每个日志源的子目录。

Amazon CLI

运行以下命令列出上传的日志对象:

aws s3 ls s3://host-level-logs-bucket/ecs-logs/ --recursive

如果该命令返回按实例 ID、日期和源标签组织的对象,则日志收集工作正常。

如果未显示日志,请使用 SSH 或 SSM 会话管理器连接到实例来调试Fluent Bit代理。使用检查服务状态systemctl status fluent-bit。查看/var/log/cloud-init-output.log以确认user-data脚本成功运行。

竞价型和短期实例的注意事项

当您使用频繁扩展到零的竞价型实例或短期计算环境时,请考虑进行以下调整以避免日志数据丢失:

  • 现货回收风险 -降低upload_timeouttotal_file_size值,fluent-bit.conf以更频繁地刷新日志数据。这缩短了回收实例时可能丢失的数据窗口。

  • Short-lived 实例 -当任务之间 Amazon Batch 扩展到零时,缩短Flush间隔,upload_timeout这样收集的数据就会在实例终止之前上传。

  • Amazon S3 生命周期规则 — 我们建议配置 Amazon S3 生命周期规则以使旧的日志对象过期或过渡到成本较低的存储类别。这可以防止无限的存储增长。