本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
第 4 步:验证和故障排除
在您提交触发实例扩展的任务后,验证日志文件是否显示在 Amazon S3 存储桶中。
提示
要在全面部署之前测试日志收集,请在计算环境中设置minvCpus为非零值。这 Amazon Batch 会强制在不等待任务提交的情况下扩大至少一个实例。测试minvCpus后设置为零,以避免不必要的成本。
如果未显示日志,请使用 SSH 或 SSM 会话管理器连接到实例来调试Fluent Bit代理。使用检查服务状态systemctl status fluent-bit。查看/var/log/cloud-init-output.log以确认user-data脚本成功运行。
竞价型和短期实例的注意事项
当您使用频繁扩展到零的竞价型实例或短期计算环境时,请考虑进行以下调整以避免日志数据丢失:
现货回收风险 -降低
upload_timeout和total_file_size值,fluent-bit.conf以更频繁地刷新日志数据。这缩短了回收实例时可能丢失的数据窗口。Short-lived 实例 -当任务之间 Amazon Batch 扩展到零时,缩短
Flush间隔,upload_timeout这样收集的数据就会在实例终止之前上传。Amazon S3 生命周期规则 — 我们建议配置 Amazon S3 生命周期规则以使旧的日志对象过期或过渡到成本较低的存储类别。这可以防止无限的存储增长。