Fargate 日志记录

配置日志路由器

在以下步骤中，将每个 example value 替换为您自己的值。

1. 创建名为 aws-observability 的专用 Kubernetes 命名空间。

   1. 将以下内容保存到计算机上名为 aws-observability-namespace.yaml 的文件中。name 的值必须为 aws-observability，并且 aws-observability: enabled 标注是必需的。

      kind: Namespace
      apiVersion: v1
      metadata:
        name: aws-observability
        labels:
          aws-observability: enabled

   2. 创建命名空间。

      kubectl apply -f aws-observability-namespace.yaml

2. 创建带有 Fluent Conf 数据值的 ConfigMap，以将容器日志发送到某个目标。Fluent Conf 为 Fluent Bit，是一种快速轻量级日志处理器配置语言，用于将容器日志路由到您选择的日志目标。有关更多信息，请参阅 Fluent Bit 文档中的配置文件。

   重要

   典型 Fluent Conf 中包含的主要部分为 Service、Input、Filter 和 Output。但是，Fargate 日志路由器仅接受：

   • Filter 和 Output 部分。

   • Parser 部分。

   如果您提供任何其他部分，将被拒绝。

   Fargate 日志路由器管理 Service 和 Input 部分。它包含以下 Input 部分，无法修改，并且您的 ConfigMap 也不需要该部分。但是，您可以从中获取见解，例如内存缓冲区限制和应用于日志的标签。

   [INPUT]
       Name tail
       Tag kube.
       Buffer_Chunk_Size 64k
       Buffer_Max_Size 64k
       DB /var/log/flb_kube.db
       Mem_Buf_Limit 10MB
       multiline.parser cri
       Read_From_Head On
       Path /var/log/containers/.log
       Refresh_Interval 10
       Rotate_Wait 30

   在创建 ConfigMap 时，请考虑 Fargate 用于验证字段的以下规则：

   • [FILTER]、[OUTPUT] 和 [PARSER] 应该在每个相应的键下指定。例如，[FILTER] 必须在 filters.conf 下。在 filters.conf 下可以有一个或多个 [FILTER]。[OUTPUT] 和 [PARSER] 部分也应在其相应的键下。通过指定多个 [OUTPUT] 部分，您可以同时将日志路由到不同的目标。

   • Fargate 会验证每个部分所需的键。Name 和 match 是每个 [FILTER] 和 [OUTPUT] 所必需的。Name 和 format 是每个 [PARSER] 所必需的。键不区分大小写。

   • 在 ConfigMap 中不允许使用环境变量（例如 ${ENV_VAR}）。

   • 对于每个 filters.conf、output.conf 和 parsers.conf 中的指令或键值对，缩进必须是相同的。键值对的缩进必须多于指令。

   • Fargate 根据以下受支持的筛选条件进行验证：grep、parser、record_modifier、rewrite_tag、throttle、nest、modify 和 kubernetes。

   • Fargate 根据以下受支持的输出进行验证：es、firehose、kinesis_firehose、cloudwatch、cloudwatch_logs 和 kinesis。

   • ConfigMap 中必须至少提供一个受支持的 Output 插件才能启用日志记录。不需要 Filter 和 Parser 即可启用日志记录。

   您还可以使用所需的配置在 Amazon EC2 上运行 Fluent Bit，以对验证过程中出现的任何问题进行故障排除。使用以下示例之一创建您的 ConfigMap。

   重要

   Amazon EKS Fargate 日志记录不支持 ConfigMaps 的动态配置。对 ConfigMaps 所做的任何更改均仅应用于新 Pod。不会将更改应用于现有 Pod。

   使用所需日志目标的示例创建 ConfigMap。

   CloudWatch

   为 CloudWatch 创建 ConfigMap

   使用 CloudWatch 视时，您有两个输出选项：

   • 用 C 语言编写的输出插件

   • 用 Golang 编写的输出插件

   以下示例为您展示了如何使用 cloudwatch_logs 插件将日志发送到 CloudWatch。

   1. 将以下内容保存到名为 aws-logging-cloudwatch-configmap.yaml 的文件中。将 region-code 替换为集群所在的 Amazon Web Services 区域。[OUTPUT] 下的参数是必需的。

      kind: ConfigMap
      apiVersion: v1
      metadata:
        name: aws-logging
        namespace: aws-observability
      data:
        flb_log_cw: "false"  # Set to true to ship Fluent Bit process logs to CloudWatch.
        filters.conf: |
          [FILTER]
              Name parser
              Match *
              Key_name log
              Parser crio
          [FILTER]
              Name kubernetes
              Match kube.*
              Merge_Log On
              Keep_Log Off
              Buffer_Size 0
              Kube_Meta_Cache_TTL 300s
        output.conf: |
          [OUTPUT]
              Name cloudwatch_logs
              Match   kube.*
              region region-code
              log_group_name my-logs
              log_stream_prefix from-fluent-bit-
              log_retention_days 60
              auto_create_group true
        parsers.conf: |
          [PARSER]
              Name crio
              Format Regex
              Regex ^(?<time>[^ ]+) (?<stream>stdout|stderr) (?<logtag>P|F) (?<log>.*)$
              Time_Key    time
              Time_Format %Y-%m-%dT%H:%M:%S.%L%z

   2. 将清单应用于集群。

      kubectl apply -f aws-logging-cloudwatch-configmap.yaml

   3. 将 CloudWatch IAM policy 下载到您的计算机。您还可以在 GitHub 上查看策略。

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/cloudwatchlogs/permissions.json

   Amazon OpenSearch Service

   要创建 ConfigMap for Amazon OpenSearch Service

   如果您希望将日志发送到 Amazon OpenSearch Service，您可以使用 es 输出，这是以 C 语言编写的一种插件。以下示例为您展示了如何使用该插件将日志发送到 OpenSearch。

   1. 将以下内容保存到名为 aws-logging-opensearch-configmap.yaml 的文件中。请将每个 example value 替换为您自己的值。

      kind: ConfigMap
      apiVersion: v1
      metadata:
        name: aws-logging
        namespace: aws-observability
      data:
        output.conf: |
          [OUTPUT]
            Name  es
            Match *
            Host  search-example-gjxdcilagiprbglqn42jsty66y.region-code.es.amazonaws.com
            Port  443
            Index example
            Type  example_type
            AWS_Auth On
            AWS_Region region-code
            tls   On

   2. 将清单应用于集群。

      kubectl apply -f aws-logging-opensearch-configmap.yaml

   3. 将 OpenSearch IAM policy 下载到您的计算机。您还可以在 GitHub 上查看策略。

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/amazon-elasticsearch/permissions.json

      确保 OpenSearch 控制面板的访问控制配置正确。OpenSearch 控制面板中的 all_access role 需要映射 Fargate Pod 执行角色和 IAM 角色。必须为 security_manager 角色执行同样的映射。您可以添加以前的映射，方法为：选择 Menu，然后依次选择 Security 和 Roles，再选择相应的角色。有关更多信息，请参阅如何对 CloudWatch Logs 进行故障排除，以便将其流式传输到我的 Amazon ES 域？

   Kinesis Data Firehose

   为 Kinesis Data Firehose 创建 ConfigMap

   将日志发送到 Kinesis Data Firehose 时，您有两个输出选项：

   • kinesis_firehose – 用 C 语言编写的输出插件。

   • firehose – 用 Golang 编写的输出插件。

   以下示例为您展示了如何使用 kinesis_firehose 插件将日志发送到 Kinesis Data Firehose。

   1. 将以下内容保存到名为 aws-logging-firehose-configmap.yaml 的文件中。将 region-code 替换为集群所在的 Amazon Web Services 区域。

      kind: ConfigMap
      apiVersion: v1
      metadata:
        name: aws-logging
        namespace: aws-observability
      data:
        output.conf: |
          [OUTPUT]
           Name  kinesis_firehose
           Match *
           region region-code
           delivery_stream my-stream-firehose

   2. 将清单应用于集群。

      kubectl apply -f aws-logging-firehose-configmap.yaml

   3. 将 Kinesis Data Firehose IAM policy 下载到您的计算机。您还可以在 GitHub 上查看策略。

      curl -O https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/kinesis-firehose/permissions.json

3. 使用上一步中下载的策略文件创建 IAM policy。

   aws iam create-policy --policy-name eks-fargate-logging-policy --policy-document file://permissions.json

4. 使用以下命令将 IAM policy 附加到为 Fargate 配置文件指定的容器组（pod）执行角色。请将 111122223333 替换为您的账户 ID。将 AmazonEKSFargatePodExecutionRole 替换为您的容器组（pod）执行角色（有关更多信息，请参阅 创建 Fargate pod 执行角色）。

   aws iam attach-role-policy \
     --policy-arn arn:aws:iam::111122223333:policy/eks-fargate-logging-policy \
     --role-name AmazonEKSFargatePodExecutionRole

1. 在启用 Fargate 日志记录后，找到为 Amazon EKS 集群的 Fluent Bit 进程日志自动创建的 CloudWatch 日志组。它遵循格式 {cluster_name}-fluent-bit-logs。

2. 删除 CloudWatch 日志组中为每个容器组（pod）的进程日志创建的现有 CloudWatch 日志流。

3. 编辑 ConfigMap 并设置 flb_log_cw: "false"。

4. 重启集群中的任何现有容器组（pod）。

1. 部署示例 Pod。

   1. 将以下内容保存到计算机上名为 sample-app.yaml 的文件中。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: sample-app
        namespace: same-namespace-as-your-fargate-profile
      spec:
        replicas: 3
        selector:
          matchLabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            containers:
              - name: nginx
                image: nginx:latest
                ports:
                  - name: http
                    containerPort: 80

   2. 将清单应用于集群。

      kubectl apply -f sample-app.yaml

2. 使用您在 ConfigMap 中配置的目标查看 NGINX 日志。