Fargate 日志记录

将日志发送到您选择的目标

将 ConfigMap 应用于具有 Amazon EKS 数据值的 Fluent Conf 集群，该数据值定义容器日志将发送到何处。Fluent Conf 是一种快速轻量级日志处理器配置语言，用于将容器日志路由到所选的日志目标。有关更多信息，请参阅 Fluent Bit 文档中的配置文件。

在以下步骤中，将 <example values> 替换为您自己的值。

1. 创建 Kubernetes 命名空间。

   1. 将以下内容保存到计算机上名为 aws-observability-namespace.yaml 的文件中。名称必须为 aws-observability。

      kind: Namespace
      apiVersion: v1
      metadata:
        name: aws-observability
        labels:
          aws-observability: enabled

   2. 创建命名空间。

      kubectl apply -f aws-observability-namespace.yaml

2. 配置 Kubernetes 以将 Fargate 日志发送到以下目标之一。必须在 ConfigMap 命名空间中创建您创建的 aws-observability。

   1. （可选）将日志发送到 CloudWatch。在使用 CloudWatch 时，您有两个输出选项：

      • cloudwatch_logs 以 C 编写的输出插件。–

      • cloudwatch 使用 Golang 编写的一个输出插件。–

      以下示例说明如何使用 cloudwatch_logs 插件将日志发送到 CloudWatch。

      1. 将以下内容保存到名为 aws-logging-cloudwatch-configmap.yaml 的文件中。

         kind: ConfigMap
         apiVersion: v1
         metadata:
           name: aws-logging
           namespace: aws-observability
           labels:
         data:
           output.conf: |
             [OUTPUT]
                 Name cloudwatch_logs
                 Match   *
                 region <us-east-1>
                 log_group_name fluent-bit-cloudwatch
                 log_stream_prefix from-fluent-bit-
                 auto_create_group On

      2. 将清单应用于您的集群。

         kubectl apply -f aws-logging-cloudwatch-configmap.yaml

      3. 将 CloudWatch IAM 策略下载到您的计算机。您还可以在 GitHub 上查看策略。

         curl -o permissions.json https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/cloudwatchlogs/permissions.json

   2. （可选）将日志发送到 Amazon Elasticsearch Service。您可以使用 es 输出，这是用 C 编写的插件。以下示例向您演示如何使用该插件将日志发送到 Elasticsearch。

      1. 将以下内容保存到名为 aws-logging-elasticsearch-configmap.yaml 的文件中。

         kind: ConfigMap
         apiVersion: v1
         metadata:
           name: aws-logging
           namespace: aws-observability
           labels:
         data:
           output.conf: |
             [OUTPUT]
               Name  es
               Match *
               Host  192.168.2.3
               Port  9200
               Index my_index
               Type  my_type
               AWS_Auth On
               AWS_Region <us-east-1>

      2. 将清单应用于您的集群。

         kubectl apply -f aws-logging-elasticsearch-configmap.yaml

      3. 将 Elasticsearch IAM 策略下载到您的计算机。您还可以在 GitHub 上查看策略。

         curl -o permissions.json https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/amazon-elasticsearch/permissions.json

   3. （可选）将日志发送到 Kinesis Data Firehose。在使用 Kinesis Data Firehose 时，您有两个输出选项：

      • kinesis_firehose 以 C 编写的输出插件。–

      • firehose 使用 Golang 编写的输出插件。–

      以下示例说明如何使用 kinesis_firehose 插件将日志发送到 Kinesis Data Firehose。

      1. 将以下内容保存到名为 aws-logging-firehose-configmap.yaml 的文件中。

         kind: ConfigMap
         apiVersion: v1
         metadata:
           name: aws-logging
           namespace: aws-observability
           labels:
         data:
           output.conf: |
             [OUTPUT]
              Name  kinesis_firehose
              Match *
              region <us-east-1>
              delivery_stream my-stream-firehose

      2. 将清单应用于您的集群。

         kubectl apply -f aws-logging-firehose-configmap.yaml

      3. 将 Kinesis Data Firehose IAM 策略下载到您的计算机。您还可以在 GitHub 上查看策略。

         curl -o permissions.json https://raw.githubusercontent.com/aws-samples/amazon-eks-fluent-logging-examples/mainline/examples/fargate/kinesis-firehose/permissions.json

3. 创建 IAM 策略。

   aws iam create-policy --policy-name <eks-fargate-logging-policy> --policy-document file://permissions.json

4. 将 IAM 策略附加到为您的 Fargate 配置文件指定的 Pod 执行角色。将 <111122223333> 替换为您的账户 ID。

   aws iam attach-role-policy \
     --policy-arn arn:aws:iam::<111122223333>:policy/<eks-fargate-logging-policy> \
     --role-name <your-pod-execution-role>

5. 部署示例 pod。

   1. 将以下内容保存到计算机上的 yaml 文件中。

      apiVersion: apps/v1
      kind: Deployment
      metadata:
        name: sample-app
        namespace: <same-namespace-as-your-fargate-profile>
      spec:
        replicas: 3
        selector:
          matchLabels:
            app: nginx
        template:
          metadata:
            labels:
              app: nginx
          spec:
            containers:
              - name: nginx
                image: nginx:latest
                ports:
                  - name: http
                    containerPort: 80

   2. 将清单应用于集群。

      kubectl apply -f <name-of-file-from-previous-step>.yaml

6. 使用将日志发送到的工具查看日志。