在亚马逊 ECS Amazon 上的 Amazon Linux 2 上使用 Neuron

您可以将 Amazon EC2 Trn1、Amazon EC2 Inf1 和 Amazon EC2 Inf2 实例注册到您的集群，以执行机器学习工作负载。

Amazon EC2 Trn1 实例由 Amazon Trainium 芯片提供技术支持。这些实例在云中为机器学习提供高性能的低成本训练。您可以在 Trn1 实例上使用具有 Amazon Neuron 的机器学习框架训练机器学习推理模型。然后，您可以在 Inf1 实例或 Inf2 实例上运行模型以使用 Inferentia 芯片的 Amazon 加速。

Amazon EC2 Inf1 实例和 Inf2 实例由 Amazon Inferentia 芯片提供支持，，它们可在云中提供高性能和最低成本的推理。

机器学习模型使用 Amazon Neuron 部署到容器中，它是专门的软件开发工具包（SDK）。SDK 由编译器、运行时和分析工具组成，用于优化机器学习芯片的 Amazon 机器学习性能。 Amazon Neuron 支持流行的机器学习框架 TensorFlow，例如 PyTorch、和 Apache MXNet。

注意事项

在 Amazon ECS 上开始部署 Neuron 之前，请注意以下事项：

使用经 Amazon ECS 优化的 Amazon Linux 2（Neuron）AMI

Amazon ECS 提供了经亚马逊 ECS 优化的 AMI，该AMI基于亚马逊 Linux 2，用于 Amazon Trainium 和 Amazon Inferentia 工作负载。它附带了 Docker 的 Amazon Neuron 驱动程序和 Runtime。此 AMI 使得在 Amazon ECS 上运行机器学习 inference 工作负载变得更加轻松。

建议您在启动 Amazon EC2 Trn1、Inf1 和 Inf2 实例时使用经 Amazon ECS 优化的 Amazon Linux 2（Neuron）AMI。

您可以使用以下命令检索当前经过亚马逊 ECS 优化的 Amazon Linux 2（Neuro Amazon CLI n）AMI。

aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2/inf/recommended

以下区域支持亚马逊 ECS 优化的 Amazon Linux 2 (Neuron) AMI：

任务定义要求

要在 Amazon ECS 上部署 Neuron，您的任务定义必须包含为其提供推理模型的预构建容器的容器定义。 TensorFlow它由 Dee Amazon p Learning Containers 提供。此容器包含 Amazon Neuron 运行时和 Servin TensorFlow g 应用程序。启动时，此容器会从 Amazon S3 获取您的模型，使用保存的模型启动 Neuron TensorFlow Servicing，然后等待预测请求。在以下示例中，容器镜像有 TensorFlow 1.15 和 Ubuntu 18.04。中保留了针对神经元优化的预建的 Deep Learning Containers 的完整列表。 GitHub有关更多信息，请参阅使用 Amazon 神经元 TensorFlow 服务。

763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference-neuron:1.15.4-neuron-py37-ubuntu18.04

或者，您也可以构建自己的 Neuron 边车容器映像。有关更多信息，请参阅《Amazon Deep Learning AMI 开发者指南》中的教程：神经元 TensorFlow 服务。

任务定义必须特定于一种实例类型。您必须将容器配置为使用主机容器实例上可用的特定 Amazon Train Amazon ium 或 Inferentia 设备。您还可以使用 linuxParameters 参数执行此操作。下表详细介绍了特定于每种实例类型的芯片。

以下是 inf1.xlarge 的示例 Linux 任务定义，显示要使用的语法。

{
    "family": "ecs-neuron",
    "requiresCompatibilities": ["EC2"],
    "placementConstraints": [
        {
            "type": "memberOf",
            "expression": "attribute:ecs.os-type == linux"
        },
        {
            "type": "memberOf",
            "expression": "attribute:ecs.instance-type == inf1.xlarge"
        }
    ],
    "executionRoleArn": "${YOUR_EXECUTION_ROLE}",
    "containerDefinitions": [
        {
            "entryPoint": [
                "/usr/local/bin/entrypoint.sh",
                "--port=8500",
                "--rest_api_port=9000",
                "--model_name=resnet50_neuron",
                "--model_base_path=s3://your-bucket-of-models/resnet50_neuron/"
            ],
            "portMappings": [
                {
                    "hostPort": 8500,
                    "protocol": "tcp",
                    "containerPort": 8500
                },
                {
                    "hostPort": 8501,
                    "protocol": "tcp",
                    "containerPort": 8501
                },
                {
                    "hostPort": 0,
                    "protocol": "tcp",
                    "containerPort": 80
                }
            ],
            "linuxParameters": {
                "devices": [
                    {
                        "containerPath": "/dev/neuron0",
                        "hostPath": "/dev/neuron0",
                        "permissions": [
                            "read",
                            "write"
                        ]
                    }
                ],
                "capabilities": {
                    "add": [
                        "IPC_LOCK"
                    ]
                }
            },
            "cpu": 0,
            "memoryReservation": 1000,
            "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference-neuron:1.15.4-neuron-py37-ubuntu18.04",
            "essential": true,
            "name": "resnet50"
        }
    ]
}