深度学习 AMI
开发人员指南
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

GPU 推理

本部分介绍如何使用 MXNet 和 TensorFlow 在 EKS GPU 集群的 AWS Deep Learning Containers上运行推理。

有关 AWS Deep Learning Containers的完整列表,请参阅Deep Learning Containers映像

注意

MKL 用户:读取 AWS Deep Learning Containers MKL 建议以获得最佳训练或推理性能。

目录

MXNet

在此方法中,创建一个 Kubernetes 服务和部署。服务在其其他功能中公开了一个流程及其端口和部署,负责确保特定数量的 pod(在以下情况下,至少 1 个)始终启动并运行。

  1. 对于基于 GPU 的推理,安装适用于 Kubernetes 的 NVIDIA 设备插件:

    $ kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v1.11/nvidia-device-plugin.yml
  2. 验证 nvidia-device-plugin-daemonset 是否正在正确运行。

    $ kubectl get daemonset -n kube-system

    该输出值将类似于以下内容:

    NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE aws-node 3 3 3 3 3 <none> 6d kube-proxy 3 3 3 3 3 <none> 6d nvidia-device-plugin-daemonset 3 3 3 3 3 <none> 57s
  3. 创建命名空间。您可能需要更改 kubeconfig 以指向正确的集群。验证您已设置“training-gpu-1”或将其更改为您的 GPU 集群的配置。

    $ NAMESPACE=mx-inference; kubectl —kubeconfig=/home/ubuntu/.kube/eksctl/clusters/training-gpu-1 create namespace ${NAMESPACE}
  4. (使用公共模型时的可选步骤。) 在可装载的网络位置(如 S3)处设置您的模型。请参阅这些步骤以将训练后的模型上传到“利用 TensorFlow 进行推理”部分中提及的 S3。不要忘记将密钥应用于您的命名空间:

    $ kubectl -n ${NAMESPACE} apply -f secret.yaml
  5. 创建文件 mx_inference.yaml。使用下一个代码块的内容作为其内容。

    --- kind: Service apiVersion: v1 metadata: name: squeezenet-service labels: app: squeezenet-service spec: ports: - port: 8080 targetPort: mms selector: app: squeezenet-service --- kind: Deployment apiVersion: apps/v1 metadata: name: squeezenet-service labels: app: squeezenet-service spec: replicas: 1 selector: matchLabels: app: squeezenet-service template: metadata: labels: app: squeezenet-service spec: containers: - name: squeezenet-service image: 763104351884.dkr.ecr.us-east-1.amazonaws.com/mxnet-inference:1.4.0-gpu-py36-cu90-ubuntu16.04 args: - mxnet-model-server - --start - --mms-config /home/model-server/config.properties - --models squeezenet=763104351884.dkr.ecr.us-east-1.amazonaws.com/mxnet-inference:1.4.0-cpu-py36-ubuntu16.04 ports: - name: mms containerPort: 8080 - name: mms-management containerPort: 8081 imagePullPolicy: IfNotPresent resources: limits: cpu: 4 memory: 4Gi nvidia.com/gpu: 1 requests: cpu: "1" memory: 1Gi
  6. 将配置应用于之前定义的命名空间中的新 pod:

    $ kubectl -n ${NAMESPACE} apply -f mx_inference.yaml

    您的输出应类似于以下内容:

    service/squeezenet-service created deployment.apps/squeezenet-service created
  7. 检查 pod 的状态并等待 pod 处于“RUNNING (正在运行)”状态:

    $ kubectl get pods -n ${NAMESPACE}
  8. 重复检查状态步骤,直到您看到以下“RUNNING (正在运行)”状态:

    NAME READY STATUS RESTARTS AGE squeezenet-service-xvw1 1/1 Running 0 3m
  9. 要进一步描述 pod,您可以运行:

    $ kubectl describe pod <pod_name> -n ${NAMESPACE}
  10. 由于此处的 serviceType 为 ClusterIP,您可以将端口从您的容器转发至您的主机,(& 将在后台中运行此项):

    $ kubectl port-forward -n ${NAMESPACE} `kubectl get pods -n ${NAMESPACE} --selector=app=squeezenet-service -o jsonpath='{.items[0].metadata.name}'` 8080:8080 &
  11. 下载小猫的图像:

    $ curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
  12. 在该模型上运行推理:

    $ curl -X POST http://127.0.0.1:8080/predictions/squeezenet -T kitten.jpg

TensorFlow

在此方法中,创建一个 Kubernetes 服务和部署。服务在其其他功能中公开了一个流程及其端口和部署,负责确保特定数量的 pod(在以下情况下,至少 1 个)始终启动并运行。

  1. 对于基于 GPU 的推理,安装适用于 Kubernetes 的 NVIDIA 设备插件:

    $ kubectl apply -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/v1.11/nvidia-device-plugin.yml
  2. 验证 nvidia-device-plugin-daemonset 是否正在正确运行。

    $ kubectl get daemonset -n kube-system

    该输出值将类似于以下内容:

    NAME DESIRED CURRENT READY UP-TO-DATE AVAILABLE NODE SELECTOR AGE aws-node 3 3 3 3 3 <none> 6d kube-proxy 3 3 3 3 3 <none> 6d nvidia-device-plugin-daemonset 3 3 3 3 3 <none> 57s
  3. 创建命名空间。您可能需要更改 kubeconfig 以指向正确的集群。验证您已设置“training-gpu-1”或将其更改为您的 GPU 集群的配置:

    $ NAMESPACE=mx-inference; kubectl —kubeconfig=/home/ubuntu/.kube/eksctl/clusters/training-gpu-1 create namespace ${NAMESPACE}
  4. 用于推理的模型可通过不同的方式进行检索,例如,使用共享卷、S3 等。由于该服务需要访问 S3 和 ECR,您必须将您的 AWS 凭证存储为 Kubernetes 密钥。此项将设置为您之前安装的 tf-serving 程序包的参数。在本示例中,您将使用 S3 来存储和提取训练后的模型。

    检查您的 AWS 凭证。这些凭证必须具有 S3 写入访问权限。

    $ cat ~/.aws/credentials
  5. 输出将类似于以下内容:

    $ [default] aws_access_key_id = FAKEAWSACCESSKEYID aws_secret_access_key = FAKEAWSSECRETACCESSKEY
  6. 使用 base64 对这些凭证进行编码。首先编码访问密钥。

    $ echo -n 'FAKEAWSACCESSKEYID' | base64

    接下来编码秘密访问密钥。

    $ echo -n 'FAKEAWSSECRETACCESSKEYID' | base64

    您的输出应类似于以下内容:

    $ echo -n 'FAKEAWSACCESSKEYID' | base64 RkFLRUFXU0FDQ0VTU0tFWUlE $ echo -n 'FAKEAWSSECRETACCESSKEY' | base64 RkFLRUFXU1NFQ1JFVEFDQ0VTU0tFWQ==
  7. 创建 yaml 文件来存储密钥。在您的主目录中将该密钥另存为 secret.yaml。

    apiVersion: v1 kind: Secret metadata: name: aws-s3-secret type: Opaque data: AWS_ACCESS_KEY_ID: RkFLRUFXU0FDQ0VTU0tFWUlE AWS_SECRET_ACCESS_KEY: RkFLRUFXU1NFQ1JFVEFDQ0VTU0tFWQ==
  8. 将密钥应用于您的命名空间:

    $ kubectl -n ${NAMESPACE} apply -f secret.yaml
  9. 在本示例中,您将克隆 tensorflow-serving 存储库并将预训练模型同步到 S3 存储桶。以下示例命名存储桶 tensorflow-serving-models。它还将已保存的模型同步到名 saved_model_half_plus_two_gpu 的 S3 存储桶。

    $ git clone https://github.com/tensorflow/serving/ $ cd serving/tensorflow_serving/servables/tensorflow/testdata/
  10. 同步 CPU 模型。

    $ aws s3 sync saved_model_half_plus_two_gpu s3://<your_s3_bucket>/saved_model_half_plus_two_gpu
  11. 创建文件 tf_inference.yaml。使用下一个代码块的内容作为其内容,并将 --model_base_path 更新为使用您的 S3 存储桶。

    --- kind: Service apiVersion: v1 metadata: name: half-plus-two labels: app: half-plus-two spec: ports: - name: http-tf-serving port: 8500 targetPort: 8500 - name: grpc-tf-serving port: 9000 targetPort: 9000 selector: app: half-plus-two role: master type: ClusterIP --- kind: Deployment apiVersion: apps/v1 metadata: name: half-plus-two labels: app: half-plus-two role: master spec: replicas: 1 selector: matchLabels: app: half-plus-two role: master template: metadata: labels: app: half-plus-two role: master spec: containers: - name: half-plus-two image: 763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference:1.13-gpu-py36-cu100-ubuntu16.04 command: - /usr/bin/tensorflow_model_server args: - --port=9000 - --rest_api_port=8500 - --model_name=saved_model_half_plus_two_gpu - --model_base_path=s3://tensorflow-trained-models/saved_model_half_plus_two_gpu ports: - containerPort: 8500 - containerPort: 9000 imagePullPolicy: IfNotPresent env: - name: AWS_ACCESS_KEY_ID valueFrom: secretKeyRef: key: AWS_ACCESS_KEY_ID name: aws-s3-secret - name: AWS_SECRET_ACCESS_KEY valueFrom: secretKeyRef: key: AWS_SECRET_ACCESS_KEY name: aws-s3-secret - name: AWS_REGION value: us-east-1 - name: S3_USE_HTTPS value: "true" - name: S3_VERIFY_SSL value: "true" - name: S3_ENDPOINT value: s3.us-east-1.amazonaws.com resources: limits: cpu: 4 memory: 4Gi nvidia.com/gpu: 1 requests: cpu: "1" memory: 1Gi
  12. 将配置应用于之前定义的命名空间中的新 pod:

    $ kubectl -n ${NAMESPACE} apply -f tf_inference.yaml

    您的输出应类似于以下内容:

    service/half-plus-two created deployment.apps/half-plus-two created
  13. 检查 pod 的状态并等待 pod 处于“RUNNING (正在运行)”状态:

    $ kubectl get pods -n ${NAMESPACE}
  14. 重复检查状态步骤,直到您看到以下“RUNNING (正在运行)”状态:

    NAME READY STATUS RESTARTS AGE half-plus-two-vmwp9 1/1 Running 0 3m
  15. 要进一步描述 pod,您可以运行:

    $ kubectl describe pod <pod_name> -n ${NAMESPACE}
  16. 由于此处的 serviceType 为 ClusterIP,您可以将端口从您的容器转发至您的主机,(& 将在后台中运行此项):

    $ kubectl port-forward -n ${NAMESPACE} `kubectl get pods -n ${NAMESPACE} --selector=app=half-plus-two -o jsonpath='{.items[0].metadata.name}'` 8500:8500 &
  17. 将以下 json 字符串置于名为 half_plus_two_input.json 的文件中

    {"instances": [1.0, 2.0, 5.0]}
  18. 在该模型上运行推理:

    $ curl -d @half_plus_two_input.json -X POST http://localhost:8500/v1/models/saved_model_half_plus_two_cpu:predict

    预期的输出如下所示:

    { "predictions": [2.5, 3.0, 4.5 ] }

本页内容: