使用 Graviton GPU TensorFlow DLAMI - 深度学习 AMI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用 Graviton GPU TensorFlow DLAMI

这些区域有:Amazon Deep Learning AMI已准备好与基于 Arm 处理器的 Graviton GPU 一起使用,并且已针对以下方面进行了优化 TensorFlow. Graviton GPU TensorFlow DLAMI 包括一个预先配置的 Python 环境TensorFlow 供应用于深度学习推理用例。检查发布说明了解有关 Graviton GPU 的更多详细信息 TensorFlow DLAMI。

验证 TensorFlow 服务可用性

运行以下命令以验证的可用性和版本 TensorFlow 服务:

tensorflow_model_server --version

您的输出应类似于以下内容:

TensorFlow ModelServer: 0.0.0+dev.sha.3e05381e TensorFlow Library: 2.8.0

验证 TensorFlow 和 TensorFlow 提供 API 可用性

运行以下命令以验证的可用性 TensorFlow 还有 TensorFlow 提供服务 API:

python3 -c "import tensorflow, tensorflow_serving"

如果命令执行成功,则没有输出。

使用以下命令运行示例推理 TensorFlow 供应

使用以下命令下载经过预训练的 ResNet50 使用建模和运行推理 TensorFlow 服务:

# Clone the TensorFlow Serving repository git clone https://github.com/tensorflow/serving # Download pre-trained ResNet50 model mkdir -p ${HOME}/resnet/1 && cd ${HOME}/resnet/1 wget https://tfhub.dev/tensorflow/resnet_50/classification/1?tf-hub-format=compressed -O resnet_50_classification_1.tar.gz tar -xzvf resnet_50_classification_1.tar.gz && rm resnet_50_classification_1.tar.gz # Start TensorFlow Serving cd $HOME tensorflow_model_server \ --rest_api_port=8501 \ --model_name="resnet" \ --model_base_path="${HOME}/resnet" &

您的输出应类似于以下内容:

2021-11-10 06:18:51.028341: I tensorflow_serving/model_servers/server_core.cc:486] Finished adding/updating models 2021-11-10 06:18:51.028420: I tensorflow_serving/model_servers/server.cc:133] Using InsecureServerCredentials 2021-11-10 06:18:51.028460: I tensorflow_serving/model_servers/server.cc:383] Profiler service is enabled 2021-11-10 06:18:51.028889: I tensorflow_serving/model_servers/server.cc:409] Running gRPC ModelServer at 0.0.0.0:8500 ... [evhttp_server.cc : 245] NET_LOG: Entering the event loop ... 2021-11-10 06:18:51.030985: I tensorflow_serving/model_servers/server.cc:430] Exporting HTTP/REST API at:localhost:8501 ...

使用 TensorFlow 供应resnet_client 示例要运行推理:

python3 serving/tensorflow_serving/example/resnet_client.py

您的输出应类似于以下内容:

2021-11-10 06:18:59.335327: I external/org_tensorflow/tensorflow/stream_executor/cuda/cuda_dnn.cc:368] Loaded cuDNN version 8204 2021-11-10 06:18:59.956156: I external/org_tensorflow/tensorflow/core/platform/default/subprocess.cc:304] Start cannot spawn child process Prediction class: 285, avg latency: 111.4673 ms

停止 TensorFlow 使用以下命令服务:

kill $(pidof tensorflow_model_server)

后续步骤

使用 Graviton GPU PyTorch DLAMI