深度学习 AMI
开发人员指南
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。请点击 Amazon AWS 入门,可查看中国地区的具体差异

TensorFlow Serving

TensorFlow Serving 是一个用于机器学习模型的灵活、高性能的服务系统。

通过 TensorFlow Serving 训练和处理 MNIST 模型

tensorflow-serving-api 会随 采用 Conda 的 Deep Learning AMI 一起预安装!您将在 ~/tutorials/TensorFlow/serving 中找到一个用于训练、导出和处理 MNIST 模型的示例脚本。对于本教程,我们将导出模型并随后通过 tensorflow_model_server 应用程序处理它。最后,您可以使用示例客户端脚本测试模型服务器。

首先,连接到您的 采用 Conda 的 Deep Learning AMI 并激活 Python 2.7 TensorFlow 环境。该示例脚本不与 Python 3.x 兼容

$ source activate tensorflow_p27

现在,将目录更改至服务示例脚本文件夹。

$ cd ~/tutorials/TensorFlow/serving

运行将训练和导出 MNIST 模型的脚本。作为脚本的唯一参数,您需要为其提供一个文件夹位置以保存该模型。现在,我们可以把它放入 mnist_model 中。该脚本将会为您创建此文件夹。

$ python mnist_saved_model.py /tmp/mnist_model

请耐心等待,因为此脚本可能需要一段时间才能提供输出。当训练完成并最终导出模型后,您应该看到以下内容:

Done training! Exporting trained model to mnist_model/1 Done exporting!

下一步是运行 tensorflow_model_server 以处理导出的模型。

$ tensorflow_model_server --port=9000 --model_name=mnist --model_base_path=/tmp/mnist_model

为您提供了一个客户端脚本来测试服务器。

要对其进行测试,您将需要打开一个新的终端窗口。

$ python mnist_client.py --num_tests=1000 --server=localhost:9000

更多功能和示例

如果您有兴趣了解有关 TensorFlow Serving 的更多信息,请查看 TensorFlow 网站