深度学习 AMI
开发人员指南
AWS 服务或AWS文档中描述的功能,可能因地区/位置而异。请点击 Amazon AWS 入门,可查看中国地区的具体差异

MXNet Model Server

MXNet Model Server (MMS) 是一个灵活、易用的工具,用于处理从 MXNet 导出的深度学习模型。

在两分钟内处理深度学习模型

MMS 会随 采用 Conda 的 Deep Learning AMI 一起预安装!您可以仅使用几个命令便非常快速地让 MMS 模型启动并运行。

对于本教程,我们将跳过大部分功能,但在您做好使用更多功能的准备后,请务必查看 MMS 文档。下面是一个简单的处理图像分类模型的示例。您可以运行将会侦听预测请求的服务器。然后您上传一个图像,服务器将返回一个预测,其中包含训练过的 1000 个类中的前 5 个。

首先,连接到您的 采用 Conda 的 Deep Learning AMI 并激活 MXNet 环境。

$ source activate mxnet_p36

然后,通过此调用运行 mxnet-model-server,从而为您下载一个模型并处理它。

$ mxnet-model-server \ --models squeezenet=https://s3.amazonaws.com/model-server/models/squeezenet_v1.1/squeezenet_v1.1.model

执行上述命令后,您的主机上会运行 MMS,来侦听推理请求。

要对其进行测试,您将需要打开一个新的终端窗口。

然后,连接到 DLAMI,使用下面的命令下载一个小猫图像,并将其发送到 MMS 预测终端节点。

$ curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg $ curl -X POST http://127.0.0.1:8080/squeezenet/predict -F "data=@kitten.jpg"

预测终端节点将在 JSON 中返回预测响应。它看起来如下面的结果所示:

{ "prediction": [ [ { "class": "n02124075 Egyptian cat", "probability": 0.940 }, { "class": "n02127052 lynx, catamount", "probability": 0.055 }, { "class": "n02123045 tabby, tabby cat", "probability": 0.002 }, { "class": "n02123159 tiger cat", "probability": 0.0003 }, { "class": "n02123394 Persian cat", "probability": 0.0002 } ] ] }

多类别检测示例

在 DLAMI 上,您将找到一个将 MMS 与 Single Shot Detection (SSD) 模型一起使用的示例应用程序。从 DLAMI 终端上浏览到 ~/tutorials/MXNet-Model-Server/ssd 文件夹。有关如何运行该示例的说明位于 README.md 文件中,或者可以在 MMS 存储库的最新示例版本中查看这些说明。

更多功能和示例

如果您对更多示例感兴趣,例如如何导出模型、使用 Docker 设置 MMS 或利用最新功能,请确保为 MMS 的项目页面加星号。