将 MXNet-Neuron 与 AWS Neuron 编译器结合使用 - 深度学习 AMI
AWS 文档中描述的 AWS 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 AWS 服务入门

将 MXNet-Neuron 与 AWS Neuron 编译器结合使用

MXNet-Neuron 编译 API 提供了一种方法,用于编译您可在 AWS Inferentia 设备上运行的模型图。

在本示例中,您可以使用 API 编译 Resnet-50 模型,并使用该模型来运行推理过程。

有关 Neuron 开发工具包的更多信息,请参阅 AWS Neuron 开发工具包文档

先决条件

使用本教程之前,您应已完成 将 DLAMI 与 AWS Neuron 结合使用 中的设置步骤。您还应该熟悉深度学习知识以及如何使用 DLAMI。

激活 Conda 环境

使用以下命令可激活 MXNet-Neuron Conda 环境:

source activate aws_neuron_mxnet_p36

使用以下命令更新 Neuron 程序包:

conda update mxnet-neuron

要退出当前 Conda 环境,请运行:

source deactivate

Resnet50 编译

创建一个名为 mxnet_compile_resnet50.py 的 Python 脚本,其中包含以下内容。此脚本使用 MXNet-Neuron 编译 Python API 来编译 Resnet-50 模型。

import mxnet as mx import numpy as np print("downloading...") path='http://data.mxnet.io/models/imagenet/' mx.test_utils.download(path+'resnet/50-layers/resnet-50-0000.params') mx.test_utils.download(path+'resnet/50-layers/resnet-50-symbol.json') print("download finished.") sym, args, aux = mx.model.load_checkpoint('resnet-50', 0) print("compile for inferentia using neuron... this will take a few minutes...") inputs = { "data" : mx.nd.ones([1,3,224,224], name='data', dtype='float32') } sym, args, aux = mx.contrib.neuron.compile(sym, args, aux, inputs) print("save compiled model...") mx.model.save_checkpoint("compiled_resnet50", 0, sym, args, aux)

使用以下命令编译该模型:

python mxnet_compile_resnet50.py

编译过程将需要几分钟时间。 当编译完成后,以下文件将出现在您的当前目录中:

resnet-50-0000.params resnet-50-symbol.json compiled_resnet50-0000.params compiled_resnet50-symbol.json

ResNet50 推理

创建一个名为 mxnet_infer_resnet50.py 的 Python 脚本,其中包含以下内容。此脚本会下载一个示例映像,然后使用该映像对已编译的模型运行推理过程。

import mxnet as mx import numpy as np path='http://data.mxnet.io/models/imagenet/' mx.test_utils.download(path+'synset.txt') fname = mx.test_utils.download('https://raw.githubusercontent.com/awslabs/mxnet-model-server/master/docs/images/kitten_small.jpg') img = mx.image.imread(fname) # convert into format (batch, RGB, width, height) img = mx.image.imresize(img, 224, 224)  # resize img = img.transpose((2, 0, 1))  # Channel first img = img.expand_dims(axis=0)  # batchify img = img.astype(dtype='float32') sym, args, aux = mx.model.load_checkpoint('compiled_resnet50', 0) softmax = mx.nd.random_normal(shape=(1,)) args['softmax_label'] = softmax args['data'] = img # Inferentia context ctx = mx.neuron() exe = sym.bind(ctx=ctx, args=args, aux_states=aux, grad_req='null') with open('synset.txt', 'r') as f:     labels = [l.rstrip() for l in f] exe.forward(data=img) prob = exe.outputs[0].asnumpy() # print the top-5 prob = np.squeeze(prob) a = np.argsort(prob)[::-1]  for i in a[0:5]:     print('probability=%f, class=%s' %(prob[i], labels[i]))

使用以下命令对已编译模型运行推理过程:

python mxnet_infer_resnet50.py

您的输出应与以下内容类似:

probability=0.642454, class=n02123045 tabby, tabby cat probability=0.189407, class=n02123159 tiger cat probability=0.100798, class=n02124075 Egyptian cat probability=0.030649, class=n02127052 lynx, catamount probability=0.016278, class=n02129604 tiger, Panthera tigris

下一步

使用 MXNet-Neuron 模型处理