MXNet 框架处理器 - 亚马逊 SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

MXNet 框架处理器

Apache MXNet 是一个开源深度学习框架,通常用于训练和部署神经网络。Amaz SageMaker on Python 软件开发工具包MXNetProcessor中的使您能够使用 MXNet 脚本运行处理任务。使用时MXNetProcessor,您可以利用亚马逊构建的带有托管 MXNet环境的 Docker 容器,这样您就无需自带容器。

以下代码示例显示了如何使用 SageMaker AI 提供和维护的 Docker 镜像来运行处理作业。MXNetProcessor请注意,当你运行作业时,你可以在source_dir参数中指定一个包含脚本和依赖关系的目录,也可以在你的source_dir目录中有一个requirements.txt文件来指定处理脚本的依赖关系。 SageMaker 处理会为您在容器requirements.txt中安装依赖项。

from sagemaker.mxnet import MXNetProcessor from sagemaker.processing import ProcessingInput, ProcessingOutput from sagemaker import get_execution_role #Initialize the MXNetProcessor mxp = MXNetProcessor( framework_version='1.8.0', py_version='py37', role=get_execution_role(), instance_count=1, instance_type='ml.c5.xlarge', base_job_name='frameworkprocessor-mxnet' ) #Run the processing job mxp.run( code='processing-script.py', source_dir='scripts', inputs=[ ProcessingInput( input_name='data', source=f's3://{BUCKET}/{S3_INPUT_PATH}', destination='/opt/ml/processing/input/data/' ) ], outputs=[ ProcessingOutput( output_name='processed_data', source='/opt/ml/processing/output/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}' ) ] )

如果您有 requirements.txt 文件,它应该是您要在容器中安装的库的列表。source_dir 的路径可以是相对路径、绝对路径或 Amazon S3 URI 路径。但是,如果您使用 Amazon S3 URI,则路径必须指向 tar.gz 文件。在您为 source_dir 指定的目录中可以有多个脚本。要了解有关该MXNetProcessor课程的更多信息,请参阅 Amaz on Pyth SageMaker on MXNet 软件开发工具包中的估算器