将 EI 附加到笔记本实例 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将 EI 附加到笔记本实例

要使用 EI 测试和评估推理性能,您可以在创建或更新笔记本实例时将 EI 附加到笔记本实例。您可在本地模式中使用 EI,用于在托管于笔记本实例上的端点中托管模型。您应测试笔记本实例和 EI 加速器的各种大小,用于评估最适合您的使用案例的配置。

设置以使用 EI。

要在笔记本实例中本地使用 EI,请创建具有 EI 实例的笔记本实例。

使用 EI 实例创建笔记本实例
  1. 打开亚马逊 SageMaker 控制台,网址为 https://console.aws.amazon.com/sagemaker/

  2. 在导航窗格中,选择 Notebook instances (笔记本实例)

  3. 选择创建笔记本实例

  4. 对于 Notebook instance name (笔记本实例名称),为笔记本实例提供唯一名称。

  5. 对于 notebook instance type (笔记本实例类型),选择 CPU 实例,例如 ml.t2.medium。

  6. 对于 Elastic Inference (EI) (弹性推理 (EI)),请从列表中选择一个实例,例如 ml.eia2.medium

  7. 对于 IAM 角色,请选择具有所需使用权限的 IAM 角色 SageMaker 和 EI。

  8. (可选)对于 VPC - Optional (VPC - 可选),如果您希望笔记本实例使用 VPC,请从可用列表中选择一个。否则,将其保留为 No VPC (无 VPC)。如果您使用 VPC,请按照使用自定义 VPC 来连接 EI 的说明操作。

  9. (可选)对于 Lifecycle configuration - optional (生命周期配置 - 可选),请将其保留作为 No configuration (无配置) 或者选择生命周期配置。有关更多信息,请参阅 使用生命周期配置脚本自定义笔记本实例

  10. (可选)对于加密密钥-可选,可选)如果 SageMaker 要使用 Amazon Key Management Service (Amazon KMS) 密钥加密连接到笔记本实例的 ML 存储卷中的数据,请指定密钥。

  11. (可选)对于 Volume Size In GB - optional (卷大小 (以 GB 为单位) - 可选),请保留默认值 5。

  12. (可选)对于 Tags (标签),请将标签添加到笔记本实例。标签是您分配用于帮助管理笔记本实例的标注。标签包含您定义的一个键和一个值。

  13. 选择创建笔记本实例

在创建附加了 EI 的笔记本实例之后,您可以创建 Jupyter 笔记本并设置在笔记本实例本地托管的 EI 端点。

在本地模式下使用 EI SageMaker

要在托管在笔记本实例上的终端节点中本地使用 EI,请将本地模式与 Amaz SageMaker on Python SDK 版本 TensorFlow、MxNet、 PyTorch估算器或模型一起使用。有关 SageMaker Python SDK 中支持本地模式的更多信息,请参阅 https://github.com/aws/ sagemaker-python-sdk # sagemaker-python-sdk-overview

在局部模式下将 EI 与 SageMaker TensorFlow 估计器和模型一起使用

要 TensorFlow 在本地模式下使用 EI,请在调用估算器或模型对象的deploy方法accelerator_type时指定localinstance_typelocal_sagemaker_notebook有关亚马逊 SageMaker Python SDK TensorFlow 估算器和模型的更多信息,请参阅 https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/index.html。

以下代码演示如何将本地模式用于评估程序对象。要调用 deploy 方法,您以前必须已经执行以下操作之一:

  • 通过调用评估程序的 fit 方案训练了模型。

  • 初始化模型对象时传递了模型构件。

# Deploys the model to a local endpoint tf_predictor = tf_model.deploy(initial_instance_count=1, instance_type='local', accelerator_type='local_sagemaker_notebook')

在本地模式下使用 EI 和 SageMaker Apache MxNet 估算器和模型

要在本地模式下将 EI 与 MXNet 结合使用,在您调用评估程序或模型对象的 deploy 方法时,请为 instance_type 指定 local,为 accelerator_type 指定 local_sagemaker_notebook有关亚马逊 SageMaker Python SDK MxNet 估算器和模型的更多信息,请参阅 https://sagemaker.readthedocs.io/en/stable/frameworks/mxnet/index.html。

以下代码演示如何将本地模式用于评估程序对象。您必须以前已调用过评估程序的 fit 方法来训练模型。

# Deploys the model to a local endpoint mxnet_predictor = mxnet_estimator.deploy(initial_instance_count=1, instance_type='local', accelerator_type='local_sagemaker_notebook')

有关在 MxNet 的本地模式下使用 EI 的完整示例,请参阅示例笔记本,网址为 https://sagemaker-examples.readthedocs.io/en/latest/ sagemaker-python-sdk /mxnet_mnist/mxnet_mnist_elastic_inference_local.html。

在局部模式下将 EI 与 SageMaker PyTorch 估计器和模型一起使用

要 PyTorch 在本地模式下使用 EI,请在调用估算器或模型对象的deploy方法时,指定 for instance_typelocal_sagemaker_notebook f local or。accelerator_type有关 Amaz SageMaker on Python 软件开发工具包 PyTorch 估算器和模型的更多信息,请参阅SageMaker PyTorch 估算器和模型。

以下代码演示如何将本地模式用于评估程序对象。您必须以前已调用过评估程序的 fit 方法来训练模型。

# Deploys the model to a local endpoint pytorch_predictor = pytorch_estimator.deploy(initial_instance_count=1, instance_type='local', accelerator_type='local_sagemaker_notebook')