将 EI 附加到笔记本实例 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

将 EI 附加到笔记本实例

要使用 EI 测试和评估推理性能,您可以在创建或更新笔记本实例时将 EI 附加到笔记本实例。您可在本地模式中使用 EI,用于在托管于笔记本实例上的终端节点中托管模型。您应测试笔记本实例和 EI 加速器的各种大小,用于评估最适合您的使用案例的配置。

设置以使用 EI。

要在笔记本实例中本地使用 EI,请创建具有 EI 实例的笔记本实例。

使用 EI 实例创建笔记本实例

  1. 打开位于 https://console.aws.amazon.com/sagemaker/ 的 Amazon SageMaker 控制台。

  2. 在导航窗格中,选择 Notebook instances (笔记本实例)

  3. 选择创建笔记本实例

  4. 对于 Notebook instance name (笔记本实例名称),为笔记本实例提供唯一名称。

  5. 对于 notebook instance type (笔记本实例类型),选择 CPU 实例,例如 ml.t2.medium。

  6. 对于 Elastic Inference (EI) (弹性推理 (EI)),请从列表中选择一个实例,例如 ml.eia2.medium

  7. 适用于IAM 角色中,请选择具有使用 SageMaker 和 EI 所需权限的 IAM 角色。

  8. (可选)对于 VPC - Optional (VPC - 可选),如果您希望笔记本实例使用 VPC,请从可用列表中选择一个。否则,将其保留为 No VPC (无 VPC)。如果您使用 VPC,请按照使用自定义 VPC 来连接 EI 的说明操作。

  9. (可选)对于 Lifecycle configuration - optional (生命周期配置 - 可选),请将其保留作为 No configuration (无配置) 或者选择生命周期配置。有关更多信息,请参阅使用生命周期配置脚本自定义笔记本实例

  10. (可选)用于加密密钥-可选,可选)如果您希望 SageMaker 使用Amazon Key Management Service(Amazon KMS) 密钥加密附加到笔记本实例的 ML 存储卷中的数据,请指定密钥。

  11. (可选)对于 Volume Size In GB - optional (卷大小 (以 GB 为单位) - 可选),请保留默认值 5。

  12. (可选)对于 Tags (标签),请将标签添加到笔记本实例。标签是您分配用于帮助管理笔记本实例的标注。标签包含您定义的一个键和一个值。

  13. 选择 Create Notebook Instance (创建笔记本实例)

在创建附加了 EI 的笔记本实例之后,您可以创建 Jupyter 笔记本并设置在笔记本实例本地托管的 EI 终端节点。

在 SageMaker 中以本地模式使用 EI

要在笔记本实例上托管的终端节点中本地使用 EI,请使用带有Amazon SageMaker Python 开发工具包版本的 TensorFlow、MXNet 或 PyTorch 评估程序或模型。有关 SageMaker Python 开发工具包中支持的本地模式的更多信息,请参阅https://github.com/aws/sagemaker-python-sdk#sagemaker-python-sdk-overview

将 EI 在本地模式下与 SageMaker TensorFlow 评估程序和模型结合使用

要在本地模式下将 EI 与 TensorFlow 结合使用,在您调用评估程序或模型对象的 deploy 方法时,请为 instance_type 指定 local,为 accelerator_type 指定 local_sagemaker_notebook。有关 的更多信息Amazon SageMaker Python 开发工具包TensorFlow 估算程序和模型,请参阅https://sagemaker.readthedocs.io/en/stable/frameworks/tensorflow/index.html

以下代码演示如何将本地模式用于评估程序对象。要调用 deploy 方法,您以前必须已经执行以下操作之一:

  • 通过调用评估程序的 fit 方案训练了模型。

  • 初始化模型对象时传递了模型构件。

# Deploys the model to a local endpoint tf_predictor = tf_model.deploy(initial_instance_count=1, instance_type='local', accelerator_type='local_sagemaker_notebook')

将 EI 在本地模式下与 SageMaker XNet 评估程序和模型结合使用

要在本地模式下将 EI 与 MXNet 结合使用,在您调用评估程序或模型对象的 deploy 方法时,请为 instance_type 指定 local,为 accelerator_type 指定 local_sagemaker_notebook。有关 的更多信息Amazon SageMaker Python 开发工具包MXNet 估算程序和模型,请参阅https://sagemaker.readthedocs.io/en/stable/frameworks/mxnet/index.html

以下代码演示如何将本地模式用于评估程序对象。您必须以前已调用过评估程序的 fit 方法来训练模型。

# Deploys the model to a local endpoint mxnet_predictor = mxnet_estimator.deploy(initial_instance_count=1, instance_type='local', accelerator_type='local_sagemaker_notebook')

有关在本地模式下将 EI 与 MXNet 结合使用的完整示例,请参阅位于https://sagemaker-examples.readthedocs.io/en/latest/sagemaker-python-sdk/mxnet_mnist/mxnet_mnist_elastic_inference_local.html

将 EI 在本地模式下与 SageMaker PyTorch 评估程序和模型结合使用

要在本地模式下将 EI 与 PyTorch 结合使用,在您调用评估程序或模型对象的 deploy 方法时,请为 instance_type 指定 local,并为 accelerator_type 指定 local_sagemaker_notebook。有关 的更多信息Amazon SageMaker Python 开发工具包PyTorch 估计值和模型,请参阅SageMaker PyTorch 评估程序和模型

以下代码演示如何将本地模式用于评估程序对象。您必须以前已调用过评估程序的 fit 方法来训练模型。

# Deploys the model to a local endpoint pytorch_predictor = pytorch_estimator.deploy(initial_instance_count=1, instance_type='local', accelerator_type='local_sagemaker_notebook')