即时获取潜在实例 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

即时获取潜在实例

Inference Recommerder 还可以在您的模型详细信息页面上为您提供潜在实例或可能适合您的模型的实例类型的列表。 SageMaker Inference Recommender 会自动针对您的模型执行初步基准测试，以便提供前五大潜在实例。由于这些都是初步推荐，因此，我们建议您运行更多的实例推荐作业，以获得更准确的结果。

您可以使用 DescribeModelAPI、 SageMaker Python SDK 或 SageMaker 控制台以编程方式查看模型的潜在实例列表。

注意

在此功能可用 SageMaker 之前，您将无法获得您在中创建的模型的潜在实例。

要通过控制台查看模型的潜在实例，请执行以下操作：

  1. 访问 SageMaker 控制台，网址为 https://console.aws.amazon.com/sagemaker/。

  2. 在左侧导航窗格中，选择推理，然后选择模型。

  3. 从模型列表中选择您的模型。

在您的模型的详细信息页面上，转到要部署模型的潜在实例部分。以下屏幕截图显示了此部分。

模型详细信息页面上的潜在实例列表的屏幕截图。

在此部分中，您可以查看针对模型部署的成本、吞吐量和延迟进行了优化的潜在实例，以及每种实例类型的其他信息，例如内存大小、CPU 和 GPU 数量以及每小时成本。

如果您决定要对示例负载进行基准测试并为模型运行完整的推理推荐作业，则可以从此页面启动默认的推理推荐作业。要通过控制台启动默认作业，请执行以下操作：

  1. 在模型详细信息页面的要部署模型的潜在实例部分中，选择运行 Inference Recommender 作业。

  2. 在弹出的对话框中，对于用于对负载进行基准测试的 S3 存储桶，输入您将模型的示例负载存储到的 Amazon S3 位置。

  3. 在负载内容类型中，输入负载数据的 MIME 类型。

  4. （可选）在 “使用 SageMaker Neo 进行模型编译” 部分中，对于数据输入配置，输入字典格式的数据形状。

  5. 选择运行作业。

推理推荐器启动作业，您可以从控制台的推理推荐器列表页面查看作业及其结果。 SageMaker

如果要运行高级作业并执行自定义负载测试，或者要为作业配置其他设置和参数，请参阅运行自定义负载测试。