本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon SageMaker 推理推荐器
Amazon SageMaker Inference Recommerder SageMaker 是 Amazon 的一项功能,它通过自动执行跨 SageMaker机器学习实例的负载测试和模型调整,缩短将机器学习 (ML) 模型投入生产所需的时间。您可以使用 Inference Recommender 将模型部署到以最低成本提供最佳性能的实时推理端点。Inference Recommender 有助于您为机器学习模型和工作负载选择最佳实例类型和配置(例如实例计数、容器参数和模型优化)或无服务器配置(例如最大并发和内存大小)。
Amazon SageMaker Inference Reverence Recommerder 仅向您收取任务执行期间使用的实例费用。
工作方式
要使用 Amazon SageMaker Inference Recommerder,您可以创建 SageMaker 模型,也可以使用模型工件将 SageMaker 模型注册到模型注册表中。使用 Amazon SDK for Python (Boto3) 或 SageMaker 控制台为不同的 SageMaker端点配置运行基准测试作业。Inference Recommender 作业有助于您收集和可视化性能和资源利用率方面的指标,以便您决定选择哪种端点类型和配置。
如何开始
如果您是首次使用 Amazon SageMaker Inference Recommerder 的用户,我们建议您执行以下操作:
-
通读先决条件本节,确保您满足使用 Amazon SageMaker Inference Recommerder 的要求。
-
阅读推荐作业部分,启动您的第一个 Inference Recommender 推荐作业。
-
探索 Amazon SageMaker Inference Recommerder Jupyter 笔记本
入门示例,或者查看下一节中的示例笔记本。
示例笔记本
以下示例 Jupyter 笔记本有助于您完成 Inference Recommender 中多个使用案例的工作流:
如果你想要一款对 TensorFlow 模型进行基准测试的入门笔记本,请参阅 SageMaker Inference Recommerder 笔记 TensorFlow
本。 如果要对 HuggingFace 模型进行基准测试,请参阅笔记本SageMaker 推理推荐器。 HuggingFace
如果你想对 XGBoost 模型进行基准测试,请参阅SageMaker 推理推荐
器 xgBoost 笔记本。 如果您想查看推理推荐器作业的 CloudWatch 指标,请参阅推理推荐器指标SageMaker 笔记本
。 CloudWatch