本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
Amazon SageMaker 推理推荐器
Amazon SageMaker 推理推荐器是亚马逊的一项功能。 SageMaker它通过自动执行跨机器学习实例的负载测试和模型调整,缩短了将机器学习 ( SageMakerML) 模型投入生产所需的时间。您可以使用 Inference Recommender 将模型部署到以最低成本提供最佳性能的实时推理端点。推理推荐器可帮助您为机器学习模型和工作负载选择最佳的实例类型和配置。它考虑了实例数、容器参数、模型优化、最大并发性和内存大小等因素。
Amazon SageMaker Inference Reverence Recommerder 仅向您收取任务执行期间使用的实例费用。
工作方式
要使用 Amazon SageMaker Inference Recommerder,您可以创建 SageMaker 模型,也可以使用模型工件将 SageMaker 模型注册到模型注册表中。使用 Amazon SDK for Python (Boto3) 或 SageMaker 控制台为不同的 SageMaker 端点配置运行基准测试作业。Inference Recommender 作业有助于您收集和可视化性能和资源利用率方面的指标,以便您决定选择哪种端点类型和配置。
如何开始
如果您是首次使用 Amazon SageMaker Inference 推荐器,我们建议您执行以下操作:
-
通读使用 Amazon SageMaker 推理推荐器的先决条件本节,确保您满足使用 Amazon SageMaker Inference Recommerder 的要求。
-
阅读使用 Amazon SageMaker 推理推荐器推荐作业部分,启动您的第一个 Inference Recommender 推荐作业。
-
探索 Amazon SageMaker Inference 推荐器 Jupyter 笔记本
入门示例,或查看下一节中的示例笔记本。
示例笔记本
以下示例 Jupyter 笔记本有助于您完成 Inference Recommender 中多个使用案例的工作流:
-
如果你想要一款对 TensorFlow 模型进行基准测试的入门笔记本,请参阅 SageMaker Inference Recommerder 笔记 TensorFlow
本。 -
如果要对 HuggingFace 模型进行基准测试,请参阅笔记本SageMaker 推理推荐器。 HuggingFace
-
如果你想对XGBoost模型进行基准测试,请参阅 SageMaker Inference Recommerder 笔记XGBoost
本。 -
如果您想查看推理推荐器作业的 CloudWatch 指标,请参阅推理推荐器指标SageMaker 笔记本
。 CloudWatch