本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊SageMaker推理推荐器
Amazon SageMaker Inference Reveloder SageMaker 是 Amazon 的一项新功能,它通过自动跨SageMaker机器学习实例进行负载测试和模型调整,缩短了将机器学习 (ML) 模型投入生产所需的时间。您可以使用 Inference Revelder 将您的模型部署到以最低成本提供最佳性能的实时推理端点。Inference Revelder 可帮助您为 ML 模型和工作负载选择最佳的实例类型和配置(例如实例数、容器参数和模型优化)。
Amazon SageMaker Inference Revelder 仅向您收取在任务执行期间使用的实例的费用。
工作方式
要使用 Amazon SageMaker Inference Repromender,您必须先注册一个SageMaker模型Amazon SDK for Python (Boto3)以使用您的模型构件和容器对注册表进行建模,用于对不同的SageMaker终端节点配置进行基准测试,收集指标,并可视化性能和资源利用率指标,以帮助您决定选择哪种实例类型。
如何开始
如果您是首次使用 Amazon SageMaker Inference 推荐器,我们建议您执行以下操作:
-
通读本先决条件节,确保您满足了使用亚马逊SageMaker推理推荐器的要求。
-
通读本推荐职位节,启动你的第一个 Inference 推荐任务。
-
浏览入门版 Amazon SageMaker Inference 推荐器 Jupyter 笔记本
示例,或查看下一节中的示例笔记本。
示例笔记本
以下示例 Jupyter 笔记本可以帮助你完成 Inference Revelder 中多个用例的工作流程:
如果你想要一本用于对TensorFlow模型进行基准测试的入门笔记本,请参阅 SageMakerInference 推荐器TensorFlow
笔记本。 如果你想对HuggingFace模型进行基准测试,请参阅笔记本SageMaker推理推荐器。HuggingFace
如果你想对 XGBoost 模型进行基准测试,请参阅SageMaker推理推荐
器 XGBoost 笔记本。 如果您想查看您的推理推荐任务的CloudWatch指标,请参阅 Inference 推荐CloudWatch器指标SageMaker笔记本
。