本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
JumpStart 通过使用 Amazon SageMaker Studio 部署模型
以下步骤向您展示了如何 JumpStart 使用 Amazon SageMaker Studio 部署模型。
先决条件
确认您已在 Amazon SageMaker HyperPod 集群上设置了推理功能。有关更多信息,请参阅 设置 HyperPod 集群以进行模型部署。
创建部 HyperPod 署
-
在 Amazon SageMaker Studio 中,从左侧导航窗格中打开JumpStart登录页面。
-
在所有公共模型下,选择要部署的模型。
注意
如果您选择了门控车型,则必须接受最终用户许可协议 (EULA)。
-
选择 SageMaker HyperPod。
-
在 “部署设置” 下, JumpStart将推荐一个实例进行部署。如有必要,您可以修改这些设置。
-
如果您修改实例类型,请确保它与所选HyperPod 集群兼容。如果没有任何兼容的实例,则需要选择一个新HyperPod 集群或联系管理员向集群添加兼容的实例。
-
要确定模型部署的优先级,请安装任务管理插件,创建计算分配,并为集群策略设置任务排名。完成此操作后,您应该会看到一个选项,用于为模型部署选择优先级,该优先级可用于抢占集群上的其他部署和任务。
-
输入管理员向您提供访问权限的命名空间。您可能需要直接联系您的管理员才能获得确切的命名空间。提供有效的命名空间后,应启用 D eploy 按钮来部署模型。
-
-
选择部署并等待终端节点的创建。
-
创建终端节点后,选择测试推理。
编辑部 HyperPod 署
-
在 Amazon SageMaker Studio 中,选择计算,然后从左侧导航窗格中选择HyperPod集群。
-
在 “部署” 下,选择要修改的 HyperPod 集群部署。
-
从垂直省略号图标 (‹) 中,选择编辑。
-
在 “部署设置” 下,您可以启用或禁用自动扩展,并更改最大副本数量。
-
选择保存。
-
状态将更改为正在更新。更改回服务状态后,您的更改即已完成,您将看到一条确认消息。
删除部 HyperPod 署
-
在 Amazon SageMaker Studio 中,选择计算,然后从左侧导航窗格中选择HyperPod集群。
-
在 “部署” 下,选择要修改的 HyperPod 集群部署。
-
从垂直省略号图标 (‹) 中,选择删除。
-
在 “删除部 HyperPod 署” 窗口中,选中该复选框。
-
选择删除。
-
状态将更改为 “正在删除”。删除 HyperPod 部署后,您将看到一条确认消息。