JumpStart 通过使用 Amazon SageMaker Studio 部署模型 - 亚马逊 SageMaker AI
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

JumpStart 通过使用 Amazon SageMaker Studio 部署模型

以下步骤向您展示了如何 JumpStart 使用 Amazon SageMaker Studio 部署模型。

先决条件

确认您已在 Amazon SageMaker HyperPod 集群上设置了推理功能。有关更多信息,请参阅 设置 HyperPod 集群以进行模型部署

创建部 HyperPod 署

  1. 在 Amazon SageMaker Studio 中,从左侧导航窗格中打开JumpStart登录页面。

  2. 所有公共模型下,选择要部署的模型。

    注意

    如果您选择了门控车型,则必须接受最终用户许可协议 (EULA)。

  3. 选择 SageMaker HyperPod

  4. “部署设置” 下, JumpStart将推荐一个实例进行部署。如有必要,您可以修改这些设置。

    1. 如果您修改实例类型,请确保它与所选HyperPod 集群兼容。如果没有任何兼容的实例,则需要选择一个新HyperPod 集群或联系管理员向集群添加兼容的实例。

    2. 要确定模型部署的优先级,请安装任务管理插件,创建计算分配,并为集群策略设置任务排名。完成此操作后,您应该会看到一个选项,用于为模型部署选择优先级,该优先级可用于抢占集群上的其他部署和任务。

    3. 输入管理员向您提供访问权限的命名空间。您可能需要直接联系您的管理员才能获得确切的命名空间。提供有效的命名空间后,应启用 D eploy 按钮来部署模型。

  5. 选择部署并等待终端节点的创建。

  6. 创建终端节点后,选择测试推理

编辑部 HyperPod 署

  1. 在 Amazon SageMaker Studio 中,选择计算,然后从左侧导航窗格中选择HyperPod集群

  2. 在 “部署” 下,选择要修改的 HyperPod 集群部署。

  3. 从垂直省略号图标 (‹) 中,选择编辑

  4. “部署设置” 下,您可以启用或禁用自动扩展,并更改最大副本数量。

  5. 选择保存

  6. 状态将更改为正在更新。更改回服务状态后,您的更改即已完成,您将看到一条确认消息。

删除部 HyperPod 署

  1. 在 Amazon SageMaker Studio 中,选择计算,然后从左侧导航窗格中选择HyperPod集群

  2. 在 “部署” 下,选择要修改的 HyperPod 集群部署。

  3. 从垂直省略号图标 (‹) 中,选择删除

  4. 在 “删除部 HyperPod 署” 窗口中,选中该复选框。

  5. 选择删除

  6. 状态将更改为 “正在删除”。删除 HyperPod 部署后,您将看到一条确认消息。