创建推理优化任务作业

开始创建优化作业

1. 在 SageMaker AI Studio 中，通过以下任一路径创建优化作业：

   • 要为 JumpStart 模型创建作业，请执行以下操作：

     1. 在导航菜单中，选择 JumpStart。

     2. 在全部公共模型页面，选择一个模型提供者，然后选择一个支持优化的模型。

     3. 在模型详细信息页面，选择优化。只有支持优化的模型才能启用此按钮。

     4. 在创建推理优化作业页面上，某些 JumpStart 模型要求您签署最终用户许可协议 (EULA)，然后才能继续。如果需要，请查看许可协议部分中的许可条款。如果您可以接受使用条款，请选择我接受 EULA 并阅读条款和条件的复选框。

   • 要为经过微调的 JumpStart 模型创建作业，请执行以下操作：

     1. 在导航菜单的作业下，选择训练。

     2. 在 “训练作业” 页面上，选择用于微调 JumpStart模型的作业名称。这些作业的 Jo b 类型列中包含类型JumpStart训练。

     3. 在训练作业的详细信息页面，选择优化。

   • 要为自定义模型创建作业，请执行以下操作：

     1. 在导航菜单的作业下，选择推理优化。

     2. 选择 Create new job (创建新任务)。

     3. 在创建推理优化作业页面，选择添加模型。

     4. 在添加模型窗口中，选择自定义模型。

     5. 对于自定义模型名称，请输入名称。

     6. 在 S3 URI 中，输入存储模型构件的 Amazon S3 位置的 URI。

2. 在创建推理优化作业页面上，对于作业名称，您可以接受 SageMaker AI 分配的默认名称。或者，要输入自定义任务名称，请选择作业名称字段，然后选择输入作业名称。

设置优化配置

1. 对于部署实例类型，选择要优化模型的实例类型。

   实例类型会影响您可以选择的优化技术。对于大多数使用 GPU 硬件的类型，支持的技术有量化和预测解码。如果您选择使用自定义芯片的实例，例如 Amazon Inferentia 实例 ml.inf2.8xlarge，则支持的技术是编译，您可以使用它来编译该特定硬件类型的模型。

2. 从 Studio 提供的优化技术中选择一种或多种：

   • 如果选择量化，请为精确数据类型选择一种数据类型。

   • 如果选择 “推测性解码”，请选择以下选项之一：

     • 使用 SageMaker AI 草稿模型-选择使用 SageMaker AI 提供的草稿模型。

       注意

       如果您选择使用 A SageMaker I 草稿模型，则还必须启用网络隔离。Studio 在 “安全” 下提供了此选项。

     • 选择 JumpStart 绘制模型-选择从 JumpStart目录中选择一个模型用作草稿模型。

     • 选择自己的草稿模型-选择使用自己的草稿模型，并提供定位该模型的 S3 URI。

   • 如果您选择快速加载模型，Studio 会显示OPTION_TENSOR_PARALLEL_DEGREE环境变量。使用 Value 字段设置张量并行度。该值必须平均除以您为 Dep GPUs loyment 实例类型选择的实例的数量。例如，要在使用带有 8 的实例时对模型进行分片 GPUs，请使用值 2、4 或 8。

   • 如果您将 “部署” 实例类型设置为 Amazon Inferentia 或 Amazon Trainium 实例，Studio 可能会显示 “编译” 是唯一支持的选项。在这种情况下，Studio 会为您选择该选项。

3. 对于输出，请输入 Amazon S3 中某个位置的 URI。在那里， SageMaker AI 存储了你的任务创建的优化模型的工件。

4. (可选）扩展高级选项，对 IAM 角色、VPC 和环境变量等设置进行更精细的控制。有关更多信息，请参阅下文高级选项。

5. 完成作业配置后，选择创建作业。

   Studio 显示作业详情页面，其中显示作业状态及其所有设置。

设置项目

1. 在应用程序代码中，导入必要的库。下面的示例导入了 Python SDK (Boto3)。它还会从 SageMaker AI Python SDK 中导入用于定义和处理模型的类：

   import boto3
   from sagemaker.serve.builder.model_builder import ModelBuilder
   from sagemaker.serve.builder.schema_builder import SchemaBuilder
   from sagemaker.session import Session
   from pathlib import Path

2. 初始化 A SageMaker I 会话。以下示例使用该Session()类：

   sagemaker_session = Session()

定义模型

1. 创建 SchemaBuilder 实例，并提供输入和输出样本。在定义模型时，您需要向 ModelBuilder 类提供该实例。借助它， SageMaker AI 会自动生成编组函数，用于序列化和反序列化输入和输出。

   有关使用 SchemaBuilder 和 ModelBuilder 类的更多信息，请参阅 使用 Amazon A SageMaker I 创建模型 ModelBuilder。

   下面的示例提供了 SchemaBuilder 类的输入和输出字符串示例：

   response = "Jupiter is the largest planet in the solar system. It is the fifth planet from the sun."
   sample_input = {
       "inputs": "What is the largest planet in the solar system?",
       "parameters": {"max_new_tokens": 128, "top_p": 0.9, "temperature": 0.6},
   }
   sample_output = [{"generated_text": response}]
   schema_builder = SchemaBuilder(sample_input, sample_output)

2. 将您的模型定义为 SageMaker AI。下面的示例设置了初始化 ModelBuilder 实例的参数：

   model_builder = ModelBuilder(
       model="jumpstart-model-id",
       schema_builder=schema_builder,
       sagemaker_session=sagemaker_session,
       role_arn=sagemaker_session.get_caller_identity_arn(),
   )

   此示例使用 JumpStart 模型。jumpstart-model-id替换为 JumpStart 模型的 ID，例如meta-textgeneration-llama-3-70b。

   注意

   如果要使用推测性解码进行优化，并且要使用 SageMaker AI 草稿，则必须启用网络隔离。要启用它，请在初始化ModelBuilder实例时加入以下参数：

   enable_network_isolation=True,

   有关网络隔离的更多信息，请参见网络隔离。

使用量化进行优化

1. 要运行量化作业，请使用optimize()方法并设置quantization_config参数。以下示例在优化容器中设置OPTION_QUANTIZE为环境变量：

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       quantization_config={
           "OverrideEnvironment": {
               "OPTION_QUANTIZE": "awq",
           },
       },
       output_path="s3://output-path",
   )

   在此示例中，instance-type替换为 ML 实例，例如ml.p4d.24xlarge。s3://output-path替换为存储任务创建的优化模型的 S3 位置的路径。

   该optimize()方法返回一个Model对象，您可以使用该对象将模型部署到端点。

2. 任务完成后，部署模型。以下示例使用该deploy()方法：

   predictor = optimized_model.deploy(
       instance_type="instance-type", 
       accept_eula=True,
   )

   在此示例中，instance-type替换为 ML 实例，例如ml.p4d.24xlarge。

   该deploy()方法返回一个预测器对象，您可以使用该对象向托管模型的端点发送推理请求。

使用 SageMaker AI 草稿模型通过推测性解码进行优化

当你使用推测性解码来优化模型时，你可以选择使用 A SageMaker I 提供的草稿模型，也可以使用自己的模型。以下示例使用 SageMaker AI 草稿模型。

1. 要运行推测性解码作业，请使用optimize()方法并设置参数。speculative_decoding_config以下示例设置了使用 SageMaker AI 提供的草稿模型的ModelProvider密钥。SAGEMAKER

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelProvider": "SAGEMAKER",
       },
   )

   在此示例中，instance-type替换为 ML 实例，例如ml.p4d.24xlarge。

   该optimize()方法返回一个Model对象，您可以使用该对象将模型部署到端点。

2. 任务完成后，部署模型。以下示例使用该deploy()方法：

   predictor = optimized_model.deploy(accept_eula=True)

   该deploy()方法返回一个预测器对象，您可以使用该对象向托管模型的端点发送推理请求。

使用自定义草稿模型通过推测性解码进行优化

在向 SageMaker AI 提供自定义草稿模型之前，必须先将模型工件上传到 Amazon S3。

以下示例演示了提供自定义草稿模型的一种可能方法。这些示例从 Hugging Face Hub 下载模型草稿，将其上传到 Amazon S3，然后为参数提供 S3 URI。speculative_decoding_config

1. 如果要从 Hugging Face Hub 下载模型，请将huggingface_hub该库添加到您的项目中，然后使用snapshot_download()该方法下载模型。以下示例将模型下载到本地目录：

   import huggingface_hub
   
   huggingface_hub.snapshot_download(
       repo_id="model-id",
       revision="main",
       local_dir=download-dir,
       token=hf-access-token,
   )

   在此示例中，将 Hu model-id gging Face Hub 替换为模型的 ID，例如meta-llama/Meta-Llama-3-8B。download-dir替换为本地目录。hf-access-token替换为您的用户访问令牌。要了解如何获取访问令牌，请参阅 Hugging Face 文档中的用户访问令牌。

   有关该huggingface_hub库的更多信息，请参阅 Hugging Face 文档中的 Hub 客户端库。

2. 要将您下载的模型提供给 SageMaker AI，请将其上传到 Amazon S3。以下示例上传带有sagemaker_session对象的模型：

   custom_draft_model_uri = sagemaker_session.upload_data(
       path=hf_local_download_dir.as_posix(),
       bucket=sagemaker_session.default_bucket(),
       key_prefix="prefix",
   )

   在此示例中，prefix替换为可帮助您区分 S3 中草稿模型的限定符，例如spec-dec-custom-draft-model。

   该upload_data()方法返回模型工件的 S3 URI。

3. 要运行推测性解码作业，请使用optimize()方法并设置参数。speculative_decoding_config以下示例将ModelSource密钥设置为自定义草稿模型的 S3 URI：

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       speculative_decoding_config={
           "ModelSource": custom_draft_model_uri + "/",
       },
   )

   在此示例中，instance-type替换为 ML 实例，例如ml.p4d.24xlarge。

   该optimize()方法返回一个Model对象，您可以使用该对象将模型部署到端点。

4. 任务完成后，部署模型。以下示例使用该deploy()方法：

   predictor = optimized_model.deploy(accept_eula=True)

   该deploy()方法返回一个预测器对象，您可以使用该对象向托管模型的端点发送推理请求。

使用编译进行优化

1. 要运行编译作业，请使用optimize()方法并设置compilation_config参数。以下示例使用OverrideEnvironment密钥在优化容器中设置必要的环境变量：

   optimized_model = model_builder.optimize(
       instance_type="instance-type",
       accept_eula=True,
       compilation_config={
           "OverrideEnvironment": {
               "OPTION_TENSOR_PARALLEL_DEGREE": "24",
               "OPTION_N_POSITIONS": "8192",
               "OPTION_DTYPE": "fp16",
               "OPTION_ROLLING_BATCH": "auto",
               "OPTION_MAX_ROLLING_BATCH_SIZE": "4",
               "OPTION_NEURON_OPTIMIZE_LEVEL": "2",
           }
       },
       output_path="s3://output-path",
   )

   在此示例中，设置instance-type为具有加速硬件的 ML 实例类型。例如，要使用 Inf Amazon erentia 加速推理，您可以将类型设置为 Inf2 实例，例如。ml.inf2.48xlarges3://output-path替换为存储任务创建的优化模型的 S3 位置的路径。

2. 任务完成后，部署模型。以下示例使用该deploy()方法：

   predictor = optimized_model.deploy(accept_eula=True)

   该deploy()方法返回一个预测器对象，您可以使用该对象向托管模型的端点发送推理请求。

使用推理请求测试模型

• 要向已部署的模型发送测试推理请求，请使用预测器对象predict()的方法。以下示例传递了在示例中也传递给SchemaBuilder类的sample_input变量来定义您的模型：

  predictor.predict(sample_input)

  示例输入有提示"What is the largest planet in the solar system?"。该predict()方法返回模型生成的响应，如以下示例所示：

  {'generated_text': ' Jupiter is the largest planet in the solar system. It is the fifth planet from the sun. It is a gas giant with . . .'}