使用模型转换modeltransform命令 - Amazon Neptune
创建模型转换作业获取作业状态停止作业列出任务
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅中国的 Amazon Web Services 服务入门。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用模型转换modeltransform命令

你使用 Neptune MLmodeltransform命令来创建模型转换作业、检查其状态、停止它或列出所有活动的模型转换作业。

使用 Neptune ML 创建模型转换作业modeltransform命令

Neptune MLmodeltransform用于在没有模型再训练的情况下创建增量转换作业的命令如下所示：

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "dataProcessingJobId" : "(the job-id of a completed data-processing job)",
        "mlModelTrainingJobId" : "(the job-id of a completed model-training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform"
      }'

Neptune MLmodeltransform用于根据已完成的 SageMaker 培训作业创建作业的命令如下所示：

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform",
        "baseProcessingInstanceType" : ""
      }'

Neptune MLmodeltransform用于创建使用自定义模型实现的作业的命令如下所示：

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-training job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform/"
        "customModelTransformParameters" : {
          "sourceS3DirectoryPath": "s3://(your Amazon S3 bucket)/(path to your Python module)",
          "transformEntryPointScript": "(your transform script entry-point name in the Python module)"
        }
      }'

的参数modeltransform创建就业

  • id— (可选) 新作业的唯一标识符。

    类型：字符串。默认值：自动生成的 UUID。

  • dataProcessingJobId— 已完成的数据处理作业的作业 ID。

    类型：字符串。

    注意：必须包含两者dataProcessingJobId和mlModelTrainingJobId，或者trainingJobName.

  • mlModelTrainingJobId— 已完成的模型训练作业的作业 ID。

    类型：字符串。

    注意：必须包含两者dataProcessingJobId和mlModelTrainingJobId，或者trainingJobName.

  • trainingJobName— 已完成的 SageMaker 培训作业的名称。

    类型：字符串。

    注意：必须同时包含dataProcessingJobId和mlModelTrainingJobId参数，或者trainingJobName参数。

  • sagemakerIamRoleArn— (可选用于 SageMaker 执行的 IAM 角色的 ARN。

    类型：字符串。注意：这必须列在数据库集群参数组中，否则将发生错误。

  • neptuneIamRoleArn— (可选允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。

    类型：字符串。注意：这必须列在数据库集群参数组中，否则将发生错误。

  • customModelTransformParameters — (可选) 使用自定义模型进行模型转换的配置信息。这些区域有：customModelTransformParameters对象包含以下字段，这些字段的值必须与训练作业中保存的模型参数兼容：

    • sourceS3DirectoryPath— (必需) 实现模型的 Python 模块所在的 Amazon S3 位置的路径。这必须指向一个有效的现有 Amazon S3 位置，该位置至少包含训练脚本、转换脚本和model-hpo-configuration.json文件。

    • transformEntryPointScript— (可选) 脚本模块中的入口点名称，该脚本的入口点名称，该脚本应在确定超参数搜索中的最佳模型后运行，以计算模型部署所需的模型工件。它应该能够在没有命令行参数的情况下运行。

      默认值：transform.py.

  • baseProcessingInstanceType— (可选) 准备和管理 ML 模型训练时使用的机器学习实例类型。

    类型：字符串。注意：这是根据处理转换数据和模型的内存需求选择的 CPU 实例。请参阅为模型训练和模型转换选择实例。

  • baseProcessingInstanceVolumeSizeInGB— (可选) 训练实例的磁盘卷大小。输入数据和输出模型都存储在磁盘上，因此卷大小必须足以容纳两个数据集。

    类型：整数。默认值：0.

    注意：如果未指定或 0，Neptune ML 将根据数据处理步骤中生成的建议选择磁盘卷大小。请参阅为模型训练和模型转换选择实例。

  • subnets— (可选) Neptune VPC 中的子网的 ID。

    类型：字符串列表。默认值：无.

  • securityGroupIds— (可选) VPC 安全组 ID。

    类型：字符串列表。默认值：无.

  • volumeEncryptionKMSKey— (可选) 该Amazon Key Management Service(Amazon KMS) 密钥，SageMaker 用于加密附加到运行转换作业的 ML 计算实例的存储卷上的数据。

    类型：字符串。默认值：无.

  • s3OutputEncryptionKMSKey— (可选) 该Amazon Key Management Service(Amazon KMS) SageMaker 用于加密处理作业输出的密钥。

    类型：字符串。默认值：无.

使用 Neptune ML 获取模型转换作业的状态modeltransform命令

样本 Neptune MLmodeltransform命令作业状态如下所示：

curl -s \
  "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)" \
  | python -m json.tool

的参数modeltransform作业状态

  • id— (必需) 模型转换作业的唯一标识符。

    类型：字符串。

  • neptuneIamRoleArn— (可选允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。

    类型：字符串。注意：这必须列在数据库集群参数组中，否则将发生错误。

使用 Neptune ML 停止模型转换作业modeltransform命令

样本 Neptune MLmodeltransform停止作业的命令如下所示：

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)"

或者这样：

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)?clean=true"

的参数modeltransform停止作业

  • id— (必需) 模型转换作业的唯一标识符。

    类型：字符串。

  • neptuneIamRoleArn— (可选允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。

    类型：字符串。注意：这必须列在数据库集群参数组中，否则将发生错误。

  • clean— (可选) 此标志指定在作业停止时应删除所有 Amazon S3 工件。

    类型：布尔值。默认值：FALSE.

使用 Neptune ML 列出活跃的模型转换作业modeltransform命令

样本 Neptune MLmodeltransform列出活动作业的命令如下所示：

curl -s "https://(your Neptune endpoint)/ml/modeltransform" | python -m json.tool

或者这样：

curl -s "https://(your Neptune endpoint)/ml/modeltransform?maxItems=3" | python -m json.tool

的参数modeltransform列出作业

  • maxItems— (可选) 要返回的最大项目数。

    类型：整数。默认值：10.允许的最大值：1024.

  • neptuneIamRoleArn— (可选允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。

    类型：字符串。注意：这必须列在数据库集群参数组中，否则将发生错误。