使用模型转换modeltransform命令 - Amazon Neptune
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用模型转换modeltransform命令

你使用 Neptune MLmodeltransform命令创建模型转换作业、检查其状态、停止它或列出所有活动的模型转换作业。

使用 Neptune ML 创建模型转换作业modeltransform命令

Neptune MLmodeltransform用于在没有模型再训练的情况下创建增量转换作业的命令如下所示:

curl \ -X POST https://(your Neptune endpoint)/ml/modeltransform -H 'Content-Type: application/json' \ -d '{ "id" : "(a unique model-transform job ID)", "dataProcessingJobId" : "(the job-id of a completed data-processing job)", "mlModelTrainingJobId" : "(the job-id of a completed model-training job)", "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform" }'

Neptune MLmodeltransform用于根据已完成的 SageMaker 培训作业创建作业的命令如下所示:

curl \ -X POST https://(your Neptune endpoint)/ml/modeltransform -H 'Content-Type: application/json' \ -d '{ "id" : "(a unique model-transform job ID)", "trainingJobName" : "(name of a completed SageMaker training job)", "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform", "baseProcessingInstanceType" : "" }'

Neptune MLmodeltransform用于创建使用自定义模型实现的作业的命令如下所示:

curl \ -X POST https://(your Neptune endpoint)/ml/modeltransform -H 'Content-Type: application/json' \ -d '{ "id" : "(a unique model-training job ID)", "trainingJobName" : "(name of a completed SageMaker training job)", "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform/" "customModelTransformParameters" : { "sourceS3DirectoryPath": "s3://(your Amazon S3 bucket)/(path to your Python module)", "transformEntryPointScript": "(your transform script entry-point name in the Python module)" } }'

的参数modeltransform创建就业

  • id— (可选) 新作业的唯一标识符。

    类型:字符串。默认值:自动生成的 UUID。

  • dataProcessingJobId— 已完成的数据处理作业的作业 ID。

    类型:字符串。

    注意:必须同时包含两者dataProcessingJobIdmlModelTrainingJobId,或者trainingJobName.

  • mlModelTrainingJobId— 已完成的模型训练作业的作业 ID。

    类型:字符串。

    注意:必须同时包含两者dataProcessingJobIdmlModelTrainingJobId,或者trainingJobName.

  • trainingJobName— 已完成的 SageMaker 培训作业的名称。

    类型:字符串。

    注意:必须包含dataProcessingJobIdmlModelTrainingJobId参数,或者trainingJobName参数。

  • sagemakerIamRoleArn— (可选) 用于 SageMaker 执行的 IAM 角色的 ARN。

    类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。

  • neptuneIamRoleArn— (可选) 允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。

    类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。

  • customModelTransformParameters — (可选) 使用自定义模型进行模型转换的配置信息。这些区域有:customModelTransformParameters对象包含以下字段,这些字段的值必须与训练作业中保存的模型参数兼容:

    • sourceS3DirectoryPath— (必需) 实现模型的 Python 模块所在的 Amazon S3 位置的路径。这必须指向一个有效的现有 Amazon S3 位置,该位置至少包含训练脚本、转换脚本和model-hpo-configuration.json文件。

    • transformEntryPointScript— (可选) 脚本模块中的入口点名称,该脚本的入口点名称,该脚本应在确定超参数搜索中的最佳模型后运行,以计算模型部署所需的模型工件。它应该能够在没有命令行参数的情况下运行。

      默认值transform.py.

  • baseProcessingInstanceType— (可选) 准备和管理 ML 模型训练时使用的 ML 实例类型。

    类型:字符串。注意:这是根据处理转换数据和模型的内存需求选择的 CPU 实例。请参阅为模型训练和模型转换选择实例

  • baseProcessingInstanceVolumeSizeInGB— (可选) 训练实例的磁盘卷大小。输入数据和输出模型都存储在磁盘上,因此卷大小必须足以容纳两个数据集。

    类型:整数。默认值0.

    注意:如果未指定或 0,Neptune ML 将根据数据处理步骤中生成的建议选择磁盘卷大小。请参阅为模型训练和模型转换选择实例

  • subnets— (可选) Neptune VPC 中的子网的 ID。

    类型:字符串列表。默认值.

  • securityGroupIds— (可选) VPC 的安全组 ID。

    类型:字符串列表。默认值.

  • volumeEncryptionKMSKey— (可选) 该Amazon Key Management Service(Amazon KMS) 密钥,SageMaker 使用该密钥加密附加到运行转换作业的 ML 计算实例的存储卷上的数据。

    类型:字符串。默认值.

  • s3OutputEncryptionKMSKey— (可选) 该Amazon Key Management Service(Amazon KMS) SageMaker 用于加密处理作业输出的密钥。

    类型:字符串。默认值.

使用 Neptune ML 获取模型转换作业的状态modeltransform命令

样本 Neptune MLmodeltransform作业状态的命令将如下所示:

curl -s \ "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)" \ | python -m json.tool

的参数modeltransform作业状态

  • id— (必需) 模型转换作业的唯一标识符。

    类型:字符串。

  • neptuneIamRoleArn— (可选) 允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。

    类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。

使用 Neptune ML 停止模型转换作业modeltransform命令

样本 Neptune MLmodeltransform用于停止作业的命令如下所示:

curl -s \ -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)"

或者这样:

curl -s \ -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)?clean=true"

的参数modeltransform停止作业

  • id— (必需) 模型转换作业的唯一标识符。

    类型:字符串。

  • neptuneIamRoleArn— (可选) 允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。

    类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。

  • clean— (可选) 此标志指定在作业停止时应删除所有 Amazon S3 工件。

    类型:布尔值。默认值FALSE.

使用 Neptune ML 列出活跃的模型转换作业modeltransform命令

样本 Neptune MLmodeltransform用于列出活动作业的命令将如下所示:

curl -s "https://(your Neptune endpoint)/ml/modeltransform" | python -m json.tool

或者这样:

curl -s "https://(your Neptune endpoint)/ml/modeltransform?maxItems=3" | python -m json.tool

的参数modeltransform列出作业

  • maxItems— (可选) 要返回的最大项目数量。

    类型:整数。默认值10.最大允许值1024.

  • neptuneIamRoleArn— (可选) 允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。

    类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。