本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用模型转换modeltransform
命令
你使用 Neptune MLmodeltransform
命令来创建模型转换作业、检查其状态、停止它或列出所有活动的模型转换作业。
使用 Neptune ML 创建模型转换作业modeltransform
命令
Neptune MLmodeltransform
用于在没有模型再训练的情况下创建增量转换作业的命令如下所示:
curl \ -X POST https://
(your Neptune endpoint)
/ml/modeltransform -H 'Content-Type: application/json' \ -d '{ "id" : "(a unique model-transform job ID)
", "dataProcessingJobId" : "(the job-id of a completed data-processing job)
", "mlModelTrainingJobId" : "(the job-id of a completed model-training job)
", "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)
/neptune-model-transform" }'
Neptune MLmodeltransform
用于根据已完成的 SageMaker 培训作业创建作业的命令如下所示:
curl \ -X POST https://
(your Neptune endpoint)
/ml/modeltransform -H 'Content-Type: application/json' \ -d '{ "id" : "(a unique model-transform job ID)
", "trainingJobName" : "(name of a completed SageMaker training job)
", "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)
/neptune-model-transform", "baseProcessingInstanceType" : "" }'
Neptune MLmodeltransform
用于创建使用自定义模型实现的作业的命令如下所示:
curl \ -X POST https://
(your Neptune endpoint)
/ml/modeltransform -H 'Content-Type: application/json' \ -d '{ "id" : "(a unique model-training job ID)
", "trainingJobName" : "(name of a completed SageMaker training job)
", "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)
/neptune-model-transform/" "customModelTransformParameters" : { "sourceS3DirectoryPath": "s3://(your Amazon S3 bucket)
/(path to your Python module)
", "transformEntryPointScript": "(your transform script entry-point name in the Python module)
" } }'
的参数modeltransform
创建就业
-
id
— (可选) 新作业的唯一标识符。类型:字符串。默认值:自动生成的 UUID。
-
dataProcessingJobId
— 已完成的数据处理作业的作业 ID。类型:字符串。
注意:必须包含两者
dataProcessingJobId
和mlModelTrainingJobId
,或者trainingJobName
. -
mlModelTrainingJobId
— 已完成的模型训练作业的作业 ID。类型:字符串。
注意:必须包含两者
dataProcessingJobId
和mlModelTrainingJobId
,或者trainingJobName
. -
trainingJobName
— 已完成的 SageMaker 培训作业的名称。类型:字符串。
注意:必须同时包含
dataProcessingJobId
和mlModelTrainingJobId
参数,或者trainingJobName
参数。 -
sagemakerIamRoleArn
— (可选用于 SageMaker 执行的 IAM 角色的 ARN。类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。
-
neptuneIamRoleArn
— (可选允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。
-
customModelTransformParameters
— (可选) 使用自定义模型进行模型转换的配置信息。这些区域有:customModelTransformParameters
对象包含以下字段,这些字段的值必须与训练作业中保存的模型参数兼容:sourceS3DirectoryPath
— (必需) 实现模型的 Python 模块所在的 Amazon S3 位置的路径。这必须指向一个有效的现有 Amazon S3 位置,该位置至少包含训练脚本、转换脚本和model-hpo-configuration.json
文件。-
transformEntryPointScript
— (可选) 脚本模块中的入口点名称,该脚本的入口点名称,该脚本应在确定超参数搜索中的最佳模型后运行,以计算模型部署所需的模型工件。它应该能够在没有命令行参数的情况下运行。默认值:
transform.py
.
-
baseProcessingInstanceType
— (可选) 准备和管理 ML 模型训练时使用的机器学习实例类型。类型:字符串。注意:这是根据处理转换数据和模型的内存需求选择的 CPU 实例。请参阅为模型训练和模型转换选择实例。
-
baseProcessingInstanceVolumeSizeInGB
— (可选) 训练实例的磁盘卷大小。输入数据和输出模型都存储在磁盘上,因此卷大小必须足以容纳两个数据集。类型:整数。默认值:
0
.注意:如果未指定或 0,Neptune ML 将根据数据处理步骤中生成的建议选择磁盘卷大小。请参阅为模型训练和模型转换选择实例。
-
subnets
— (可选) Neptune VPC 中的子网的 ID。类型:字符串列表。默认值:无.
-
securityGroupIds
— (可选) VPC 安全组 ID。类型:字符串列表。默认值:无.
-
volumeEncryptionKMSKey
— (可选) 该Amazon Key Management Service(Amazon KMS) 密钥,SageMaker 用于加密附加到运行转换作业的 ML 计算实例的存储卷上的数据。类型:字符串。默认值:无.
-
s3OutputEncryptionKMSKey
— (可选) 该Amazon Key Management Service(Amazon KMS) SageMaker 用于加密处理作业输出的密钥。类型:字符串。默认值:无.
使用 Neptune ML 获取模型转换作业的状态modeltransform
命令
样本 Neptune MLmodeltransform
命令作业状态如下所示:
curl -s \ "https://
(your Neptune endpoint)
/ml/modeltransform/(the job ID)
" \ | python -m json.tool
的参数modeltransform
作业状态
-
id
— (必需) 模型转换作业的唯一标识符。类型:字符串。
-
neptuneIamRoleArn
— (可选允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。
使用 Neptune ML 停止模型转换作业modeltransform
命令
样本 Neptune MLmodeltransform
停止作业的命令如下所示:
curl -s \ -X DELETE "https://
(your Neptune endpoint)
/ml/modeltransform/(the job ID)
"
或者这样:
curl -s \ -X DELETE "https://
(your Neptune endpoint)
/ml/modeltransform/(the job ID)
?clean=true"
的参数modeltransform
停止作业
-
id
— (必需) 模型转换作业的唯一标识符。类型:字符串。
-
neptuneIamRoleArn
— (可选允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。
-
clean
— (可选) 此标志指定在作业停止时应删除所有 Amazon S3 工件。类型:布尔值。默认值:
FALSE
.
使用 Neptune ML 列出活跃的模型转换作业modeltransform
命令
样本 Neptune MLmodeltransform
列出活动作业的命令如下所示:
curl -s "https://
(your Neptune endpoint)
/ml/modeltransform" | python -m json.tool
或者这样:
curl -s "https://
(your Neptune endpoint)
/ml/modeltransform?maxItems=3" | python -m json.tool
的参数modeltransform
列出作业
-
maxItems
— (可选) 要返回的最大项目数。类型:整数。默认值:
10
.允许的最大值:1024
. -
neptuneIamRoleArn
— (可选允许 Neptune 访问 SageMaker 和 Amazon S3 资源的 IAM 角色的 ARN。类型:字符串。注意:这必须列在数据库集群参数组中,否则将发生错误。