本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
训练机器学习模型
此示例项目演示如何使用 SageMaker 和Amazon Step Functions训练机器学习模型以及如何批量转换测试数据集。此示例项目创建以下内容:
-
Amazon Lambda 函数
-
Amazon Simple Storage Service (Amazon S3) 存储桶
-
Amazon Step Functions 状态机
-
相关Amazon Identity and Access Management(IAM) 角色
在此项目中,Step Functions 使用 Lambda 函数通过测试数据集为 Amazon S3 存储桶添加种子。然后,它使用训练机器学习模型并执行批量转换。SageMaker 服务集成.
有关 SageMaker 和 Step Functions 服务集成的更多信息,请参阅以下内容:
此示例项目可能会产生费用。
为新 Amazon 用户提供了免费使用套餐。在此套餐中,低于某种使用水平的服务是免费的。有关 的更多信息Amazon请参阅成本和免费套餐。SageMaker 定价
创建状态机并预置资源
-
打开Step Functions 控制台
然后选择创建状态机. -
选择 Sample Projects (示例项目),然后选择 Train a machine learning model (训练机器学习模型)。
此时将显示状态机 Code (代码) 和 Visual Workflow (可视工作流程)。
-
选择下一步。
此时将显示 Deploy resources (部署资源) 页面,其中列出了将创建的资源。对于本示例项目,资源包括:
-
Lambda 函数
-
一个 Amazon S3 Bucket
-
Step Functions 状态机
-
相关 IAM 角色
-
-
选择 Deploy Resources (部署资源)。
注意 创建这些资源和相关 IAM 权限可能需要长达 10 分钟的时间。当显示 Deploy resources (部署资源) 页面时,您可打开 Stack ID (堆栈 ID) 链接以查看正在预置的资源。
启动新的执行
-
在 State machines (状态机) 页面上,选择示例项目创建的 TrainAndBatchTransformStateMachine 状态机,然后选择 Start execution (开始执行)。
-
在 New execution 页面上,输入执行名称 (可选),然后选择 Start Execution (开始执行)。
(可选)为了帮助识别您的执行,您可以在输入执行名称。如果未输入 ID,Step Functions 将自动生成一个唯一 ID。
注意 Step Functions 允许您创建包含非 ASCII 字符的状态机、执行和活动名称。这些非 ASCII 名称不适用于 Amazon CloudWatch。为确保您可以跟踪 CloudWatch 指标,请选择仅使用 ASCII 字符的名称。
-
(可选)转到 Step Functions 上新创建的状态机控制面板,然后选择新的执行.
-
执行完成后,您可以在 Visual workflow (可视工作流) 上选择状态,并浏览 Step details (步骤详细信息) 下的 Input (输入) 和 Output (输出)。
示例状态机代码
此示例项目中的状态机与 SageMaker 和集成。Amazon Lambda通过将参数直接传递给这些资源,并且使用 Amazon S3 存储桶来训练数据源和输出。
浏览此示例状态机以了解 Step Functions 如何控制 Lambda 和 SageMaker。
有关 Amazon Step Functions 如何控制其他 Amazon 服务的更多信息,请参阅将 Amazon Step Functions 与其他服务一起使用。
{
"StartAt": "Generate dataset",
"States": {
"Generate dataset": {
"Resource": "arn:aws:lambda:us-west-2:123456789012:function:TrainAndBatchTransform-SeedingFunction-17RNSOTG97HPV",
"Type": "Task",
"Next": "Train model (XGBoost)"
},
"Train model (XGBoost)": {
"Resource": "arn:aws:states:::sagemaker:createTrainingJob.sync",
"Parameters": {
"AlgorithmSpecification": {
"TrainingImage": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
"TrainingInputMode": "File"
},
"OutputDataConfig": {
"S3OutputPath": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/models"
},
"StoppingCondition": {
"MaxRuntimeInSeconds": 86400
},
"ResourceConfig": {
"InstanceCount": 1,
"InstanceType": "ml.m4.xlarge",
"VolumeSizeInGB": 30
},
"RoleArn": "arn:aws:iam::123456789012:role/TrainAndBatchTransform-SageMakerAPIExecutionRole-Y9IX3DLF6EUO",
"InputDataConfig": [
{
"DataSource": {
"S3DataSource": {
"S3DataDistributionType": "ShardedByS3Key",
"S3DataType": "S3Prefix",
"S3Uri": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/csv/train.csv"
}
},
"ChannelName": "train",
"ContentType": "text/csv"
}
],
"HyperParameters": {
"objective": "reg:logistic",
"eval_metric": "rmse",
"num_round": "5"
},
"TrainingJobName.$": "$$.Execution.Name"
},
"Type": "Task",
"Next": "Save Model"
},
"Save Model": {
"Parameters": {
"PrimaryContainer": {
"Image": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
"Environment": {},
"ModelDataUrl.$": "$.ModelArtifacts.S3ModelArtifacts"
},
"ExecutionRoleArn": "arn:aws:iam::123456789012:role/TrainAndBatchTransform-SageMakerAPIExecutionRole-Y9IX3DLF6EUO",
"ModelName.$": "$.TrainingJobName"
},
"Resource": "arn:aws:states:::sagemaker:createModel",
"Type": "Task",
"Next": "Batch transform"
},
"Batch transform": {
"Type": "Task",
"Resource": "arn:aws:states:::sagemaker:createTransformJob.sync",
"Parameters": {
"ModelName.$": "$$.Execution.Name",
"TransformInput": {
"CompressionType": "None",
"ContentType": "text/csv",
"DataSource": {
"S3DataSource": {
"S3DataType": "S3Prefix",
"S3Uri": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/csv/test.csv"
}
}
},
"TransformOutput": {
"S3OutputPath": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/output"
},
"TransformResources": {
"InstanceCount": 1,
"InstanceType": "ml.m4.xlarge"
},
"TransformJobName.$": "$$.Execution.Name"
},
"End": true
}
}
}
有关在将 Step Functions 与其他一起使用时如何配置 IAM 的信息。Amazon服务,请参阅针对集成服务的 IAM 策略.
示例 IAM
这些示例Amazon Identity and Access Management示例项目生成的 (IAM) 策略包括执行状态机和相关资源所需的最小权限。我们建议您在 IAM 策略中仅包含这些必需的权限。
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"cloudwatch:PutMetricData",
"logs:CreateLogStream",
"logs:PutLogEvents",
"logs:CreateLogGroup",
"logs:DescribeLogStreams",
"s3:GetObject",
"s3:PutObject",
"s3:ListBucket",
"ecr:GetAuthorizationToken",
"ecr:BatchCheckLayerAvailability",
"ecr:GetDownloadUrlForLayer",
"ecr:BatchGetImage"
],
"Resource": "*",
"Effect": "Allow"
}
]
}
以下策略允许 Lambda 函数使用示例数据为 Amazon S3 存储桶添加种子。
{
"Version": "2012-10-17",
"Statement": [
{
"Action": [
"s3:PutObject"
],
"Resource": "arn:aws:s3:::trainandbatchtransform-s3bucket-1jn1le6gadwfz/*",
"Effect": "Allow"
}
]
}
有关在将 Step Functions 与其他一起使用时如何配置 IAM 的信息。Amazon服务,请参阅针对集成服务的 IAM 策略.