训练机器学习模型

此示例项目演示如何使用 SageMaker 和 Amazon Step Functions 训练机器学习模型以及如何批量转换测试数据集。此示例项目创建以下内容：

Amazon Lambda 函数
Amazon Simple Storage Service (Amazon S3) 存储桶
Amazon Step Functions 状态机
相关Amazon Identity and Access Management(IAM) 角色

在此项目中，Step Functions 使用 Lambda 函数通过测试数据集为 Amazon S3 存储桶添加种子。然后，它使用 SageMaker 服务集成训练机器学习模型并执行批量转换。

有关的更多信息SageMaker和 Step Functions 服务集成，请参阅以下内容：

注意

此示例项目可能会产生费用。

为新 Amazon 用户提供了免费使用套餐。在此套餐中，低于某种使用水平的服务是免费的。有关 Amazon 成本和免费套餐的更多信息，请参阅 SageMaker 定价。

创建状态机并预置资源

打开Step Functions 操作然后选择创建状态机.
选择 Sample Projects (示例项目)，然后选择 Train a machine learning model (训练机器学习模型)。

此时将显示状态机 Code (代码) 和 Visual Workflow (可视工作流程)。
请选择 Next (下一步)。

此时将显示 Deploy resources (部署资源) 页面，其中列出了将创建的资源。对于本示例项目，资源包括：
- Lambda 函数
- 一个 Amazon S3 Bucket
- Step Functions 状态机
- 相关 IAM 角色
选择 Deploy Resources (部署资源)。

注意
创建这些资源和相关 IAM 权限可能需要长达 10 分钟的时间。当显示 Deploy resources (部署资源) 页面时，您可打开 Stack ID (堆栈 ID) 链接以查看正在预置的资源。

启动新的执行

打开Step Functions 操作.
在存储库的状态机页面上，选择TrainAndBatchTransformStateMachine示例项目创建的状态机，然后选择启动执行.
在 New execution 页面上，输入执行名称 (可选)，然后选择 Start Execution (开始执行)。
（可选）要识别执行，您可以在名称。默认情况下，Step Functions 会自动生成唯一的执行名称。

注意
Step Functions 允许您创建包含非 ASCII 字符的状态机、执行和活动名称。这些非 ASCII 名称不适用于亚马逊CloudWatch. 为了确保你可以跟踪CloudWatch指标，请选择仅使用 ASCII 字符的名称。
（可选）转到 Step Functions (Step Functions) 上新创建的状态机控制面板，然后选择新的执行.
执行完成后，您可以在 Visual workflow (可视工作流) 上选择状态，并浏览 Step details (步骤详细信息) 下的 Input (输入) 和 Output (输出)。

示例状态机代码

此示例项目中的状态机与SageMaker和Amazon Lambda通过将参数直接传递给这些资源，并且使用 Amazon S3 存储桶来训练数据源和输出。

浏览此示例状态机以了解 Step Functions 如何控制 Lambda 和SageMaker.

有关 Amazon Step Functions 如何控制其他 Amazon 服务的更多信息，请参阅将 Amazon Step Functions 与其他服务一起使用。


{
  "StartAt": "Generate dataset",
  "States": {
    "Generate dataset": {
      "Resource": "arn:aws:lambda:us-west-2:123456789012:function:TrainAndBatchTransform-SeedingFunction-17RNSOTG97HPV",
      "Type": "Task",
      "Next": "Train model (XGBoost)"
    },
    "Train model (XGBoost)": {
      "Resource": "arn:aws:states:::sagemaker:createTrainingJob.sync",
      "Parameters": {
        "AlgorithmSpecification": {
          "TrainingImage": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
          "TrainingInputMode": "File"
        },
        "OutputDataConfig": {
          "S3OutputPath": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/models"
        },
        "StoppingCondition": {
          "MaxRuntimeInSeconds": 86400
        },
        "ResourceConfig": {
          "InstanceCount": 1,
          "InstanceType": "ml.m4.xlarge",
          "VolumeSizeInGB": 30
        },
        "RoleArn": "arn:aws:iam::123456789012:role/TrainAndBatchTransform-SageMakerAPIExecutionRole-Y9IX3DLF6EUO",
        "InputDataConfig": [
          {
            "DataSource": {
              "S3DataSource": {
                "S3DataDistributionType": "ShardedByS3Key",
                "S3DataType": "S3Prefix",
                "S3Uri": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/csv/train.csv"
              }
            },
            "ChannelName": "train",
            "ContentType": "text/csv"
          }
        ],
        "HyperParameters": {
          "objective": "reg:logistic",
          "eval_metric": "rmse",
          "num_round": "5"
        },
        "TrainingJobName.$": "$$.Execution.Name"
      },
      "Type": "Task",
      "Next": "Save Model"
    },
    "Save Model": {
      "Parameters": {
        "PrimaryContainer": {
          "Image": "433757028032.dkr.ecr.us-west-2.amazonaws.com/xgboost:latest",
          "Environment": {},
          "ModelDataUrl.$": "$.ModelArtifacts.S3ModelArtifacts"
        },
        "ExecutionRoleArn": "arn:aws:iam::123456789012:role/TrainAndBatchTransform-SageMakerAPIExecutionRole-Y9IX3DLF6EUO",
        "ModelName.$": "$.TrainingJobName"
      },
      "Resource": "arn:aws:states:::sagemaker:createModel",
      "Type": "Task",
      "Next": "Batch transform"
    },
    "Batch transform": {
      "Type": "Task",
      "Resource": "arn:aws:states:::sagemaker:createTransformJob.sync",
      "Parameters": {
        "ModelName.$": "$$.Execution.Name",
        "TransformInput": {
          "CompressionType": "None",
          "ContentType": "text/csv",
          "DataSource": {
            "S3DataSource": {
              "S3DataType": "S3Prefix",
              "S3Uri": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/csv/test.csv"
            }
          }
        },
        "TransformOutput": {
          "S3OutputPath": "s3://trainandbatchtransform-s3bucket-1jn1le6gadwfz/output"
        },
        "TransformResources": {
          "InstanceCount": 1,
          "InstanceType": "ml.m4.xlarge"
        },
        "TransformJobName.$": "$$.Execution.Name"
      },
      "End": true
    }
  }
}

有关在将 Step Functions 与其他一起使用时如何配置 IAM 的信息。Amazon服务，请参阅集成服务的 IAM 政策.

IAM 示例

这些示例Amazon Identity and Access Management示例项目生成的 (IAM) 策略包括执行状态机和相关资源所需的最小权限。我们建议您在 IAM 策略中仅包含这些必需的权限。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "cloudwatch:PutMetricData",
                "logs:CreateLogStream",
                "logs:PutLogEvents",
                "logs:CreateLogGroup",
                "logs:DescribeLogStreams",
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket",
                "ecr:GetAuthorizationToken",
                "ecr:BatchCheckLayerAvailability",
                "ecr:GetDownloadUrlForLayer",
                "ecr:BatchGetImage"
            ],
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}

以下策略允许 Lambda 函数使用示例数据为 Amazon S3 存储桶添加种子。


{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:PutObject"
            ],
            "Resource": "arn:aws:s3:::trainandbatchtransform-s3bucket-1jn1le6gadwfz/*",
            "Effect": "Allow"
        }
    ]
}

有关在将 Step Functions 与其他一起使用时如何配置 IAM 的信息。Amazon服务，请参阅集成服务的 IAM 政策.

Javascript 在您的浏览器中被禁用或不可用。

要使用 Amazon Web Services 文档，必须启用 Javascript。请参阅浏览器的帮助页面以了解相关说明。

使用 Map 状态动态处理数据

调整机器学习模型