使用地图状态分散批处理作业 - Amazon Step Functions
第 1 步：创建状态机第 2 步：运行状态机示例状态机代码IAM示例
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用地图状态分散批处理作业

此示例项目演示了如何使用 Step Functions 的映射工作流程状态状态进行扇出 Amazon Batch 工作。

在这个项目中，Step Functions 使用状态机调用 Lambda 函数来进行简单的预处理，然后调用多个 Amazon Batch 使用映射工作流程状态状态并行作业。

第 1 步：创建状态机

  1. 打开 Step Functions 控制台，然后选择创建状态机。

  2. 在搜索框中键入 Fan out a batch job，然后从返回的搜索结果中选择扇出批处理任务。

  3. 选择下一步以继续。

  4. 选择 “运行演示” 以创建只读和 ready-to-deploy 工作流程，或者选择 “在其上构建” 以创建可编辑的状态机定义，您可以在此基础上构建并稍后部署。

    该示例项目部署了以下资源：

    • A Lambda 函数

    • 网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的 Amazon Batch 作业队列

    • 网络 ACL 和安全组都允许 (因此可到达您的实例) 的发起 ping 的 Amazon Step Functions 状态机

    • 相关 Amazon Identity and Access Management (IAM) 角色

    下图显示了扇出批处理任务示例项目的工作流图：

    扇出批处理任务示例项目的工作流图。

  5. 选择使用模板继续进行选择。

后续步骤取决于您之前的选择：

  1. 运行演示 — 您可以先查看状态机，然后再使用部署的资源创建只读项目 Amazon CloudFormation 给你的 Amazon Web Services 账户.

    您可以查看状态机定义，准备就绪后，选择 “部署并运行” 来部署项目并创建资源。

    部署最多可能需要 10 分钟才能创建资源和权限。您可以使用堆栈 ID 链接来监控进度 Amazon CloudFormation.

    部署完成后，您应该会在控制台中看到您的新状态机。

  2. 在此基础上再接再厉 — 您可以查看和编辑工作流程定义。在尝试运行自定义工作流程之前，您可能需要为示例项目中的占位符设置值。

注意

部署到您的账户的服务可能会收取标准费用。

第 2 步：运行状态机

  1. 在状态机页面上，选择您的示例项目。

  2. 在示例项目页面上，选择启动执行。

  3. 在启动执行对话框中，执行以下操作：

    1. （可选）输入自定义执行名称以覆盖生成的默认执行名称。

      非ASCII姓名和日志

      Step Functions 接受状态机、执行、活动和包含非ASCII字符的标签的名称。由于此类字符不适用于亚马逊 CloudWatch，因此我们建议您仅使用ASCII字符，以便您可以跟踪中的指标 CloudWatch。

    2. （可选）在 “输入” 框中，将输入值输入为JSON。如果您正在运行演示，则可以跳过此步骤。

    3. 选择启动执行。

    Step Functions 控制台将引导您进入执行详情页面，您可以在图表视图中选择状态以浏览步骤详细信息窗格中的相关信息。

示例状态机代码

此示例项目中的状态机集成了 Amazon Batch 而且 Amazon 则SNS通过将参数直接传递给这些资源来实现。

浏览此示例状态机，了解 Step Functions 是如何控制的 Amazon Batch 和 Amazon，SNS方法是连接到Resource字段中的亚马逊资源名称 (ARN)，然后传递Parameters到该服务API。

有关如何做的更多信息 Amazon Step Functions 可以控制其他 Amazon 服务，请参阅将服务与 Step Functions 集成。

{
  "Comment": "An example of the Amazon States Language for fanning out Amazon Batch job",
  "StartAt": "Generate batch job input",
  "TimeoutSeconds": 3600,
  "States": {
    "Generate batch job input": {
      "Type": "Task",
      "Resource": "arn:aws:states:::lambda:invoke",
      "OutputPath": "$.Payload",
      "Parameters": {
        "FunctionName": "<GENERATE_BATCH_JOB_INPUT_LAMBDA_FUNCTION_NAME>"
      },
      "Next": "Fan out batch jobs"
    },
    "Fan out batch jobs": {
      "Comment": "Start multiple executions of batch job depending on pre-processed data",
      "Type": "Map",
      "End": true,
      "ItemsPath": "$",
      "Parameters": {
        "BatchNumber.$": "$$.Map.Item.Value"
      },
      "Iterator": {
        "StartAt": "Submit Batch Job",
        "States": {
          "Submit Batch Job": {
            "Type": "Task",
            "Resource": "arn:aws:states:::batch:submitJob.sync",
            "Parameters": {
              "JobName": "BatchJobFanOut",
              "JobQueue": "<BATCH_QUEUE_ARN>",
              "JobDefinition": "<BATCH_JOB_DEFINITION_ARN>"
            },
            "End": true
          }
        }
      }
    }
  }
}

IAM示例

这些例子 Amazon Identity and Access Management (IAM) 示例项目生成的策略包括执行状态机和相关资源所需的最低权限。我们建议您在IAM策略中仅包含必要的权限。

例 BatchJobFanOutAccessPolicy
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "batch:SubmitJob",
                "batch:DescribeJobs",
                "batch:TerminateJob"
            ],
            "Resource": "*",
            "Effect": "Allow"
        },
        {
            "Action": [
                "events:PutTargets",
                "events:PutRule",
                "events:DescribeRule"
            ],
            "Resource": [
                "arn:aws:events:us-west-2:123456789012:rule/StepFunctionsGetEventsForBatchJobsRule"
            ],
            "Effect": "Allow"
        }
    ]
}
例 InvokeGenerateBatchJobMapLambdaPolicy
{
    "Statement": [
        {
            "Action": [
                "lambda:InvokeFunction"
            ],
            "Resource": "arn:aws:lambda:us-west-2:123456789012:function:StepFunctionsSample-BatchJobFa-GenerateBatchJobMap-444455556666",
            "Effect": "Allow"
        }
    ]
}

有关在将 Step Functions 与其他功能一起使用IAM时如何进行配置的信息 Amazon 服务，请参阅Step Functions 如何为集成服务生成IAM策略。