管道结构和执行

管道结构

Amazon SageMaker 模型构建管道实例由name、parameters, 和steps. 管道名称必须唯一(account, region)对。步骤定义中使用的所有参数都必须在管道中定义。列出的流水线步骤通过彼此的数据依赖关系自动确定它们的执行顺序。这些区域有： SageMaker Pipeline 服务解决数据依赖关系 DAG 中步骤之间的关系，以创建执行完成的一系列步骤。以下是管道结构的示例。

from sagemaker.workflow.pipeline import Pipeline
  
  pipeline_name = f"AbalonePipeline"
  pipeline = Pipeline(
      name=pipeline_name,
      parameters=[
          processing_instance_type, 
          processing_instance_count,
          training_instance_type,
          model_approval_status,
          input_data,
          batch_data,
      ],
      steps=[step_process, step_train, step_eval, step_cond],
  )

使用并行度配置执行管道

默认情况下，管道执行可 parallel 行运行的所有步骤。您可以使用ParallelismConfiguration属性在创建或更新管道时，以及启动或重试管道执行时。

并行度配置将在每次执行中应用。例如，如果启动了两个执行，它们每个执行最多可以同时运行 50 个步骤，共计 100 个并发运行步骤。另请参阅，ParallelismConfiguration启动、重试或更新执行时指定的 (s) 优先于管道中定义的并行度配置。

pipeline = Pipeline(
        name="myPipeline",
        steps=[step_process, step_train]
    )

  pipeline.create(role, parallelism_config={"MaxParallelExecutionSteps": 50})