管道结构和执行 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

管道结构和执行

管道结构

Amazon SageMaker 模型构建管道实例由nameparameters, 和steps. 管道名称必须唯一(account, region)对。步骤定义中使用的所有参数都必须在管道中定义。列出的流水线步骤通过彼此的数据依赖关系自动确定它们的执行顺序。这些区域有: SageMaker Pipeline 服务解决数据依赖关系 DAG 中步骤之间的关系,以创建执行完成的一系列步骤。以下是管道结构的示例。

from sagemaker.workflow.pipeline import Pipeline pipeline_name = f"AbalonePipeline" pipeline = Pipeline( name=pipeline_name, parameters=[ processing_instance_type, processing_instance_count, training_instance_type, model_approval_status, input_data, batch_data, ], steps=[step_process, step_train, step_eval, step_cond], )

使用并行度配置执行管道

默认情况下,管道执行可 parallel 行运行的所有步骤。您可以使用ParallelismConfiguration属性在创建或更新管道时,以及启动或重试管道执行时。

并行度配置将在每次执行中应用。例如,如果启动了两个执行,它们每个执行最多可以同时运行 50 个步骤,共计 100 个并发运行步骤。另请参阅,ParallelismConfiguration启动、重试或更新执行时指定的 (s) 优先于管道中定义的并行度配置。

例 使用创建管道执行ParallelismConfiguration

pipeline = Pipeline( name="myPipeline", steps=[step_process, step_train] ) pipeline.create(role, parallelism_config={"MaxParallelExecutionSteps": 50})