缓存管道步骤 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅 中国的 Amazon Web Services 服务入门 (PDF)

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

缓存管道步骤

在 Amazon Pipelin SageMaker es 中,您可以在重新运行管道时使用步骤缓存来节省时间和资源。当步骤具有相同的配置和输入时,步骤缓存会重复使用先前成功运行的步骤的输出(而不是重新计算)。这可以帮助您在使用相同参数的管道重运行中获得一致的结果。以下主题向您展示如何为管道配置和开启步进缓存。

使用步骤签名缓存时,Pipelines 会尝试查找之前运行的当前工作流工序的某些属性值相同。如果找到,Pipelines 将传播上次运行的输出,而不是重新计算步骤。所检查的属性特定于步骤类型,并在 按管道步骤类型划分的默认缓存键属性 中列出。

您必须选择步骤缓存 - 默认情况下,它处于关闭状态。开启步骤缓存时,还必须定义超时。此超时定义了之前运行可以持续多久才能继续作为重复使用的候选项。

步骤缓存仅考虑成功的运行 - 它从不重复使用失败的运行。如果在超时时间内成功运行了多次,Pipelines 会将结果用于最近一次成功运行。如果在超时时间内没有成功的运行匹配项,Pipelines 将重新运行该步骤。如果执行程序发现之前的运行符合条件但仍在进行中,则两个步骤都将继续运行,如果成功运行,则会更新缓存。

步骤缓存仅适用于单个管道,因此即使存在步骤签名匹配项,也无法重复使用另一个管道中的步骤。

步骤缓存可用于以下步骤类型: