配置调试程序挂钩保存张量 - Amazon SageMaker
Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异,请参阅中国的 Amazon Web Services 服务入门

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

配置调试程序挂钩保存张量

张量是从每个训练迭代的向后和向前传递更新参数的数据集合,调试器收集输出张量以分析训练作业的状态。Amazon SageMaker 调试程序CollectionConfigDebuggerHookConfigAPI 操作提供了将张量分组到collections并将它们保存到目标 S3 存储桶。

注意

默认情况下,对于所有 SageMaker 培训作业,调试器每 500 个步骤从培训作业中收集损失和精度输出标量,而不会在 SageMaker 估计器中指定任何特定于调试器的参数。调试器将输出数据保存在默认 S3 存储桶中。默认 S3 存储桶 URI 的格式为s3://sagemaker-<region>-<12digit_account_id>/<training-job-name>/debug-output/.

构建 SageMaker 估计器时,通过指定挂接配置参数来启用调试器debugger_hook_config. 以下步骤包括如何将设置为debugger_hook_config使用CollectionConfigDebuggerHookConfigAPI 操作将张量从培训作业中提取出来并保存它们。如果您使用支持的调试程序Amazon容器进行零脚本更改,您可以简单地运行训练作业,而无需更改训练脚本。您还可以使用调试器来培训在任何其他支持的调试程序Amazon具有脚本模式的容器,对训练脚本进行最小的更改。

使用集合配置 API 操作配置调试器张量集合

使用CollectionConfigAPI 操作来配置张量集合。如果使用调试器支持的深度学习框架和机器学习算法,则调试器提供预构建的张量集合,这些集合涵盖了各种正则表达式(正则表达式)的参数。如下面的示例代码所示,添加要调试的内置张量集合。

from sagemaker.debugger import CollectionConfig collection_configs=[ CollectionConfig(name="weights"), CollectionConfig(name="gradients") ]

前面的集合设置了调试器钩子,以根据默认"save_interval"值。

有关可用调试器内置集合的完整列表,请参阅调试程序内置集合.

如果要自定义内置集合,例如更改保存间隔和张量正则表达式,请使用以下CollectionConfig模板来调整参数。

from sagemaker.debugger import CollectionConfig collection_configs=[ CollectionConfig( name="tensor_collection", parameters={ "key_1": "value_1", "key_2": "value_2", ... "key_n": "value_n" } ) ]

有关可用参数键的更多信息,请参阅集合配置中的Amazon SageMaker Python 开发工具包. 例如,以下代码示例说明了如何在训练的不同阶段调整 “损失” 张量收集的保存间隔:在训练阶段每 100 个步骤节省损失,验证阶段每 10 个步骤保存一次损失。

from sagemaker.debugger import CollectionConfig collection_configs=[ CollectionConfig( name="losses", parameters={ "train.save_interval": "100", "eval.save_interval": "10" } ) ]
提示

此张量集合配置对象可用于调试器挂钩配置RuleAPI 操作。

配置调试程序挂钩保存张量

使用调试器挂钩配置类创建一个debugger_hook_config使用对象collection_configs对象。

from sagemaker.debugger import DebuggerHookConfig debugger_hook_config=DebuggerHookConfig( collection_configs=collection_configs )

调试程序将模型训练输出张量保存到默认的 S3 存储桶中。默认 S3 存储桶 URI 的格式为s3://sagemaker-<region>-<12digit_account_id>/<training-job-name>/debug-output/.

如果要指定精确的 S3 存储桶 URI,请使用以下代码示例:

from sagemaker.debugger import DebuggerHookConfig debugger_hook_config=DebuggerHookConfig( s3_output_path="specify-your-s3-bucket-uri" collection_configs=collection_configs )

有关更多信息,请参阅 。调试器挂钩配置中的Amazon SageMaker Python 开发工具包.

用于配置调试器挂钩的笔记本电脑和代码示例示例

以下各节提供了有关如何使用调试器钩子保存、访问和可视化输出张量的笔记本和代码示例。

张量可视化示例笔记本

以下两个笔记本示例说明了 Amazon SageMaker 调试程序用于可视化张量的高级用法。调试器提供了深度学习模型训练的透明视图。

  • 使用 MXNet 的 SageMaker Studio 笔记本中的交互式张量分析

    该笔记本示例说明了如何使用 Amazon SageMaker 调试程序可视化保存的张量。通过可视化张量,您可以在训练深度学习算法时看到张量值如何变化。该笔记本包含一个具有未正确配置的神经网络的训练作业,并使用 Amazon SageMaker 调试程序聚合和分析张量,包括梯度、激活输出和权重。例如,下图显示了出现梯度消失问题的卷积层的梯度分布情况。

    
                        该图显示了出现梯度消失问题的卷积层的梯度分布情况

    该笔记本还说明了正确的初始超参数设置如何生成相同的张量分布图,从而改进了训练过程。

  • 从 MXNet 模型训练中可视化和调试张量

    该笔记本示例说明了如何使用 Amazon SageMaker 调试程序从 MXNet Gluon 模型训练作业中保存和可视化张量。它说明了调试程序设置为将所有张量保存到 Amazon S3 存储桶中,并检索 ReLu 激活输出以进行可视化。下图显示了 ReLu 激活输出的三维可视化。颜色方案设置为蓝色以表示接近于 0 的值,设置为黄色以表示接近于 1 的值。

    
                        ReLU 激活输出的可视化

    在这个笔记本中,TensorPlot从导入的类tensor_plot.py旨在绘制将二维图像作为输入的卷积神经网络 (CNN)。这些区域有:tensor_plot.py脚本使用调试程序检索张量并可视化 CNN。您可以在 SageMaker Studio 上运行该笔记本以重现张量可视化内容并实施您自己的卷积神经网络模型。

  • 采用 MxNet 的 SageMaker 笔记本电脑中的实时张量分析

    此示例指导您在 Amazon SageMaker 培训作业中安装发射张量所需的组件,以及在训练运行期间使用调试器 API 操作访问这些张量。在时尚 MNIST 数据集上训练了粘合 CNN 模型。在作业运行时,您将看到调试器如何从 100 个批次中检索第一个卷积层的激活输出并将其可视化。此外,此操作将向您展示如何在完成任务之后直观显示权重。

使用调试程序内置集合保存张量

您可以使用内置集合的张量使用CollectionConfigAPI 并使用DebuggerHookConfigAPI。以下示例说明了如何使用调试程序挂钩配置的默认设置来构建 SageMaker TensorFlow 评估程序。您也可以将其用于 MxNet,PyTorch 和 XGBoost 估计器。

注意

在下面的示例代码中,s3_output_path的参数DebuggerHookConfig为可选项。如果不指定它,调试器会将张量保存在s3://<output_path>/debug-output/,其中<output_path>是 SageMaker 培训作业的默认输出路径。例如:

"s3://sagemaker-us-east-1-111122223333/sagemaker-debugger-training-YYYY-MM-DD-HH-MM-SS-123/debug-output"
import sagemaker from sagemaker.tensorflow import TensorFlow from sagemaker.debugger import DebuggerHookConfig, CollectionConfig # use Debugger CollectionConfig to call built-in collections collection_configs=[ CollectionConfig(name="weights"), CollectionConfig(name="gradients"), CollectionConfig(name="losses"), CollectionConfig(name="biases") ] # configure Debugger hook # set a target S3 bucket as you want sagemaker_session=sagemaker.Session() BUCKET_NAME=sagemaker_session.default_bucket() LOCATION_IN_BUCKET='debugger-built-in-collections-hook' hook_config=DebuggerHookConfig( s3_output_path='s3://{BUCKET_NAME}/{LOCATION_IN_BUCKET}'. format(BUCKET_NAME=BUCKET_NAME, LOCATION_IN_BUCKET=LOCATION_IN_BUCKET), collection_configs=collection_configs ) # construct a SageMaker TensorFlow estimator sagemaker_estimator=TensorFlow( entry_point='directory/to/your_training_script.py', role=sm.get_execution_role(), base_job_name='debugger-demo-job', instance_count=1, instance_type="ml.m4.xlarge", framework_version="2.3.0", py_version="py37", # debugger-specific hook argument below debugger_hook_config=hook_config ) sagemaker_estimator.fit()

要查看调试程序内置集合列表,请参阅调试程序内置集合.

使用调试程序保存张量修改的内置集合

您可以使用CollectionConfigAPI 操作。以下示例说明如何调整内置losses收集并构建一个 SageMaker TensorFlow 估计器。您也可以将其用于 MxNet,PyTorch 和 XGBoost 估计器。

import sagemaker from sagemaker.tensorflow import TensorFlow from sagemaker.debugger import DebuggerHookConfig, CollectionConfig # use Debugger CollectionConfig to call and modify built-in collections collection_configs=[ CollectionConfig( name="losses", parameters={"save_interval": "50"})] # configure Debugger hook # set a target S3 bucket as you want sagemaker_session=sagemaker.Session() BUCKET_NAME=sagemaker_session.default_bucket() LOCATION_IN_BUCKET='debugger-modified-collections-hook' hook_config=DebuggerHookConfig( s3_output_path='s3://{BUCKET_NAME}/{LOCATION_IN_BUCKET}'. format(BUCKET_NAME=BUCKET_NAME, LOCATION_IN_BUCKET=LOCATION_IN_BUCKET), collection_configs=collection_configs ) # construct a SageMaker TensorFlow estimator sagemaker_estimator=TensorFlow( entry_point='directory/to/your_training_script.py', role=sm.get_execution_role(), base_job_name='debugger-demo-job', instance_count=1, instance_type="ml.m4.xlarge", framework_version="2.3.0", py_version="py37", # debugger-specific hook argument below debugger_hook_config=hook_config ) sagemaker_estimator.fit()

有关CollectionConfig参数,请参阅调试程序集合配置 API.

使用调试程序自定义集合保存张量

您也可以选择保存减少的张量数而不是全部张量(例如,如果要减少 Amazon S3 存储桶中保存的数据量)。以下示例说明了如何自定义调试程序挂钩配置以指定要保存的目标张量。您可以将其用于 TensorFlow、MxNet、PyTorch 和 XGBoost 估计值。

import sagemaker from sagemaker.tensorflow import TensorFlow from sagemaker.debugger import DebuggerHookConfig, CollectionConfig # use Debugger CollectionConfig to create a custom collection collection_configs=[ CollectionConfig( name="custom_activations_collection", parameters={ "include_regex": "relu|tanh", # Required "reductions": "mean,variance,max,abs_mean,abs_variance,abs_max" }) ] # configure Debugger hook # set a target S3 bucket as you want sagemaker_session=sagemaker.Session() BUCKET_NAME=sagemaker_session.default_bucket() LOCATION_IN_BUCKET='debugger-custom-collections-hook' hook_config=DebuggerHookConfig( s3_output_path='s3://{BUCKET_NAME}/{LOCATION_IN_BUCKET}'. format(BUCKET_NAME=BUCKET_NAME, LOCATION_IN_BUCKET=LOCATION_IN_BUCKET), collection_configs=collection_configs ) # construct a SageMaker TensorFlow estimator sagemaker_estimator=TensorFlow( entry_point='directory/to/your_training_script.py', role=sm.get_execution_role(), base_job_name='debugger-demo-job', instance_count=1, instance_type="ml.m4.xlarge", framework_version="2.3.0", py_version="py37", # debugger-specific hook argument below debugger_hook_config=hook_config ) sagemaker_estimator.fit()

有关CollectionConfig参数,请参阅调试程序集合配置.