在 Amazon SageMaker 中使用 TensorBoard 调试和分析训练作业

Amazon SageMaker with TensorBoard 是 Amazon SageMaker 的一项功能，它将 TensorBoard 的可视化工具引入 SageMaker，并与 SageMaker 训练和域集成。它提供了相关选项，可用于通过 SageMaker 域管理您的 Amazon 账户以及属于该账户的用户，允许域用户访问 TensorBoard 数据并提供对 Amazon S3 的适当权限，帮助域用户使用 TensorBoard 可视化插件执行模型调试任务。SageMaker with TensorBoard 通过 SageMaker Data Manager 插件进行扩展，域用户可使用此插件在 TensorBoard 应用程序中的一个位置访问大量训练作业。

对于数据科学家

训练大型模型可能存在科学问题，需要数据科学家进行调试并予以解决，以改善模型收敛性并使梯度下降过程稳定。

当您遇到损失不收敛、权重和梯度消失或迸发等模型训练问题时，需要访问张量数据来深入探究和分析模型参数、标量和任何自定义指标。利用 SageMaker with TensorBoard，您可以可视化从训练作业中提取的模型输出张量。当您试用不同的模型、多个训练运行和模型超参数时，可以在 TensorBoard 中选择多个训练作业，然后在一个位置比较这些作业。

对于管理员

如果您是 Amazon 账户或 SageMaker 域的管理员，则可以通过 SageMaker 控制台中的 TensorBoard 登录页面或 SageMaker 域管理 TensorBoard 应用程序用户。每个域用户均能使用授予的权限访问其 TensorBoard 应用程序。作为 SageMaker 域管理员和域用户，您可以使用相应级别的权限创建和删除 TensorBoard 应用程序。

支持的框架和 Amazon Web Services 区域

此功能支持以下机器学习框架和 Amazon Web Services 区域。

先决条件

以下列表显示了开始使用 SageMaker with TensorBoard 的先决条件。

使用 TensorBoard 输出数据配置准备训练作业

在 SageMaker 中进行深度学习的典型训练作业包括两个主要步骤：准备训练脚本和配置 SageMaker 训练作业启动器。在此部分中，您可以查看所需的更改，以便从 SageMaker 训练中收集与 TensorBoard 兼容的数据。

步骤 1：修改自己的训练脚本

请您务必确定要收集哪些输出张量和标量，并使用以下任意工具修改训练脚本中的代码行：TensorBoardX、TensorFlow Summary Writer、PyTorch Summary Writer 或 SageMaker Debugger。

此外，请务必将 TensorBoard 数据输出路径指定为用于在训练容器中回调的日志目录 (log_dir)。

有关每个框架的回调的更多信息，请参阅以下资源。

步骤 2：使用 TensorBoard 数据配置构建 SageMaker 训练启动器

在配置 SageMaker 框架估算器时使用 sagemaker.debugger.TensorBoardOutputConfig。此配置 API 将您指定用于保存 TensorBoard 数据的 S3 存储桶映射到训练容器中的本地路径 (/opt/ml/output/tensorboard)。将模块的对象传递给估算器类的 tensorboard_output_config 参数。以下代码段显示一个使用 TensorBoard 输出配置参数准备 TensorFlow 估算器的示例。

"TensorBoardOutputConfig": { 
  "LocalPath": "/opt/ml/output/tensorboard",
  "S3OutputPath": "s3_output_bucket"
}

from sagemaker.tensorflow import TensorFlow
from sagemaker.debugger import TensorBoardOutputConfig

# Set variables for training job information, 
# such as s3_out_bucket and other unique tags.
... 

LOG_DIR="/opt/ml/output/tensorboard"

output_path = os.path.join(
    "s3_output_bucket", "sagemaker-output", "date_str", "your-training_job_name"
)

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=os.path.join(output_path, 'tensorboard'),
    container_local_output_path=LOG_DIR
)

estimator = TensorFlow(
    entry_point="train.py",
    source_dir="src",
    role=role,
    image_uri=image_uri,
    instance_count=1,
    instance_type="ml.c5.xlarge",
    base_job_name="your-training_job_name",
    tensorboard_output_config=tensorboard_output_config,
    hyperparameters=hyperparameters
)

如何访问 TensorBoard on SageMaker

您可以通过两种方法访问 TensorBoard：以编程方式使用 sagemaker.interactive_apps.tensorboard 模块来生成未签名或预签名的 URL，或者使用 SageMaker 控制台中的 TensorBoard 登录页面。打开 TensorBoard 后，SageMaker 将运行 TensorBoard 插件，并自动查找采用与 TensorBoard 兼容的文件格式的所有训练作业输出数据。

使用 sagemaker.interactive_apps.tensorboard 模块打开 TensorBoard

sagemaker.interactive_apps.tensorboard 模块提供了一个名为 get_app_url 的函数，该函数生成未签名或预签名的 URL，以便在 SageMaker 或 Amazon EC2 的任意环境中打开 TensorBoard 应用程序。这是为了提供面向 Studio 用户和非 Studio 用户的统一体验。对于 Studio 环境，您可以通过按原样运行 get_app_url() 函数来打开 TensorBoard，也可以指定作业名称以便在 TensorBoard 应用程序打开时开始跟踪。对于非 Studio 环境，您可以通过向实用程序函数提供您的域和用户配置文件信息来打开 TensorBoard。使用此功能，无论您在哪里或以何种方式运行训练代码和启动训练作业，都可以通过在 Jupyter 笔记本或终端中运行 get_app_url 函数来直接访问 TensorBoard。

选项 1：对于 SageMaker Studio

如果您使用的是 SageMaker Studio，则可以直接打开 TensorBoard 应用程序，也可以通过运行 get_app_url 函数来检索未签名的 URL，如下所示。由于您已在 Studio 环境中并以域用户身份登录，因此，get_app_url() 会生成未签名的 URL，因为无需再次进行身份验证。

打开 TensorBoard 应用程序

以下代码自动从 get_app_url() 函数在环境的默认 Web 浏览器中返回的未签名的 URL 打开 TensorBoard 应用程序。

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)

app.get_app_url(
    training_job_name="your-training_job_name" # Optional. Specify the job name to track a specific training job 
)

检索未签名的 URL 并手动打开 TensorBoard 应用程序

以下代码将打印一个未签名的 URL，您可以将其复制到 Web 浏览器并打开 TensorBoard 应用程序。

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)
print("Navigate to the following URL:")
print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        open_in_default_web_browser=False           # Set to False to print the URL to terminal.
    )
)

请注意，如果您在 SageMaker Studio 环境之外运行前两个代码示例，则该函数将返回指向 SageMaker 控制台中的 TensorBoard 登录页面的 URL，因为没有您的域和用户配置文件的登录信息。要创建预签名的 URL，请参阅以下部分中的选项 2。

选项 2：对于非 Studio 环境

如果您使用非 Studio 环境（例如 SageMaker 笔记本实例或 Amazon EC2），并且要直接从您所在的环境中打开 TensorBoard，则需要使用您的域和用户配置文件信息生成一个预签名的 URL。预签名的 URL 是用于登录到 Amazon SageMaker Studio 的 URL，它是使用您的域和用户配置文件创建的，因此已获得对与您的域关联的所有域应用程序和文件的访问权限。要通过预签名的 URL 打开 TensorBoard，请将 get_app_url 函数与您的域和用户配置文件名称结合使用，如下所示。

请注意，此选项要求域用户拥有 sagemaker:CreatePresignedDomainUrl 权限。如果不具有此权限，域用户将收到异常错误。

print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,          # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}     # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
)

optional_create_presigned_url_kwargs={"ExpiresInSeconds": 1500}

Navigate to the following URL:
https://us-west-2.console.aws.amazon.com/sagemaker/home?region=us-west-2#/tensor-board-landing

通过将 get_app_url 函数用作 estimator 类方法来打开 TensorBoard

如果您正在使用 SageMaker Python SDK 的 estimator 类运行训练作业，并且具有 estimator 类的活动对象，则也可以访问 estimator 类的作为类方法的 get_app_url 函数。打开 TensorBoard 应用程序或通过运行 get_app_url 方法来检索未签名的 URL，如下所示。get_app_url 类方法从估算器中提取训练作业名称，然后使用指定作业打开 TensorBoard 应用程序。

选项 1：对于 SageMaker Studio

打开 TensorBoard 应用程序

以下代码自动从 get_app_url() 方法在环境的默认 Web 浏览器中返回的未签名的 URL 打开 TensorBoard 应用程序。

estimator.get_app_url(
    app_type=SupportedInteractiveAppTypes.TENSORBOARD # Required.
)

检索未签名的 URL 并手动打开 TensorBoard 应用程序

以下代码将打印一个未签名的 URL，您可以将其复制到 Web 浏览器并打开 TensorBoard 应用程序。

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required.
        open_in_default_web_browser=False, # Optional. Set to False to print the URL to terminal.
    )
) 

请注意，如果您在 SageMaker Studio 环境之外运行前两个代码示例，则该函数将返回指向 SageMaker 控制台中的 TensorBoard 登录页面的 URL，因为没有您的域和用户配置文件的登录信息。要创建预签名的 URL，请参阅以下部分中的选项 2。

选项 2：对于非 Studio 环境

如果您使用非 Studio 环境（例如 SageMaker 笔记本实例或 Amazon EC2），并且要生成预签名的 URL 来打开 TensorBoard 应用程序，请将 get_app_url 方法与您的域和用户配置文件信息结合使用，如下所示。

请注意，此选项要求域用户拥有 sagemaker:CreatePresignedDomainUrl 权限。如果不具有此权限，域用户将收到异常错误。

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,            # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}       # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
) 

通过 SageMaker 控制台打开 TensorBoard

您还可以使用 SageMaker 控制台 UI 打开 TensorBoard 应用程序。提供了两个选项以通过 SageMaker 控制台打开 TensorBoard 应用程序。

选项 1：从域详细信息页面启动 TensorBoard

导航到域详细信息页面

以下过程展示如何导航到域详细信息页面。

启动用户配置文件应用程序

以下过程说明如何启动作用域为用户配置文件的 Studio 应用程序。

选项 2：从 TensorBoard 登录页面启动 TensorBoard

以下过程说明如何从 TensorBoard 登录页面启动 TensorBoard 应用程序。

以下屏幕截图显示了 TensorBoard 在 SageMaker 控制台的左侧导航窗格中的位置，以及主窗格中的 SageMaker with TensorBoard 登录页面。

在 TensorBoard 中访问和可视化训练输出数据

通过将从 S3 存储桶收集的输出张量与训练期间或之后的训练作业成对加载，可以进行在线或离线分析。

在打开 TensorBoard 应用程序时，TensorBoard 将打开并显示 SageMaker Data Manager 选项卡。以下屏幕截图显示了 TensorBoard 应用程序中的“SageMaker Data Manager”选项卡的完整视图。

在 SageMaker Data Manager 选项卡中，您可以选择任意训练作业，并从 Amazon S3 加载与 TensorBoard 兼容的训练输出数据。

探究在 TensorBoard 中可视化的训练输出数据

在图形选项卡中，您可以在左侧窗格中看到已加载训练作业的列表。您也可以使用训练作业的复选框来显示或隐藏可视化项。TensorBoard 动态插件是动态激活的，具体取决于您如何将训练脚本设置为包括摘要写入器并传递张量和标量集合的回调，因此，图形选项卡也将动态显示。以下屏幕截图显示了每个选项卡的示例视图，其中包含两个训练作业的可视化，这两个训练作业收集了时间序列、标量、图形、分布和直方图插件的指标。

“时间序列” 选项卡视图

“标量”选项卡视图

“图表”选项卡视图

“分配”选项卡视图

“直方图”选项卡视图

删除未使用的 TensorBoard 应用程序

在 TensorBoard 中监控和试用作业后，请关闭 TensorBoard 应用程序。

注意事项

在使用 SageMaker with TensorBoard 时，请注意以下几点。