TensorBoard 用于调试和分析 Amazon 中的训练作业 SageMaker

Amazon SageMaker TensorBoard with SageMaker 是 Amazon 的一项功能，它可以将的可视化工具与 SageMaker T SageMaker raining 和 domain 集成。TensorBoard它提供了通过SageMaker 域管理您的 Amazon 账户和属于该账户的用户的选项，为域用户提供对 Amazon S3 的适当权限访问 TensorBoard 数据的权限，并帮助域用户使用 TensorBoard 可视化插件执行模型调试任务。 SageMaker w TensorBoard ith 通过 D SageMaker ata Manager 插件进行了扩展，通过该插件，域用户可以在 TensorBoard应用程序中的一个位置访问多个训练作业。

对于数据科学家

训练大型模型可能存在科学问题，需要数据科学家进行调试并予以解决，以改善模型收敛性并使梯度下降过程稳定。

当您遇到损失不收敛、权重和梯度消失或迸发等模型训练问题时，需要访问张量数据来深入探究和分析模型参数、标量和任何自定义指标。 SageMaker 与一起使用 TensorBoard，您可以可视化从训练作业中提取的模型输出张量。当你对不同的模型、多个训练运行和模型超参数进行实验时，你可以在一个地方选择多个训练作业 TensorBoard 并对它们进行比较。

对于管理员

如果您是 Amazon 账户或SageMaker 域的管理员，则可以通过 SageMaker 控制台或 SageMaker域中的 TensorBoard 登录页面管理 TensorBoard 应用程序用户。只要获得授予的权限，每个域用户都可以访问自己的 TensorBoard 应用程序。作为 SageMaker 域管理员和域用户，您可以根据自己的权限级别创建和删除 TensorBoard 应用程序。

支持的框架和 Amazon Web Services 区域

此功能支持以下机器学习框架和 Amazon Web Services 区域。

先决条件

以下列表显示了开始使用的 SageMaker 先决条件 TensorBoard。

使用 TensorBoard 输出数据配置准备训练作业

中的典型深度学习训练作业 SageMaker 包括两个主要步骤：准备训练脚本和配置 SageMaker 训练作业启动器。在本节中，您可以查看所需的更改，以便从 TensorBoard T SageMaker raining 中收集与之兼容的数据。

步骤 1：修改自己的训练脚本

确保确定要收集哪些输出张量和标量，并使用以下任何工具修改训练脚本中的代码行： TensorBoardX、Summary Writer、 TensorFlow Summary Writer 或 SageMaker Debugger。 PyTorch

另外，请确保将 TensorBoard 数据输出路径指定为训练容器中回调的日志目录 (log_dir)。

有关每个框架的回调的更多信息，请参阅以下资源。

第 2 步：使用 TensorBoard 数据配置构建 SageMaker训练启动器

在配置 SageMaker 框架估算器sagemaker.debugger.TensorBoardOutputConfig时使用。此配置 API 将您指定用于保存 TensorBoard 数据的 S3 存储桶与训练容器中的本地路径（/opt/ml/output/tensorboard）进行映射。将模块的对象传递给估算器类的 tensorboard_output_config 参数。以下代码片段显示了使用 TensorBoard 输出配置参数准备 TensorFlow 估算器的示例。

"TensorBoardOutputConfig": { 
  "LocalPath": "/opt/ml/output/tensorboard",
  "S3OutputPath": "s3_output_bucket"
}

from sagemaker.tensorflow import TensorFlow
from sagemaker.debugger import TensorBoardOutputConfig

# Set variables for training job information, 
# such as s3_out_bucket and other unique tags.
... 

LOG_DIR="/opt/ml/output/tensorboard"

output_path = os.path.join(
    "s3_output_bucket", "sagemaker-output", "date_str", "your-training_job_name"
)

tensorboard_output_config = TensorBoardOutputConfig(
    s3_output_path=os.path.join(output_path, 'tensorboard'),
    container_local_output_path=LOG_DIR
)

estimator = TensorFlow(
    entry_point="train.py",
    source_dir="src",
    role=role,
    image_uri=image_uri,
    instance_count=1,
    instance_type="ml.c5.xlarge",
    base_job_name="your-training_job_name",
    tensorboard_output_config=tensorboard_output_config,
    hyperparameters=hyperparameters
)

如何访问 TensorBoard SageMaker

您可以 TensorBoard 通过两种方法进行访问：以编程方式使用生成未签名或预签名 URL 的sagemaker.interactive_apps.tensorboard模块，或者使用控制台中的 TensorBoard 登录页面。 SageMaker 打开后 TensorBoard， SageMaker 运行 TensorBoard 插件并自动查找所有采用 TensorBoard兼容文件格式的训练作业输出数据。

TensorBoard 使用sagemaker.interactive_apps.tensorboard模块打开

该sagemaker.interactive_apps.tensorboard模块提供了一个名为的函数get_app_url，该函数生成未签名或预签名的 URL，以便在 SageMaker 或 Amazon EC2 中的任何环境中打开 TensorBoard 应用程序。这是为了为 Studio Classic 和非 Studio Classic 用户提供统一的体验。对于 Studio 环境，您可以 TensorBoard 按原样运行get_app_url()函数来打开，也可以指定作业名称以便在 TensorBoard 应用程序打开时开始跟踪。对于非 Studio Classic 环境，您可以 TensorBoard通过向实用程序功能提供您的域名和用户配置文件信息来打开。有了此功能，无论您在何处或以何种方式运行训练代码和启动训练作业，都可以 TensorBoard 通过在 Jupyter 笔记本或终端中运行该get_app_url功能来直接访问。

选项 1：适用于经典 SageMaker工作室

如果您使用的是 SageMaker Studio Classic，则可以直接打开 TensorBoard应用程序或通过运行get_app_url函数来检索未签名的 URL，如下所示。由于您已经在 Studio Classic 环境中并以域用户身份登录，因此无需再次进行身份验证，因此get_app_url()会生成未签名的 URL。

打开 TensorBoard 应用程序

以下代码会自动从该get_app_url()函数在您的环境的默认 Web 浏览器中返回的未签名 URL 打开 TensorBoard 应用程序。

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)

app.get_app_url(
    training_job_name="your-training_job_name" # Optional. Specify the job name to track a specific training job 
)

检索未签名 URL 并手动打开 TensorBoard应用程序

以下代码会打印一个未签名的 URL，您可以将其复制到 Web 浏览器并打开 TensorBoard 应用程序。

from sagemaker.interactive_apps import tensorboard

region = "us-west-2"
app = tensorboard.TensorBoardApp(region)
print("Navigate to the following URL:")
print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        open_in_default_web_browser=False           # Set to False to print the URL to terminal.
    )
)

请注意，如果您在 SageMaker Studio Classic 环境之外运行前两个代码示例，则该函数将在 SageMaker 控制台中返回一个指向 TensorBoard登录页面的 URL，因为这些页面没有指向您的域名和用户个人资料的登录信息。要创建预签名的 URL，请参阅以下部分中的选项 2。

选项 2：适用于非 Studio 经典版环境

如果您使用非 Studio Classic 环境（例如 SageMaker 笔记本实例或 Amazon EC2），并且想要 TensorBoard 直接从您所在的环境中打开，则需要生成一个预先签名的 URL，其中包含您的域名和用户个人资料信息。预签名 URL 是在使用您的域名和用户个人资料创建 URL 时登录到 Amazon SageMaker Studio Classic 的 URL，因此被授予访问与您的域名关联的所有域应用程序和文件的权限。要 TensorBoard 通过预签名 URL 打开，请使用带有您的域名和用户个人资料名称的get_app_url函数，如下所示。

请注意，此选项要求域用户拥有sagemaker:CreatePresignedDomainUrl权限。如果没有权限，域用户将收到异常错误。

print(
    app.get_app_url(
        training_job_name="your-training_job_name", # Optional. Specify the name of the job to track.
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,          # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}     # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
)

optional_create_presigned_url_kwargs={"ExpiresInSeconds": 1500}

Navigate to the following URL:
https://us-west-2.console.aws.amazon.com/sagemaker/home?region=us-west-2#/tensor-board-landing

TensorBoard 使用get_app_url函数作为estimator类方法打开

如果您正在使用 SageMaker Python SDK 的estimator类运行训练作业，并且有该estimator类的活动对象，则也可以将该get_app_url函数作为该类的类方法进行estimator访问。打开 TensorBoard 应用程序或通过运行get_app_url方法来检索未签名的 URL，如下所示。get_app_url类方法从估算器中提取训练作业名称，然后使用指定作业打开 TensorBoard 应用程序。

选项 1：适用于经典 SageMaker 工作室

打开 TensorBoard 应用程序

以下代码会自动从该get_app_url()方法在您的环境的默认 Web 浏览器中返回的未签名 URL 打开 TensorBoard 应用程序。

estimator.get_app_url(
    app_type=SupportedInteractiveAppTypes.TENSORBOARD # Required.
)

检索未签名 URL 并手动打开 TensorBoard应用程序

以下代码会打印一个未签名的 URL，您可以将其复制到 Web 浏览器并打开 TensorBoard 应用程序。

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required.
        open_in_default_web_browser=False, # Optional. Set to False to print the URL to terminal.
    )
) 

请注意，如果您在 SageMaker Studio Classic 环境之外运行前两个代码示例，则该函数将在 SageMaker 控制台中返回一个指向 TensorBoard登录页面的 URL，因为这些页面没有指向您的域名和用户个人资料的登录信息。要创建预签名的 URL，请参阅以下部分中的选项 2。

选项 2：适用于非 Studio 经典版环境

如果您使用非 Studio Classic 环境（例如 SageMaker 笔记本实例和 Amazon EC2），并且想要生成用于打开 TensorBoard 应用程序的预签名 URL，请按如下方式使用包含您的域和用户个人资料信息的get_app_url方法。

请注意，此选项要求域用户拥有sagemaker:CreatePresignedDomainUrl权限。如果没有权限，域用户将收到异常错误。

print(
    estimator.get_app_url(
        app_type=SupportedInteractiveAppTypes.TENSORBOARD, # Required
        create_presigned_domain_url=True,           # Reguired to be set to True for creating a presigned URL.
        domain_id="your-domain-id",                 # Required if creating a presigned URL (create_presigned_domain_url=True).
        user_profile_name="your-user-profile-name", # Required if creating a presigned URL (create_presigned_domain_url=True).
        open_in_default_web_browser=False,            # Optional. Set to False to print the URL to terminal.
        optional_create_presigned_url_kwargs={}       # Optional. Add any additional args for Boto3 create_presigned_domain_url
    )
) 

TensorBoard 通过 SageMaker控制台打开

您也可以使用 SageMaker 控制台 UI 打开 TensorBoard 应用程序。通过 SageMaker 控制台打开 TensorBoard 应用程序有两个选项。

选项 1： TensorBoard 从域名详情页面启动

导航到域名详情页面

以下过程说明如何导航到域名详细信息页面。

启动用户配置文件应用程序

以下过程说明如何启动范围为用户配置文件的 Studio Classic 应用程序。

选项 2： TensorBoard 从 TensorBoard 登录页面启动

以下过程描述了如何从 TensorBoard 登录页面启动 TensorBoard 应用程序。

以下屏幕截图显示了 SageMaker 控制台左侧导航窗格 TensorBoard 中的位置 SageMaker ，以及主窗格中的 TensorBoard 登录页面。

访问和可视化训练输出数据 TensorBoard

通过将从 S3 存储桶收集的输出张量与训练期间或之后的训练作业成对加载，可以进行在线或离线分析。

打开 TensorBoard 应用程序时， TensorBoard 打开时会显示SageMaker数据管理器选项卡。以下屏幕截图显示了 TensorBoard 应用程序中 “ SageMaker 数据管理器” 选项卡的完整视图。

在SageMaker 数据管理器选项卡中，您可以从 Amazon S3 中选择任何训练任务和加载 TensorBoard兼容的训练输出数据。

浏览中可视化的训练输出数据 TensorBoard

在图形选项卡中，您可以在左侧窗格中看到已加载训练作业的列表。您也可以使用训练作业的复选框来显示或隐藏可视化项。 TensorBoard 动态插件是动态激活的，具体取决于您如何将训练脚本设置为包括摘要编写器以及张量和标量集合的传递回调，因此图形选项卡也会动态显示。以下屏幕截图显示了每个选项卡的示例视图，其中包含两个训练作业的可视化，这两个训练作业收集了时间序列、标量、图形、分布和直方图插件的指标。

“时间序列” 选项卡视图

“标量”选项卡视图

“图表”选项卡视图

“分配”选项卡视图

“直方图”选项卡视图

删除未使用的 TensorBoard 应用程序

完成监控和尝试中的作业后 TensorBoard，请关闭 TensorBoard 应用程序。

注意事项

SageMaker 与一起使用时，请考虑以下几点 TensorBoard。