Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

使用 Amazon CloudWatch 指标监控和分析训练作业

Amazon SageMaker 训练作业是一个迭代过程，通过提供来自训练数据集中的示例来教模型进行预测。通常情况下，训练算法计算几个指标，例如训练错误和预测准确度。这些指标有助于诊断模型的学习效果是否良好，以及针对未看到的数据进行预测是否将实现很好的泛化。训练算法将这些指标的值写入到日志中，而 SageMaker 实时监控这些值并将它们发送到 Amazon CloudWatch。要分析训练作业的性能，您可以在 CloudWatch 中查看这些指标的图表。当训练作业已完成时，您还可以获得它通过调用 DescribeTrainingJob 操作在其最终迭代中计算的度量值的列表。

定义训练指标

SageMaker 会自动解析训练作业日志并将训练指标发送到 CloudWatch。默认情况下，SageMaker 会发送 SageMaker 作业和端点指标中列出的系统资源利用率指标。如果您希望 SageMaker 解析日志并将您自己的算法的训练作业中的自定义指标发送到 CloudWatch，则需要在配置 SageMaker 训练作业请求时传递指标名称和正则表达式，以便指定指标定义。

您可以使用 SageMaker 控制台、SageMaker Python SDK 或低级 SageMaker API 来指定要跟踪的指标。

如果您使用的是自己的算法，请执行以下操作：

例如，假定您的算法发出有关训练错误和验证错误的以下指标：

Train_error=0.138318;  Valid_error=0.324557;

如果您想在 CloudWatch 中监控这两个指标，指标定义的字典应类似于以下示例：

[
    {
        "Name": "train:error",
        "Regex": "Train_error=(.*?);"
    },
    {
        "Name": "validation:error",
        "Regex": "Valid_error=(.*?);"
    }    
]

在上一示例中定义的 train:error 指标的正则表达式中，第一部分查找确切的文本“Train_error=”，表达式 (.*?); 捕获任意字符，直至第一个分号字符出现。在此表达式中，括号告诉正则表达式捕获括号内的内容，. 表示任何字符，* 表示零或更多个字符，? 表示仅捕获到遇到 ; 字符的第一个实例为止。

使用 SageMaker Python SDK 定义指标

通过在初始化 Estimator 对象时将一系列指标名称和正则表达式指定为 metric_definitions 参数，来定义要发送到 CloudWatch 的指标。例如，如果您想在 CloudWatch 中监控 train:error 和 validation:error 指标，则您的 Estimator 初始化将与以下示例类似：

import sagemaker
from sagemaker.estimator import Estimator

estimator = Estimator(
    image_uri="your-own-image-uri",
    role=sagemaker.get_execution_role(), 
    sagemaker_session=sagemaker.Session(),
    instance_count=1,
    instance_type='ml.c4.xlarge',
    metric_definitions=[
       {'Name': 'train:error', 'Regex': 'Train_error=(.*?);'},
       {'Name': 'validation:error', 'Regex': 'Valid_error=(.*?);'}
    ]
)

有关使用 Amazon SageMaker Python SDK 估算器进行训练的更多信息，请参阅 GitHub 上的 Sagemaker Python SDK。

使用 SageMaker 控制台定义指标

如果您在创建训练作业时选择您在 ECR 中的算法容器选项作为 SageMaker 控制台中的算法源，请在指标部分中添加指标定义。以下屏幕截图显示了其在添加示例指标名称和相应的正则表达式后的外观。

使用低级 SageMaker API 定义指标

通过在您传递到 CreateTrainingJob 操作的 AlgorithmSpecification 输入参数的 MetricDefinitions 字段中指定指标名称和正则表达式的列表，定义要发送到 CloudWatch 的指标。例如，如果您想在 CloudWatch 中监控 train:error 和 validation:error 指标，则您的 AlgorithmSpecification 将与以下示例类似：

"AlgorithmSpecification": {
    "TrainingImage": your-own-image-uri,
    "TrainingInputMode": "File",
    "MetricDefinitions" : [
        {
            "Name": "train:error",
            "Regex": "Train_error=(.*?);"
        },
        {
            "Name": "validation:error",
            "Regex": "Valid_error=(.*?);"
        }
    ]
}

有关使用低级 SageMaker API 定义和运行训练作业的更多信息，请参阅 CreateTrainingJob。

监控训练作业指标（CloudWatch 控制台）

您可以在 CloudWatch 控制台中实时监控训练作业发出的指标。

监控训练作业指标（SageMaker 控制台）

您可以使用 SageMaker 控制台实时监控训练作业发出的指标。

示例：查看训练和验证曲线

通常，您将用于训练模型的数据拆分为训练和验证数据集。您使用训练集来训练用于对训练数据集进行预测的模型参数。然后，通过计算验证集的预测结果来测试模型预测的效果。一种常见的分析训练作业性能的方法是对照验证曲线绘制训练曲线。

查看训练集和验证集的准确性随时间变化的图形可帮助您改进模型性能。例如，如果训练准确性随时间持续提高，但在某个时间点验证准确性开始下降，则您可能过拟合您的模型。要解决此问题，可以对模型进行调整，例如提高正则化水平。

在此示例中，您可以使用 SageMaker 笔记本实例的示例笔记本部分中的 Image-classification-full-training 示例。如果您还没有 SageMaker 笔记本实例，请按照 步骤 1：创建 Amazon SageMaker 笔记本实例 中的说明进行操作来创建一个。如果您愿意，可以遵循 GitHub 上示例笔记本中的端到端多类图像分类示例。您还需要一个 Amazon S3 存储桶来存储训练数据和进行模型输出。