Amazon Web Services 文档中描述的 Amazon Web Services 服务或功能可能因区域而异。要查看适用于中国区域的差异，请参阅 中国的 Amazon Web Services 服务入门 (PDF)。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Amazon Nova 型号进行加固微调 (RFT)

概述

什么是 RFT？

强化微调 (RFT) 通过训练反馈信号（可衡量的分数或表示模型表现的奖励）而不是精确的正确答案来提高模型性能。与从输入输出对中学习的监督微调不同，RFT 使用奖励函数来评估模型响应，并迭代优化模型以最大限度地提高这些奖励。当定义准确的正确输出具有挑战性时，这种方法非常出色，但您可以可靠地测量响应质量。

何时使用 RFT

当您可以定义清晰、可衡量的成功标准，但难以为培训提供准确正确的输出时，请使用 RFT。它非常适合：

最佳用例

在可以客观测量输出质量但很难预先定义最佳响应的领域，RFT 表现出色：

支持的模型

新星精简版 2.0

数据格式概述

RFT 训练数据必须遵循 OpenAI 强化微调格式。每个训练示例都是一个 JSON 对象，其中包含：

目前的局限性

数据格式示例

每个示例都应在 JSONL 文件中的一行上，每行一个 JSON 对象。

Chemistry problem

{  
  "id": "chem-01",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a helpful chemistry assistant"  
    },  
    {  
      "role": "user",  
      "content": "Calculate the molecular weight of caffeine (C8H10N4O2)"  
    }  
  ],  
  "reference_answer": {  
    "molecular_weight": 194.19,  
    "unit": "g/mol",  
    "calculation": "8(12.01) + 10(1.008) + 4(14.01) + 2(16.00) = 194.19"  
  }  
}

Math problem

{  
  "id": "sample-001",  // Optional   
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a math tutor"  
    },  
    {  
      "role": "user",  
      "content": "Solve: 2x + 5 = 13"  
    }  
  ],  
  "reference_answer": {  
    "solution": "x = 4",  
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]  
  }  
}

Code problem

{  
  "id": "code-002",  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a helpful programming assistant"  
    },  
    {  
      "role": "user",  
      "content": "Write a Python function that reverses a string without using built-in reverse methods"  
    }  
  ],  
  "reference_answer": {  
    "code": "def reverse_string(s):  \n    result = ''  \n    for i in range(len(s) - 1, -1, -1):  \n        result += s[i]  \n    return result",  
    "test_cases": [  
      {  
        "input": "hello",  
        "expected_output": "olleh"  
      },  
      {  
        "input": "",  
        "expected_output": ""  
      },  
      {  
        "input": "a",  
        "expected_output": "a"  
      },  
      {  
        "input": "Python123",  
        "expected_output": "321nohtyP"  
      }  
    ],  
    "all_tests_pass": true  
  }  
}

该reference_answer字段包含您的奖励函数用来对模型的响应进行评分的预期输出或评估标准。它不仅限于结构化输出，还可以包含任何有助于您的奖励功能评估质量的格式。

数据集大小建议

起点

评价为先的方法

在投资大规模 RFT 训练之前，请评估模型的基线性能：

从一个小数据集开始，您可以：

经过验证后，您可以扩展到更大的数据集以进一步提高性能。

有效训练数据的特征

清晰度和一致性

好的RFT示例需要清晰、明确的输入数据，以便能够对不同的模型输出进行准确的奖励计算。避免数据中的噪音，包括：

任何歧义都会误导训练过程并导致模型学习意外行为。

多样性

您的数据集应捕获各种各样的生产用例，以确保强大的现实世界性能。Include：

奖励功能注意事项

设计奖励功能以实现高效训练：

快速、可扩展的奖励功能可实现快速迭代和具有成本效益的实验。

其它属性

RFT 数据格式支持超出核心架构要求的自定义字段（messages和reference_answer）。这种灵活性使您可以添加奖励功能所需的任何其他数据，以进行适当的评估。

常见的附加属性

元数据字段示例：

带有其他属性的示例

{  
  "messages": [  
    {  
      "role": "system",  
      "content": "You are a math tutor"  
    },  
    {  
      "role": "user",  
      "content": "Solve: 2x + 5 = 13"  
    }  
  ],  
  "reference_answer": {  
    "solution": "x = 4",  
    "steps": ["2x = 13 - 5", "2x = 8", "x = 4"]  
  },  
  "task_id": "algebra_001",  
  "difficulty_level": "easy",  
  "domain": "algebra",  
  "expected_reasoning_steps": 3  
}

这些额外字段将在评估期间传递给您的奖励函数，从而实现针对您的特定用例量身定制的复杂评分逻辑。

训练配置

示例食谱

# Note:  
# This recipe can run on p5.48xlarge and p5en.48xlarge instance types.  
run:  
  name: "my-rft-run"                           # Unique run name (appears in logs/artifacts).  
  model_type: amazon.nova-2-lite-v1:0:256k  
  model_name_or_path: nova-lite-2/prod  
  data_s3_path: s3://<bucket>/<data file>      # Training dataset in JSONL;  
  replicas: 4  
  reward_lambda_arn: ""  
  
## SMTJ GRPO Training specific configs  
training_config:  
  max_length: 8192                              # Context window (tokens) for inputs+prompt;  
  global_batch_size: 16                         # Total samples per optimizer step across all replicas (16/32/64/128/256).  
  reasoning_effort: high                        # Enables reasoning mode high / low / or null for non-reasoning  
  
  rollout:                                      # How responses are generated for GRPO/advantage calc.  
    advantage_strategy:  
      number_generation: 2                      # N samples per prompt to estimate advantages (variance vs cost).  
    generator:  
      max_new_tokens: 6000                      # Cap on tokens generated per sample  
      set_random_seed: true                     # Seed generation for reproducibility across runs.  
      temperature: 1                            # Softmax temperature;  
      top_k: 1                                  # Sample only from top-K logits  
    rewards:  
      preset_reward_function: null              # Usage of reward functions built into Verl [exact_match, code_executions, math_answers]  
      api_endpoint:  
        lambda_arn: ""  
        lambda_concurrency_limit: 12             # Max concurrent Lambda invocations (throughput vs. throttling).  
  
  trainer:  
    max_steps: 2                                 # Steps to train for. One Step = global_batch_size  
    save_steps: 5
    test_steps: 1  
    save_top_k: 5  
      
    # RL parameters  
    ent_coeff: 0.0                              # A bonus added to the policy loss that rewards higher-output entropy.  
    kl_loss_coef: 0.001                         # Weight on the KL penalty between the actor (trainable policy) and a frozen reference model  
  
    optim_config:                    # Optimizer settings  
        lr: 7e-7                       # Learning rate  
        weight_decay: 0.0              # L2 regularization strength (0.0–1.0)  
        adam_beta1: 0.9  
        adam_beta2: 0.95  
  
    peft:                            # Parameter-efficient fine-tuning (LoRA)  
        peft_scheme: "lora"            # Enable LoRA for PEFT  
        lora_tuning:  
            alpha: 32   
            lora_plus_lr_ratio: 64.0     # LoRA+ learning rate scaling factor (0.0–100.0)

使用法学硕士作为评委进行RFT培训

概述

大型语言模型 (LLMs) 越来越多地被用作强化微调 (RFT) 工作流程中的评判，它提供了指导模型优化的自动奖励信号。在这种方法中，法学硕士根据指定的标准（无论是评估正确性、质量、风格依从性还是语义等效性）评估模型输出，并分配推动强化学习过程的奖励。

这对于难以以编程方式定义传统奖励函数的任务特别有价值，例如确定不同的表示形式（例如 “1/3”、“0.333” 和 “三分之一”）在语义上是否相同，或者评估连贯性和相关性等细微差别的品质。通过使用基于LLM的评委作为奖励函数，您可以将RFT扩展到复杂的领域，而无需大量的人工注释，从而可以在不同的用例中快速迭代和持续改进模型，而不仅仅是传统的对齐问题。

推理模式选择

可用模式

何时使用每种模式

使用高度推理来实现：

使用 none（省略 reasining_effort）或低推理：

成本和性能权衡取舍

更高的推理模式会增加：

验证你的法学硕士评委

在生产环境 LLM-as-a-judge中部署之前，请验证评判模型的评估是否与人类判断一致。这涉及：

此验证步骤有助于确保自动评估过程能够生成符合您的生产质量标准的模型。

法学硕士评委的 Lambda 配置

使用法学硕士作为评委是使用 Lambda 函数进行具有可验证奖励的强化学习 (RLVR) 的延伸。在 Lambda 函数中，您可以调用 Amazon Bedrock 中托管的其中一个模型。

重要的配置要求：

创建和运行作业

开始训练作业

使用 SageMaker AI Training Job 笔记本模板：https://docs.amazonaws.cn/sagemaker/latest/dg/nova-fine-tuning-training-job.html#nova-model-training-jobs-notebook

实例要求

该容器同时支持全等级和 LoRa 训练：

监控训练

训练日志包括每个步骤的全面指标。关键指标类别：

奖励指标

模型行为

训练健康

响应特征

性能

资源使用情况

使用经过微调的模型

训练完成后，最终的模型检查点将保存到您指定的输出位置。检查点路径可在以下版本中找到：

限制和最佳实践

限制

最佳实践

从小处着手

训练前评估

监控训练

优化奖励功能

迭代策略

如果奖励没有改善：

高级能力：Nova Forge

对于需要超出标准 RFT 限制的高级功能的用户，Nova Forge 可作为付费订阅服务提供，提供：

Nova Forge 基于 SageMaker 人工智能 HyperPod 运行，旨在支持企业客户构建自己的前沿模型。

有用的命令和提示

可观测性脚本集合可用来帮助监控训练作业的状态和进度。

可用的脚本有：

安装

pip install boto3  
git clone https://github.com/aws-samples/amazon-nova-samples.git  
cd amazon-nova-samples/customization/SageMakerUilts/SageMakerJobsMonitoring/

基本用法

# Enabling email notifications for training job status updates  
python enable_sagemaker_job_notifs.py --email test@amazon.com test2@gmail.com --region us-east-1 --platform SMTJ  
  
Creating resources........  
Please check your email for a subscription confirmation email, and click 'Confirm subscription' to start receiving job status email notifications!  
You'll receive the confirmation email within a few minutes.

# Obtaining training time estimates based on job configurations  
python get_training_time_estimate.py

# Obtaining approximations for how long training is expected to take for in-progress jobs  
python get-training-job-progress.py --region us-east-1 --job-name my-training-job --num-dataset-samples 1000

有关更多详细信息和示例，请参阅此处。