使用 fmeval 库定制工作流程

创建自定义 ModelRunner

1. 定义模型配置。

   以下代码示例演示如何将dataclass装饰器应用于自定义HFModelConfig类，以便您可以为自定义类定义模型配置 Hugging Face型号:

   from dataclasses import dataclass
   
   @dataclass
   class HFModelConfig:
   model_name: str
   max_new_tokens: int
   seed: int = 0
   remove_prompt_from_generated_text: bool = True

   在前面的代码示例中，以下内容适用：

   • 参数 max_new_tokens 用于通过限制 LLM 返回的标记数来限制响应的长度。在类实例化时，通过传递 model_name 的值来设置模型类型。在本例中，模型名称设置为 gpt2，如本节末尾所示。参数 max_new_tokens 是一个选项，用于使用预训练的 OpenAI GPT 模型的 gpt2 模型配置来配置文本生成策略。AutoConfig有关其他模型类型，请参阅。

   • 如果参数 remove_prompt_from_generated_text 设置为 True，则生成的响应将不包含请求中发送的源提示。

   有关其他文本生成参数，请参阅 Hugging Face 的文档 GenerationConfig。

2. 创建自定义 ModelRunner 并实现预测方法。以下代码示例显示了如何ModelRunner为创建自定义 Hugging Face 使用在前面的代码示例中创建的HFModelConfig类进行建模。

   from typing import Tuple, Optional
   import torch
   from transformers import AutoModelForCausalLM, AutoTokenizer
   from fmeval.model_runners.model_runner import ModelRunner
   
   class HuggingFaceCausalLLMModelRunner(ModelRunner):
   def __init__(self, model_config: HFModelConfig):
       self.config = model_config
       self.model = AutoModelForCausalLM.from_pretrained(self.config.model_name)
       self.tokenizer = AutoTokenizer.from_pretrained(self.config.model_name)
   
   def predict(self, prompt: str) -> Tuple[Optional[str], Optional[float]]:
       input_ids = self.tokenizer(prompt, return_tensors="pt").to(self.model.device)
       generations = self.model.generate(
           **input_ids,
           max_new_tokens=self.config.max_new_tokens,
           pad_token_id=self.tokenizer.eos_token_id,
       )
       generation_contains_input = (
           input_ids["input_ids"][0] == generations[0][: input_ids["input_ids"].shape[1]]
       ).all()
       if self.config.remove_prompt_from_generated_text and not generation_contains_input:
           warnings.warn(
               "Your model does not return the prompt as part of its generations. "
               "`remove_prompt_from_generated_text` does nothing."
           )
       if self.config.remove_prompt_from_generated_text and generation_contains_input:
           output = self.tokenizer.batch_decode(generations[:, input_ids["input_ids"].shape[1] :])[0]
       else:
           output = self.tokenizer.batch_decode(generations, skip_special_tokens=True)[0]
   
       with torch.inference_mode():
           input_ids = self.tokenizer(self.tokenizer.bos_token + prompt, return_tensors="pt")["input_ids"]
           model_output = self.model(input_ids, labels=input_ids)
           probability = -model_output[0].item()
   
       return output, probability

   前面的代码使用了继承该HuggingFaceCausalLLMModelRunner类属性的自定义 FMEval ModelRunner类。自定义类包含一个构造函数和一个预测函数的定义，预测函数返回一个 Tuple。

   更多 ModelRunner 示例，请参阅 fmeval 库中的 model_runner 部分。

   HuggingFaceCausalLLMModelRunner 构造函数包含以下定义：

   • 配置被设为本节开头定义的 HFModelConfig。

   • 该模型设置为来自的预训练模型 Hugging Face 在实例化时使用 model_name 参数指定的@@ 自动类。

   • 分词器设置为一个类来自 Hugging Face 与指定的预训练模型相匹配的分词器库。model_name

   HuggingFaceCausalLLMModelRunner 类中的 predict 方法使用以下定义：

   • input_ids - 包含模型输入的变量。模型生成的输入信息如下。

     • A tokenizer 将中包含的请求prompt转换为令牌标识符 (IDs)。这些标记 IDs是代表特定标记（单词、子词或字符）的数值，模型可以直接将其用作输入。令 IDs 牌以 a 的形式返回 PyTorch 张量对象，由指定。return_tensors="pt"有关其他类型的返回张量类型，请参见 Hugging Face apply_chat_ template 的文档。

     • 令牌 IDs 被发送到模型所在的设备，以便模型可以使用。

   • generations - 包含 LLM 生成的响应的变量。模型的生成函数使用以下输入来生成响应：

     • 上一步中的 input_ids。

     • HFModelConfig 中指定的参数 max_new_tokens。

     • pad_token_id 会在回复中添加一个句末标记 (eos)。有关您可以使用的其他代币，请参阅 Hugging Face 的文档PreTrainedTokenizer。

   • generation_contains_input – 布尔变量，当生成的响应包含输入提示时返回 True，否则返回 False。返回值的计算方法是对以下元素进行逐一比较。

     • 输入提示 IDs 中包含的所有标记input_ids["input_ids"][0]。

     • 包含在 generations[0][: input_ids["input_ids"].shape[1]] 中的生成内容的开头。

     如果您在配置中将 LLM 指向 remove_prompt_from_generated_text，但生成的响应不包含输入提示，则 predict 方法会返回警告。

     该方法的输出包含该predict方法返回的字符串，该字符串将响应中 IDs 返回的令牌转换为人类可读的文本。batch_decode如果将 remove_prompt_from_generated_text 指定为 True，则会从生成的文本中删除输入提示。如果将 remove_prompt_from_generated_text 指定为 False，则生成的文本将不包含您在字典 special_token_dict 中由 skip_special_tokens=True 指定的任何特殊标记。

3. 测试您的 ModelRunner。向您的模型发送样品申请。

   以下示例说明如何使用来自的gpt2预训练模型来测试模型 Hugging Face AutoConfig班级:

   hf_config = HFModelConfig(model_name="gpt2", max_new_tokens=32)
   model = HuggingFaceCausalLLMModelRunner(model_config=hf_config)

   在前面的代码示例中，model_name 指定了预训练模型的名称。HFModelConfig 类作为 hf_config 实例化，并为参数 max_new_tokens 赋值，用于初始化 ModelRunner。

   如果你想使用另一个预训练模型 Hugging Face，pretrained_model_name_or_path在from_pretrained下面选择一个AutoClass。

   最后，测试您的 ModelRunner。如以下代码示例所示，向您的模型发送一个请求示例：

   model_output = model.predict("London is the capital of?")[0]
   print(model_output)
   eval_algo.evaluate_sample()