1f45bd1e8577af66a05f5e3fadb0b29

通过ORPO对llama进行微调

前言

ORPO是一种新颖的微调技术，它将传统的监督微调和偏好对齐阶段整合到一个过程中。这减少了训练所需的计算资源和时间。此外，经验结果表明，ORPO在各种模型大小和基准测试中都超过了其他对齐方法。 在本文中，我们将使用ORPO和TRL库来微调新的Llama 3 8B模型。代码可以在Google Colab（https://colab.research.google.com/drive/1eHNWg9gnaXErdAa8_mcvjMupbSS6rDvi?usp=sharing）和GitHub上的LLM(https://github.com/mlabonne/llm-course)课程中找到。

⚖️ ORPO

指令调整和偏好对齐是将大型语言模型（LLMs）适应特定任务的关键技术。传统上，这涉及到一个多阶段的过程：

• 对指令进行监督式微调（SFT）以使模型适应目标领域
• 像人类反馈的强化学习（RLHF）或直接优选优化（DPO）这样的偏好对齐方法，以增加生成优选响应而非被拒绝响应的可能性。

微信图片_20240423001958

然而，研究人员发现这种方法的一个局限性。就是监督微调（SFT）可以有效地让模型适应特定领域，这也就是为什么需要偏好对齐阶段RLHF，扩大受欢迎输出和不受欢迎输出之间概率的差距。

image

SFT过程中，不受欢迎概率增加实证 from ORPO论文

2024年Hong和Lee提出的ORPO通过将SFT和RLHF统一为一个完整训练过程，为这个问题提供了一个优雅的解决方案。ORPO修改了标准language model的训练目标，将负对数似然损失与odds ratio(OR)项结合起来。这种OR损失对不受欢迎的输出施加了轻微的惩罚，同时加大奖励受欢迎的输出，允许模型同时学习目标任务并与人类偏好对齐。

91e1091deacae95fb17f1b6995b94c2

ORPO已经在主要的微调库中得到实现，比如TRL、Axolotl和LLaMA-Factory。在下一节中，我们将看到如何使用TRL进行操作。