有监督微调#

术语解释#

SFT（Supervised Fine-Tuning，有监督微调） 是用「人工编写的指令 - 回答」数据对大语言模型（LLM）对齐过程中的核心步骤，旨在将预训练好的基座模型转化为能够理解人类指令并以对话方式进行交互的模型。

SFT 是在预训练阶段结束后，利用人工标注的指令-回答对（Prompt-Response Pairs）对基座模型进行微调的过程，它将提示词和回答拼接在一起，但在计算损失（Loss）时，系统通常会使用 ignore_index（如 -100）忽略 Prompt 部分对应的预测结果，仅针对模型生成的 Response 部分计算交叉熵损失。 如果说自回归预训练是让模型读万卷书（幼儿阶段），那么 SFT 就是让模型学习写“符合规范”的作文（中学阶段），使其做到基本能按规矩回答问题，具备一定的逻辑性。

总结就是，SFT 是大模型从“懂语言”到“会办事”的关键跨越，虽然面临人工成本和对齐税的挑战，但它建立的指令遵循能力是现代生成式 AI 的基石。

出现动机#

• 解决预测与指令的不匹配：预训练任务本质是“预测下一个词”，模型虽然学到了海量知识，但无法理解用户的真实意图。例如，用户问“地球是圆的吗？”，未对齐的模型可能生成“地球是圆的还是平的，结果显示……”等语料分布中的句子，而非直接回答问题。
• 意图对齐（Alignment）：为了让模型的输出能够遵循用户的指令（Instruction Following），必须通过 SFT 将模型的生成逻辑与人类的交流习惯对齐。
• 建立基准：SFT 为后续更高阶的微调（如基于人类反馈的强化学习 RLHF）提供一个具备基本对话能力的初始状态。

优点缺点#

• 优点：

  • 高效性：SFT 并不需要天量数据。研究发现，几万条高质量的标注数据（如 LLaMA 2 使用了 27,540 条）就足以达到非常出色的效果。
  • 指令遵循能力：能显著提升模型对特定任务描述的理解力，使其能够按照要求的格式（如 JSON）输出内容。
  • 泛化能力：经过 SFT 后，模型在处理非英语语种或代码理解等未见过的复杂指令时，也表现出较强的迁移能力。

• 缺点：

  • 人工成本高昂：高质量的 SFT 数据需要标注人员（有时甚至是领域专家）手工编写提示词和回答，耗时且价格昂贵。
  • 数据质量依赖性：公开的 SFT 数据集质量参差不齐，如果标注数据含有偏见或错误，模型会模仿并放大这些负面特征。
  • 对齐税（Alignment Tax）：过度追求意图对齐可能导致模型在某些通用 NLP 任务（如 SQuAD、WMT 等）上的表现下降。
  • 无法完全消除幻觉：SFT 教会了模型“如何说话”，但无法保证模型总是“说对的话”。模型可能因为训练语料的限制而产生逻辑自洽但事实错误的“幻觉”。

术语别名#

• SFT
• Supervised Fine-Tuning
• 监督微调
• Instruction Tuning

相关术语#

• RLHF
• InstructGPT
• 指令微调