标签#

术语解释#

在机器学习和深度学习中，标签（Label），通常用 $y$ 表示，是指在模型训练过程中，用于指导学习过程的真实值或目标值。

在有监督学习中，模型通过输入的特征变量 $x$ 及对应的标签 $y$ 来学习两者之间的映射关系，其中标签用于刻画预测结果与真实情况之间的差距，最后通过最小化目标函数（或称损失函数），模型能够不断调整权重参数，使预测值尽可能接近真实标签。

同时，根据表现形式和任务需求，标签可以分为以下几种类型：

• 硬标签（Hard Targets）：

  在回归任务中标签表现为连续的实数值，如预测房价任务中房屋的真实价格。 在分类任务中通常以 One-hot 编码的形式出现代表离散的类标表示样本明确属于某一类别（如猫狗识别任务可以用 [0,1] 表示猫，用 [1,0] 表示狗），不过此时信息相对单一，仅指出正确答案。

• 软标签（Soft Targets）：

  通常是复杂模型输出的概率分布（如 [0.35, 0.28, 0.37]）。 相比硬标签，软标签能反映不同类别间的相关性以及模型推理的不确定性，常用于模型蒸馏任务。相关内容可参见 「模型蒸馏的原理是什么？温度有什么用？起底LLM中的蒸馏技术！」 。

• 偏好标签（Preference Labels）：

  在强化学习的奖励模型（Reward Modeling）中，标签往往不是绝对的分数，而是人类对不同回答的排序偏好（如“回答 A 显著好于回答 B”）。

术语别名#

• 标签

• 真实值