更新于 2026年7月11日

监督学习#


术语解释#

有监督学习(Supervised Learning),也称为有指导学习,是指在模型训练过程中,需要利用真实值(Ground Truth)或人工标注的标签来对训练过程进行指导的学习方式。其核心特征是输入的每一条数据都是形如 $(x, y)$ 的样本对,其中 $x$ 为输入特征, $y$ 为对应的真实标签。模型的目标是学习到从输入 $x$ 到输出 $y$ 之间的映射关系。 很多任务有明确的「正确答案」:邮件是不是垃圾、图像里是猫还是狗、房价是多少。监督学习把这种「有标注数据 → 学映射」问题形式化,是目前应用最广泛、效果最稳健的机器学习范式。

详细定义可以参见「第4.1节 机器学习基本概念」内容。


出现动机#

有监督学习的出现和应用主要基于以下动机:

  • 实现预测自动化:使计算机具备根据现有数据构建算法模型的能力,在不需要显式编程的情况下,通过学习得到的规律对新数据进行预测。
  • 求解特定映射规律:在已知结果(如房价、类别)的情况下,通过给定训练集求得未知的模型参数(如权重 $W$ 和偏置 $b$ ),使得模型能够产生与已知真实值最接近的预测结果。
  • 解决具体任务:为了处理如图像识别、垃圾邮件分类、癌细胞诊断等具有明确判定标准的现实问题。

优点缺点#

  • 优点:

    • 目标明确且有指导:由于训练时有真实标签(“老师”)进行纠错,模型学习的目标函数清晰,能够直接衡量预测值与真实值之间的差距。
    • 评估指标体系成熟:拥有丰富且直观的评估工具,如准确率、精确率、召回率、 $F_1$ 值等,能够从多个维度全面评价模型性能。
    • 落地场景广泛:在处理文本分类、目标检测、回归预测等任务时,只要有充足的标注数据,通常能取得非常稳健且精确的效果。
  • 缺点:

    • 标注成本极其高昂:有监督学习严重依赖高质量的人工标注数据,而数据标注不仅耗费大量时间与财力,在医疗、法律等专业领域还需要资深专家的介入。
    • 难以利用海量无标签数据:模型无法直接学习互联网上客观存在的数以亿计的未标注文本或图像信息,这限制了模型在预训练阶段的规模扩展。
    • 拟合风险显著:模型容易陷入过拟合状态,即在训练集上表现近乎完美,但在面对未知测试数据(泛化)时表现糟糕。
    • 数据失衡的误导:当面对正负样本严重不均衡的任务时,传统的评估指标(如准确率)可能会失效,导致模型产生严重的幻觉或误导性决策。

术语别名#

  • Supervised Learning
  • 监督学习

相关术语#

  • 无监督学习
  • 半监督学习
  • 分类
  • 回归
阅读 --

3.1 模型的建立与求解

在本节中,我们首先通过一个例子引入了什么是分类,然后介绍了为什么不能用线性回归模型进行建模的原因。其次,通过对线性回归的改进得到逻辑回归模型,并直接地给出了逻辑回归模型的目标函数。最后通过开源的sklearn框架搭建了一个简单的逻辑回归模型 …

4.1 基本概念

在本节中,我们首先介绍了什么是机器学习这一基本概念,并引述了计算机领域中两位大师分别对机器学习一词的定义;然后介绍了机器学习算法中的四种基本分类,即有监督学习、无监督学习、半监督学习和强化学习,并同时介绍了它们之间的区别;最后介绍了机器学习 …

11.1 聚类算法的思想

经过前面一系列的介绍,我们已经接触了多种回归和分类算法,并且这些算法有一个共同的特点,也就是它们都是有监督的学习算法。接下来,我们将开始学习一类经典的无监督机器学习算法——聚类算法。如图11-1所示便是本章内容的学习路线图,整体包含有5种聚 …

12.1 主成分分析

在前面几章内容中,我们陆续介绍了无监督算法中几种常见的聚类算法,包括基于Kmeans、Kmeans++、WKmeans、DBSCAN和HCA聚类算法。在接下来的这篇文章中,我们将会继续介绍无监督算法中的另外一种经典算法——主成分分析 …