更新于 2026年7月21日

标签传播#


术语解释#

标签传播(Label Propagation)是一种典型的基于图结构的 **半监督学习(Semi-supervised Learning)**算法。它通过构建样本间的相似度图,利用少量有标签的数据来推断大量无标签数据的类别,其最大特点是只需少量已标注样本,就能将标签沿图结构扩散到整个数据集,常用于文本分类、社区发现等任务。

标签传播算法思想图
标签传播算法思想图

算法将每个样本点看作图中的一个结点,样本间的相似度(通常基于欧氏距离计算)作为边的权重。通过构造一个概率迁移矩阵,将标签信息从已标记结点沿着边“传播”到未标记结点。计算形式:在迭代过程中,每个无标签样本的类别概率分布等于与其相邻结点的转移概率与其标签分布的加权和。该算法既可以通过循环迭代求解,也存在不依赖迭代的解析解(闭式解)


出现动机#

  • 解决标注成本问题:在有监督学习中,高质量标注数据通常需要耗费大量时间、财力和专家资源。标签传播旨在利用海量的未标注数据来辅助训练,降低对人工标注的依赖 。

  • 充分利用数据分布信息:传统模型往往忽略了无标签样本中蕴含的特征空间分布规律,而标签传播通过图结构捕捉样本间的空间邻近性,从而实现更精准的分类


优点缺点#

  • 优点:

    • 数据利用率高:能够通过极少量的标签信息对大规模无标签数据进行有效分类。

    • 思想直观易懂:其“近朱者赤”的逻辑符合现实直觉,计算过程(类似于注意力机制)清晰且具备可解释性。

    • 具备解析解:对于确定的图结构,可以通过矩阵运算直接一次性计算出最终的标签分布,而不需要像梯度下降那样进行多次迭代。

    • 非参数化灵活性:作为一种基于图的算法,它不依赖于对数据分布的严格参数假设,能够适应复杂的流形结构。

  • 缺点:

    • 对噪音敏感:如果已标注样本中存在错误标签(噪音),错误信息会顺着图结构扩散,严重影响整体精度。

    • 超参数依赖:算法的效果高度依赖于构建图时使用的距离度量方式(如高斯核中的 σ 参数),若参数设置不当,会导致权重分配失真。

    • 计算开销:在处理超大规模数据集时,构建和存储完整的权重矩阵及概率迁移矩阵会消耗大量内存,且矩阵求逆等操作计算复杂度较高

    • 平滑性不足:相比于改进后的标签扩散(Label Spreading)算法,原始标签传播在迭代过程中可能缺乏足够的平滑性,导致在某些复杂分布下的泛化能力较弱。


相关术语#

  • Label Propagation算法

  • Label Spreading 算法

  • Self-Training 自训练算法

  • 聚类算法的思想

阅读 --

13.2 Label Propagation算法

在上一节内容中,我们详细地介绍了半监督学习算法中一种用于分类问题的Self-Training算法,其核心思想是先通过少量的标注数据来训练一个弱分类器,其次再通过这个弱分类器来对无标签样本进行标注并选择其中的有效部分作为样本的真实标签,然后再 …

13.3 Label Spreading 算法

在上一节内容中,我们介绍了一种基于图结构的标签传播算法。标签传播算法的核心思想认为,在样本空间中距离越相近的样本点越有可能具有相同的标签。因此,对于样本空间中的所有样本点,可以通过构建一个有向完全图来表示样本点之间的位置关系,并以此为基础构 …

13.1 Self-Training 自训练算法

在本节内容中,我们首先介绍了半监督学习的基本概念,即它是通过少量有标签的数据和大量无标签的数据来完成整个模型训练的过程;然后介绍了半监督学习中最简单的Self-Training算法,包括其思想与具体原理以及它在sklearn中的使用方法;

11.1 聚类算法的思想

经过前面一系列的介绍,我们已经接触了多种回归和分类算法,并且这些算法有一个共同的特点,也就是它们都是有监督的学习算法。接下来,我们将开始学习一类经典的无监督机器学习算法——聚类算法。如图11-1所示便是本章内容的学习路线图,整体包含有5种聚 …