标签传播#
术语解释#
标签传播(Label Propagation)是一种典型的基于图结构的 **半监督学习(Semi-supervised Learning)**算法。它通过构建样本间的相似度图,利用少量有标签的数据来推断大量无标签数据的类别,其最大特点是只需少量已标注样本,就能将标签沿图结构扩散到整个数据集,常用于文本分类、社区发现等任务。

算法将每个样本点看作图中的一个结点,样本间的相似度(通常基于欧氏距离计算)作为边的权重。通过构造一个概率迁移矩阵,将标签信息从已标记结点沿着边“传播”到未标记结点。计算形式:在迭代过程中,每个无标签样本的类别概率分布等于与其相邻结点的转移概率与其标签分布的加权和。该算法既可以通过循环迭代求解,也存在不依赖迭代的解析解(闭式解)
出现动机#
-
解决标注成本问题:在有监督学习中,高质量标注数据通常需要耗费大量时间、财力和专家资源。标签传播旨在利用海量的未标注数据来辅助训练,降低对人工标注的依赖 。
-
充分利用数据分布信息:传统模型往往忽略了无标签样本中蕴含的特征空间分布规律,而标签传播通过图结构捕捉样本间的空间邻近性,从而实现更精准的分类
优点缺点#
-
优点:
-
数据利用率高:能够通过极少量的标签信息对大规模无标签数据进行有效分类。
-
思想直观易懂:其“近朱者赤”的逻辑符合现实直觉,计算过程(类似于注意力机制)清晰且具备可解释性。
-
具备解析解:对于确定的图结构,可以通过矩阵运算直接一次性计算出最终的标签分布,而不需要像梯度下降那样进行多次迭代。
-
非参数化灵活性:作为一种基于图的算法,它不依赖于对数据分布的严格参数假设,能够适应复杂的流形结构。
-
-
缺点:
-
对噪音敏感:如果已标注样本中存在错误标签(噪音),错误信息会顺着图结构扩散,严重影响整体精度。
-
超参数依赖:算法的效果高度依赖于构建图时使用的距离度量方式(如高斯核中的 σ 参数),若参数设置不当,会导致权重分配失真。
-
计算开销:在处理超大规模数据集时,构建和存储完整的权重矩阵及概率迁移矩阵会消耗大量内存,且矩阵求逆等操作计算复杂度较高
-
平滑性不足:相比于改进后的标签扩散(Label Spreading)算法,原始标签传播在迭代过程中可能缺乏足够的平滑性,导致在某些复杂分布下的泛化能力较弱。
-
相关术语#
-
Label Propagation算法
-
Label Spreading 算法
-
Self-Training 自训练算法
-
聚类算法的思想