无监督学习#

术语解释#

无监督学习（Unsupervised Learning）也称为无指导学习，是指在模型训练过程中，不需要通过真实值（Ground Truth）或人工标注的标签进行指导的学习方式。在这种模式下，模型仅仅接收输入的特征变量，通过自我学习来挖掘数据中潜藏的某种模式（Pattern）、结构或空间分布特性。 常见任务包括聚类、降维、密度估计、自监督表征学习等。 详细定义可以参见「第4.1节 机器学习基本概念」内容。 最典型的无监督学习算法包括：

• 聚类（Clustering）：将相似特征的事物“聚”在一起形成簇。
• 主成分分析（PCA）：通过降维将高维特征转换为低维表示。

出现动机#

无监督学习的出现和应用主要基于以下几点动机：

• 挖掘未知规律：在没有明确分类目标的情况下，自动发现数据的内在关联。例如，将成千上万篇新闻自动归类，或者将具有相似症状的病人划分为不同的科室。
• 解决标注成本高昂的问题：在有监督学习中，高质量的标注数据需要耗费大量时间、财力和领域专家资源。无监督学习可以利用海量的未标注数据进行初步分析。
• 数据降维与可视化：高维数据难以直观展示，通过无监督降维算法（如 PCA）可以保留数据核心结构，以便进行可视化或特征筛选。
• 处理噪声维度：为了从包含冗余或干扰信息的数据中识别出起决定性作用的特征（如加权 Kmeans 的动机）。

例如，在真实世界里大量数据都没有标签——用户行为日志、网络流量、基因表达等。给这些数据全部人工打标成本极高，而无监督学习用算法自动发现数据内在规律，是数据探索与预处理的利器，也是大模型自监督预训练的核心思想。

优点缺点#

• 优点：

  • 数据获取简单：不需要人工参与标签标注，能直接利用原始、未经处理的特征数据进行训练。
  • 发现潜在结构：能够识别出人类可能未曾察觉的细微差异和数据分布模式。
  • 可扩展性强：在预训练阶段（如词向量训练），无监督/自监督学习能轻松处理数千亿条样本，学习语义信息。
  • 辅助其他任务：可以作为有监督学习的前置步骤，通过聚类结果或降维后的特征提升后续模型的表现。

• 缺点：

  • 无法确定具体类别含义：模型只能告诉你哪些样本属于同一个“簇”，但无法说明这个簇具体代表什么类别。例如，它能把病人分为两堆，但不能指出哪一堆是正样例，哪一堆是负样例。
  • 效果评估困难：由于没有真实标签，无法使用准确率等直观指标。通常只能依靠内部评价指标（如轮廓系数、CHI 等）来评估聚类效果，评估过程较为繁琐且不够直观。
  • 对噪声敏感：如果在特征中混入大量噪声维度，模型的精度（如 Kmeans 的聚类效果）会骤然下降。
  • 计算复杂度可能较高：某些无监督算法（如 DBSCAN）在处理大规模数据时的计算开销非常大。

术语别名#

• Unsupervised Learning
• 无监督学习
• 无指导学习

相关术语#

• 聚类
• 分类
• 降维
• 自监督学习
• 有监督学习
• 半监督学习