AI 术语百科

标签传播（Label Propagation）是基于图结构的半监督学习算法：把样本看作图节点，相似样本间连边并传播标签信息，让未标注节点逐步获得类别标签。它只需少量已标注样本，就能将标签沿图结构扩散到 …

Label（标签）是监督学习中「正确的输出 / 类别」，即每个样本对应的「标准答案」。模型通过最小化预测与标签的差异来学习参数。

Transformer 是 2017 年 Google 提出的「完全基于注意力机制」的网络结构：抛弃 RNN 的顺序计算，用 Self-Attention 让序列中任意两个位置直接交互，配合位置编码保 …

Bag of Words（词袋模型，BoW）是最基础的文本特征表示：把一段文本视为「词的集合」，忽略词序与语法，只统计每个词出现的次数（或是否出现）。

多项式贝叶斯（Multinomial Naive Bayes, MNB）以多项式分布建模特征条件概率，适合处理「词频」「点击次数」这类非负离散计数特征，是文本分类（垃圾邮件、新闻分类）中最常用的朴素贝 …

Classification（分类）是机器学习的核心任务之一：把样本分到预定义的若干类别中，如「邮件是垃圾 / 非垃圾」「图像是猫 / 狗 / 鸟」。常见算法包括逻辑回归、SVM、决策树、随机森林、神 …

Back Propagation（反向传播）是神经网络训练的核心算法：先用前向传播算出预测与损失，再从输出层向输入层逐层用链式法则计算损失对每个参数的梯度，最后用梯度下降更新参数。

Tokenization（分词）是把原始文本切分成「词、子词、字符」等小单元的过程。这些小单元（token）是大语言模型实际处理与计费的基本单位。

Normalization（归一化）是把数值特征按比例缩放到标准范围（通常是 [0, 1]）的预处理方法。它防止「数值大的特征主导模型」，是 KNN、SVM、神经网络等依赖距离或梯度模型的必要前置步骤 …

后验概率（Posteriori Probability） 是概率论及机器学习（特别是朴素贝叶斯算法）中的核心概念，指的是在已知观测到某些事实（证据）的条件下，某一事件发生的概率。

Regression（回归）是机器学习的核心任务之一：预测一个连续的数值输出，如房价、销量、温度、用户停留时长。常见算法包括线性回归、多项式回归、决策树回归、神经网络回归等。

决策树（Decision Tree）是一类基于「if-else 规则」建模的树形模型：从根节点出发，每一层按某个特征的某个阈值把样本分流到左右子节点，直到叶节点给出最终的类别或回归值。常见算法有 …

MSE（均方误差，Mean Squared Error）是回归任务最常用的损失 / 评估指标：预测值与真实值之差的平方的平均数。它对应「误差服从高斯分布」的最大似然估计，几何意义是「预测点到真实点的欧 …

RMSE（均方根误差）是 MSE 的平方根，把量纲还原到与原始数据一致，是回归评估里最常用的「直读型」指标。它与 MSE 同性质但更易解释：例如「房价预测 RMSE=50 万」意味着平均误差约 50 …

Machine Learning（机器学习，ML）是 AI 的核心子领域：通过让系统从数据中学习规律与模式，而不是显式编程，来完成任务。它包含监督学习、无监督学习、半监督学习、强化学习等范式，是当代 …

Clustering（聚类）是无监督学习的核心任务：把相似样本自动归到同一组，让组内相似、组间差异。常见算法有 K-Means、层次聚类、DBSCAN、谱聚类等。

Convolutional Neural Network（卷积神经网络，CNN）是专为网格化数据（图像、视频、语音频谱）设计的神经网络：用「卷积核 + 池化」在局部区域滑动提取特征，逐层抽象出从边缘 …

Precision（精确率）是分类任务中的关键指标：在所有「被模型预测为正类」的样本里，真正为正类的比例。它衡量模型的「查准」能力。

K 近邻（KNN，K-Nearest Neighbors）是一种「惰性学习」分类 / 回归算法：给定一个待预测样本，在训练集中找出与其距离最近的 K 个邻居，用这 K 个邻居的标签（或平均值）作为预测 …

K 均值（Kmeans）是最经典的「基于距离」聚类算法：先随机选 K 个点作为初始聚类中心，然后反复执行两步——①把每个样本分到距其最近的中心所在的簇；②用簇内样本的均值更新中心。直到中心不再变化或达 …

Kmeans++ 是 2007 年提出的 Kmeans 初始化改进：用「距离已有中心越远的点越有概率被选为下一个中心」的概率分布，依次选 K 个初始中心。它让 Kmeans 不再对随机初始化那么敏感， …

Epoch（轮次）指把整个训练数据集完整「过一遍」神经网络的过程。一个 epoch 内模型通常会进行多次梯度更新（每 batch 一次），所以训练总更新次数 = epoch 数 × 每 epoch 的 …

DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是基于「密度」的经典聚类算法：通过「某点 ε 邻域内至少 …

朴素贝叶斯（Naive Bayes）是一类基于贝叶斯定理与「特征条件独立」假设的生成式分类模型：给定类别，先估计每个特征的条件概率，再由贝叶斯公式反推样本属于每个类别的后验概率，取最大的作为预测。它在 …

批归一化（BatchNorm）是 2015 年提出的深度网络训练技巧：对每个 mini-batch 内同一通道的特征做均值-方差归一化（再缩放和平移），让每层输入分布更稳定。它显著加快了收敛速度，并让 …

Forward Pass（前向传播）是把数据从输入层沿神经网络逐层计算、最终得到预测输出的过程。它是模型「做推理」的过程，也是反向传播计算梯度的前提。

RMSNorm（Root Mean Square Layer Normalization）是 LayerNorm 的简化版本：去掉均值中心化步骤，仅用激活值的均方根（RMS）做缩放。它在几乎所有任务上 …

Artificial Neural Network（人工神经网络，ANN）是一类模仿生物神经元连接方式的计算模型：由大量「神经元」节点和带「权重」的连接构成，按层组织（输入 / 隐藏 / 输出），通过 …

三维卷积（3D CNN / 3DCNN）将传统 2D 卷积扩展到时空维度：卷积核在长、宽、时间三个方向上滑动，同时提取空间特征和时间特征，广泛用于视频分类、动作识别、医学影像等时空数据建模任务。

Sigmoid 函数（也称 Logistic 函数）把实数压缩到 (0, 1) 区间，常用于二分类输出层（表示概率）或门控机制（如 LSTM 中的输入 / 遗忘门）。

TF-IDF（词频 - 逆文档频率）是一种给词袋模型中每个词加权的方法：词频（TF）衡量「这个词在这篇文档里有多重要」，逆文档频率（IDF）惩罚「在很多文档里都出现的常见词」，两者相乘得到综合权重。它 …

梯度消失（Gradient Vanishing）与梯度爆炸（Gradient Exploding）是深度网络训练的经典病态：反向传播时梯度沿层被反复乘以权重矩阵，指数级缩小（消失）或放大（爆炸），导致 …

TextRNN 是以 RNN 为基础用于文本分类的一类模型总称：把文本序列逐字送入 RNN，把最后一个时刻的隐藏状态作为整个句子的表示，再接全连接层做分类。常见变体包括 …

梯度爆炸（Gradient Exploding）是深度网络训练中常见的数值问题：在反向传播中梯度逐层累乘，到输入层时变得极大，导致权重更新剧烈震荡甚至数值溢出。它和梯度消失是一对孪生问题，常用梯度裁剪 …

条件概率（Conditional Probability） 是概率论中的核心概念，表示在已知某一事件发生的前提下，另一事件发生的可能性。

Gradient Descent（梯度下降）是一类通过「沿目标函数负梯度方向迭代更新参数」寻找最小值的优化算法，是几乎所有机器学习与深度学习模型训练的核心机制。

Unsupervised Learning（无监督学习）是用「无标注」数据训练模型，让算法自行发现数据中的隐藏结构与模式的学习范式。常见任务包括聚类、降维、密度估计、自监督表征学习等。

Seq2Seq（Sequence-to-Sequence）是一类把一个序列映射成另一个序列的模型结构，由「编码器（Encoder）」与「解码器（Decoder）」组成：Encoder 把输入序列压成一 …

先验概率（Prior Probability）根据历史经验推断出的概率。

Validation loss 是一个数字，告诉你 AI 模型在训练中学得怎么样——越低越好。研究人员把它当作实时成绩单，决定什么时候停止训练、是否调整超参数、是否要排查问题。它最重要的作用之一是帮助 …

Supervised Learning（监督学习）是用「已标注」的训练数据学习输入到输出映射的机器学习范式：每个样本都给出「正确答案」（标签），模型通过最小化预测与标签的差异来调整参数。

SFT（Supervised Fine-Tuning，监督微调）是用「人工编写的指令 - 回答」数据对预训练模型做监督学习，让它学会按指令行事。是 RLHF / DPO 等对齐方法的第一步。

最大似然估计（Maximum Likelihood Estimation, MLE）是概率模型最常用的参数估计方法：选择使观测数据出现概率最大的参数值作为估计量。在逻辑回归、朴素贝叶斯等模型中推导出的 …

最小二乘法（Least Square） 是一种数学优化技术，其核心思想是通过最小化误差的平方和来寻找数据的最佳函数匹配。

Recall（召回率）是分类任务中的关键指标：在所有「真实为正类」的样本里，被模型正确找出来的比例。它衡量模型的「查全」能力。