更新于 2026年7月24日

朴素贝叶斯#

术语解释#

朴素贝叶斯（Naive Bayes, NB）是一种基于贝叶斯定理与特征条件独立假设的经典分类算法，即给定类别，先估计每个特征的条件概率，再由贝叶斯公式反推样本属于每个类别的后验概率，取最大的作为预测。它在自然语言处理（如垃圾邮件分类）等领域表现优异。

朴素贝叶斯通过学习数据的「先验概率」（根据历史经验得出的概率）和「条件概率」，利用贝叶斯公式推断出样本属于某个类别的「后验概率」。 “朴素”的含义则是该算法假设所有的特征属性在给定类别下都是相互独立的（即条件独立性假设）。这意味着模型认为每个特征对分类结果的影响互不干扰，从而极大地简化了数学计算。

更多与朴素贝叶斯相关的内容原理可以参见「7.1 朴素贝叶斯原理：条件概率与分类模型基础」的讲解。

处理不确定性问题：在现实世界的分类任务中（如医疗诊断或文本识别），我们往往无法直接确定结果，只能观察到一系列特征信号。朴素贝叶斯提供了一种严谨的数学框架，将观测到的信号转化为对目标结果的置信度。
修正初始判断：先验概率（历史统计）只能提供大致判断，引入该算法的动机是为了利用新获得的具体证据（特征信息）来修正和更新初始判断，使推断更加准确。
简化计算复杂性：在实际应用中，直接计算高维特征的联合条件概率极其困难。通过“朴素”假设，将复杂的联合分布拆解为多个独立分布的乘积，使得在大规模数据集上的计算变得可行。

优点：
- 在小样本下表现良好：尤其是在文本分类场景中，即使训练数据较少，也能获得不错的效果。
- 计算简单高效：模型拟合过程本质上是特征计数的过程（统计先验和条件概率），训练和预测速度都非常快。
- 提供置信度：它不只是给出一个硬性的分类标签，而是给出一个具体的概率值，让用户了解模型对该判断的信心程度。
- 易于解释：模型逻辑直观，每一个特征对最终结果的贡献都可以通过概率值清晰地体现出来。
缺点：
- 独立性假设往往不成立：在现实中特征之间通常存在关联。例如在文本中，“北京”和“大学”同时出现的概率很高，并不独立，这会导致模型在某些场景下的准确率受限。
- 零概率问题（数据稀疏性）：如果某个特征值在训练集中从未与某个类别同时出现过，其条件概率为 0，会导致整个后验概率计算失效。这通常需要通过拉普拉斯平滑等手段来修正，相关内容可参见「7.2 贝叶斯估计：朴素贝叶斯中的参数估计方法」。
- 数值下溢风险：在处理高维特征（如长文本）时，多个极小的概率值累乘会导致结果超出计算机处理范围。实际实现中必须将其转化为对数形式（Log-likelihood）进行计算