后验概率#

术语解释#

后验概率（Posteriori Probability） 是概率论及机器学习（特别是朴素贝叶斯算法）中的核心概念，指的是在已知观测到某些事实（证据）的条件下，某一事件发生的概率，即后验概率是指通过贝叶斯公式推断得到的结果，它是先验概率与条件概率（似然） 的结合。在分类任务中，它表示在已知样本特征 $x$ 的条件下，该样本属于类别 $c_k$ 的概率，记作 $P(Y=c_k|X=x)$。

根据贝叶斯公式，其计算方式为：

在机器学习中，通常采用极大后验概率估计（MAP），即在所有可能的类别中，选择使后验概率最大的那个类别作为最终的分类结果。相关内容可参见 「7.1 朴素贝叶斯原理：条件概率与分类模型基础」 。

出现动机#

• 修正初始判断：先验概率（如历史统计经验）只能帮助我们取得一个大致的判断（例如：某员工有 50% 嫌疑），但不能作为最终结论。引入后验概率的动机是为了利用新获得的具体证据（特征信息）来修正和更新初始判断，使推断更加准确。

• 处理不确定性：在现实世界的分类问题中（如垃圾邮件识别、医疗诊断），我们无法直接看到结果，只能观察到一系列特征（如邮件单词、化验指标）。后验概率提供了一种严谨的数学框架，将这些观察到的信号转化为对目标结果的信心度。

直观示例#

假如办公室失窃了，理论上每个人都可能是小偷，但可以根据对每个人的了解分析得出一个可能性，例如张三偷窃的可能性为 $20\%$，李四偷窃的可能性为 $30\%$ ，王五偷窃的可能性为 $50\%$，而这就被称为先验概率，它是通过历史经验得来的。

但是，不可能仅因为王五偷窃的可能性最大就判定每次办公室失窃都是由他所为，先验知识只能帮助我们先取得一个大致的判断，而事实情况需要根据先验概率和条件概率进行计算。

总结就是，先验概率是我们在看到数据之前的认知，而后验概率则是我们在看到数据之后的更新认知。它是模型从“已知”推导“未知”的关键桥梁。

优点缺点#

• 优点：

  • 结合多方信息：后验概率能够同时考虑历史经验（先验）和当前观测到的事实（条件概率），使模型更加稳健。

  • 提供置信度：它不只是给出一个硬性的分类标签，而是给出一个概率值。这让我们可以了解模型对该判断的信心程度。

  • 在小样本下表现良好：尤其在朴素贝叶斯算法中，利用后验概率进行文本分类时，即使训练数据较少，也能获得不错的效果。

• 缺点：

  • 依赖先验和似然的准确性：如果预先假设的先验概率有误，或者估计条件概率的样本不充分，最终计算出的后验概率会产生偏差。

  • 数据稀疏性导致失效：如果某个特征在训练集中未与某类别同时出现过，其条件概率为 0，会导致整个后验概率计算失效。这通常需要通过拉普拉斯平滑等手段来修正。

  • 计算下溢风险：在处理高维特征（如长文本）时，多个条件的概率值累乘会导致结果极小，甚至超出计算机的处理范围（数值下溢）。因此在实际实现中，通常会将后验概率转化为对数形式（Log-likelihood）进行计算。

相关术语#

• 后验概率

• 后验概率

• 条件熵

• 朴素贝叶斯