先验概率#

术语解释#

先验概率（Prior Probability）根据历史经验推断出的概率。先验概率是指在获取新数据或执行当前任务之前，基于以往的统计信息或经验已经知晓的概率分布。 它是我们在处理一个具体实例“之前”就拥有的背景知识。先验知识可以帮助我们先取得一个大致的判断，而最终的推断（后验概率）还需要结合具体的条件概率进行计算。

在分类任务中，某一类别 $c_k$ 的先验概率通常通过该类别在训练集中的出现频率来估计。其公式为：

其中，$\#c_k$ 表示该类别在训练集中的样本数量，$m$ 表示样本总数。

同时，在训练数据不充分时，为了防止某些类别的概率为 0 导致计算失效，通常会采用拉普拉斯平滑（贝叶斯估计）来修正先验概率的计算。相关原理介绍可参见 「7.2 贝叶斯估计：朴素贝叶斯中的参数估计方法」 内容。

直观示例#

• 样本分布：在一个二分类数据集中，如果正样本有 4 个，负样本有 6 个，那么任取一个样本，其为正样本的先验概率为 $40\%$，负样本为 $60\%$。

• 生活经验：我们可以通过西瓜的颜色、敲击声来判断其是否成熟，这种“经验”就是先验知识。

• 主观推断：假如办公室失窃，根据对每个员工性格和过往表现的了解，预先分析出张三偷窃可能性为 $20\%$，李四为 $30\%$，王五为 $50\%$，这些百分比就是先验概率。

例如朴素贝叶斯的核心便是先验概率是构建朴素贝叶斯分类器的第一步。模型通过学习数据的先验分布和条件概率分布，最终组合成联合概率分布来完成分类。

相关术语#

• 后验概率

• 条件概率

• 朴素贝叶斯