全概率公式和贝叶斯公式
条件概率公式
设A, B是两个事件,且P(B)>0, 则在事件B发生的条件下,事件A发生的条件概率(conditional probability)为:P(A|B)= P(A∩B)/P(B)
条件概率是理解全概率公式和贝叶斯公式的基础,可以这样来考虑,如果P(A|B)大于P(A)则表示B的发生使A发生的可能性增大了。
在条件概率中,最本质的变化是样本空间缩小了——由原来的整个样本空间缩小到了给定条件的样本空间。
乘法公式
- 由条件概率公式得: P(A∩B)=P(B)⋅P(A∣B)=P(A)⋅P(B∣A)
- 对于任何正整数 n≥2 ,当 P(A1 ∩ A2 ... An-1) > 0 时,有:
P(A1A2…An−1An)=P(A1)P(A2∣A1)P(A3∣A1A2)…P(An∣A1A2…An−1)- 也可以写成 ∏i=1nP(Xi∣X1,X2,…,Xi−1)
全概率公式
设 B1,B2,.... 为有限或无限个事件,它们两两互斥且在每次试验中至少发生一个,即:
- 不重,Bi ∩ Bj = ∅(不可能事件)i≠j ,
- 不漏,B1∪B2∪.... = Ω(必然事件).
这时,称事件组 B1, B2,... 是样本空间S的一个划分,把具有这些性质的一组事件称为一个“完备事件组”。

设 B1, B2,... 是样本空间S的一个划分,A为任一事件(图中红圈内部区域),则有:
P(A)=i=1∑nP(Bi)P(A∣Bi)
上式即为全概率公式(formula of total probability),也可以写作 P(A)=∑i=1nP(A∩Bi)
全概率公式的用途
全概率公式的意义在于,当直接计算 P(A) 较为困难,而 P(Bi),P(A|Bi) (i=1,2,...) 的计算较为简单时,可以利用全概率公式计算 P(A) 。
思想就是,将事件A分解成若干个小事件,通过求每个小事件的概率,然后相加从而求得事件 A 的概率。
而将事件A进行分割的时候,不是直接对 A 进行分割,而是先找到样本空间S的一个划分B1,B2,...Bn, 这样事件A就被事件AB1,AB2,...ABn 分解成了 n 部分,即 A = AB1 + AB2 + ... + ABn
全概率公式的简单应用
对于逻辑事件,P(E)=P(E∩F)+P(E∩Fˉ)
贝叶斯公式
与全概率公式解决的问题相反,贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因,公式为
P(B∣A)⋅P(A)=P(A∩B)=P(A∣B)⋅P(B)
结合全概率公式 P(A)=∑i=1nP(Bi)P(A∣Bi) 可得
P(Bi∣A)=∑j=1nP(Bj)P(A∣Bj)P(Bi)P(A∣Bi)
P(Bi|A) (i=1,2...) 则反映当试验产生了结果A之后,再对各种原因概率的新认识,故称后验概率。
提示
P(Bi|A) (i=1,2...) 则反映当试验产生了结果A之后,再对各种原因概率的新认识,故称后验概率。
贝叶斯公式最神奇之处在于将条件概率中的因和果调换了位置。
贝叶斯公式变体
P(X∣Y∩E)=P(Y∣E)P(Y∣X∩E)⋅P(X∣E)
P(X,Y∣E)=P(Y∣X,E)P(X∣E)
其他概率公式随记
- P(E1∪E2)=P(E1)+P(E2)−P(E1∩E2)
- P(E∩F)=P(E)⋅P(F)
- 条件独立:P(A∩B∣C)=P(A∣C)×P(B∣C)
- 这可以求得 P(C∣A∩B)=P(A∩B∣C)×P(C)/P(A∩B)
- 1=P(A=0∣B)+P(A=1∣B)