基础知识

随机试验和随机事件

试验

对随机现象的观察或实现称为 随机试验，简称 试验，具有以下特点：

1. 可在相同条件下重复；
2. 可能结果不止一个，且试验前已知所有可能的结果；
3. 每次试验前无法预知出现哪个结果。

事件

tip

随机试验的每一可能结果称为 样本点，记作 $\omega$，由所有样本点组成的集合称为 样本空间，记作 $\Omega$.

一个样本点组成的子集被称为 基本事件。

必然事件：一定发生的事件 $\Omega$

不可能事件：一定不会发生 $\emptyset$

事件的关系与运算

包含： $A \subset B$，即 $A$ 发生 $B$ 一定发生，称为事件 $A$ 包含于事件 $B$. 相等则是相互包含。

并、和：至少一个事件发生，记作 $A\cup B$.

交、积：事件同时发生，记作 $A\cap B$.

差：$A$ 发生而 $B$ 不发生，记作 $A-B=A-AB$.

互斥、互不相容：不同时发生 $A\cap B=\emptyset$.

对立、互逆：两事件互不相容，且和是全集 $\Omega$.

互斥和对立的区别

1. 两事件对立，则一定互斥；
2. 前者适用于多个事件，后者只能是两个事件；
3. 互斥仅代表不能同时发生，但是可以同时 不发生，而对立必须有一个发生。

完备事件组：必须有一个事件发生的互斥事件组，即所有事件组成了全集 $\Omega$.

运算规律

交换律

结合律：$(A\cup B)\cup C=A\cup(B\cup C)$, $(A\cap B)\cap C=A\cap(B\cap C)$

分配率：$(A\cup B)\cap C=(A\cap C)\cup(B\cap C)$, $(A\cap B)\cup C=(A\cup C)\cap(B\cup C)$

对偶率：$\overline{A\cup B}=\overline{A}\cap\overline{B}$, $\overline{A\cap B}=\overline{A}\cup\overline{B}$

概率及概率公式

概率公理

对于任意样本，称实值函数 $P$ 为概率，其要满足如下条件：

1. 对于任意事件 $A$，$P(A)\geq0$；
2. 对于必然事件 $\Omega$，$P(\Omega)=1$；
3. 对于两两互斥的 可数无穷个 事件 $A_{1},\cdots A_{n}$，$P(A_{1}\cup\cdots\cup A_{n})=P(A_{1})+\cdots+P(A_{n})$.

可数

若一个无限集 $A$ 和正整数集 ${1,2,3,\cdots,n}$ 存在一个一对一的满射关系, 则称 A 是 可数的 .

条件概率

条件概率

在某个已知事件发生的前提下，另一个事件发生的概率。

猜测条件概率公式

1. $P(A|B)$ 很有可能与 $P(A)$ 与 $P(B)$ 有关；可不可能存在一个函数 $F$，使得 $P(A|B)=F(P(A),P(B))?$

   先来考察极端情况—— $A$ 与 $B$ 相同时，最简单的是所有概率值相同，即：

$$1=P(A|B)=F(1/2,1/2)=P(\overline B|B)=0$$

显然不存在这个函数。

2. 条件概率中A 和 B 同时发生，让我们将 $P(A\cap B)=P(AB)$ 即 联合概率 也考虑进来：

$$P(A|B)=F(P(A),P(B),P(AB))$$

我们会得到条件概率公式：

$$P(A|B)=\frac{P(AB)}{P(B)} \tag1$$

实际上，当 $P(B)=0$ 时，意味着 $B$ 不可能发生，此时讨论 $A$ 是否发生没有意义。

特别地，对于 $P(A)$:

$$P(A)=\frac{P(A\cap \Omega)}{1}=\frac{P(A\cap \Omega)}{P(\Omega)}$$

info

因此我们是否可以将条件概率理解为，A 事件在 B 这个样本空间发生的概率，此时我们会聚焦于样本空间 $\Omega$ 的某个子集，即 B 上。

蒙提霍尔问题：在三扇门之后有分别有一辆汽车两只山羊；当你选定了一扇门后，另一扇门会自动打开，且门后的是山羊，试问坚持原来的选择还是选择另一扇门获得汽车的概率高？

坚持原来的选择是：$P=\frac{1}{3}$;

选择另一扇门时：设事件 $A$ 为另一扇门后是一辆汽车，$B$ 为自动打开门，则有：

$$P(A|B)=\frac{P(AB)}{P(B)}=\frac{1/3}{1/2}=\frac{2}{3}$$

事件的独立性

事件 $A,B$ 满足

$$P(AB)=P(A)P(B)$$

则称A 与 B 相互独立。

独立

独立是指事件间发生与不发生没有关联，互不影响。

对于 $n$ 个事件，需要 $C^2_{n}+C^3_{n}+\cdots+C^n_{n}=2^n-n-1$ 个等式成立才能说明其相互独立（因为需要分别证明这 $n$ 个事件中的 $2,3,\cdots n$ 个事件相互独立）。

info

这引出一个问题，为什么两两独立的事件不一定相互独立，考察 伯恩斯坦反例：

一个均匀的正四面体，第一面染上红色，第二面染上白色，第三面染上黑色，第四面同时染上红，白，黑三种颜色。记事件 $A,B,C$ 分别表示投一次均匀的正四面体出现红，白，黑颜色的事件。我们可以得到 $P(A)=P(B)=P(C)=\frac{1}{2}, P(AB)=P(BC)=P(AC)=\frac{1}{4}$，但是 $P(ABC)=\frac{1}{4}\neq P(A)P(B)P(C)$  .

性质：$A,B$ 相互独立的充要条件是 $A,\overline B|\overline A, B|\overline A, \overline B$ 相互独立。

由式 $(1)$ 可得

$$P(B|A)=P(B)=P(B|\overline A)$$

五大概率公式

加法公式：$P(A\cup B)=P(A)+P(B)-P(AB)$，$P(A\cup B\cup C)=P(A)+P(B)+P(C)- P(AB)-P(AC)-P(BC)+P(ABC)$

容斥原理，需要去除同时发生的事件，若事件互斥，则直接相加。

减法公式：$P(A-B)=P(A)-P(AB)$

表示事件 $A$ 发生而事件 $B$ 不发生的概率。

乘法公式：$P(AB)=P(B|A)P(A)=P(A|B)P(B)$

caution

乘法公式由式 $(1)$ 变换来，因此要切记分母不能为 $0$，但实际上为 $0$ 也成立。

扩展到多个事件：

$$P(A_{1}A_{2}\cdots A_{n})=P(A_{1})+P(A_{2}|A_{1})+\cdots+P(A_{n}|A_{1}A_{2}\cdots A_{n-1})$$

全概率公式：有非零完备事件组 $B_{i}$，则对事件 $A$

$$P(A) = \sum_{i=1}^nP(A|B_{i})P(B_{i})$$

事件 $A$ 的概率是其和完备事件组事件同时发生概率之和，可能求 $P(A|\Omega)$ 比较困难，可以选择这种方式。

全概率公式可以从另一个角度去理解:

• 把 $B_{i}$ 看作是事件 $A$ 发生的一种 可能途径，若采用了不同的途径，$A$ 发生的概率是 $P(A|B_{i})$；
• 而所有的 $B_{}i$ 为一个完备事件组，$A$ 在所有事件 $B_i$ 上发生的概率之和，就是 $A$ 在样本空间上发生的概率，这样一来，我们最终所要求的 $P(A)$

info

全概率公式是 由因到果，事件 $A$ 是结果，而 $B_{i}$ 是不同的因，事件 $A$ 在不同因下的概率之和，就是其总的概率。

贝叶斯公式：见下一小节

贝叶斯定理

由于 $B\cap A$ 与 $A\cap B$ 是同一事件，由一般乘法法则，

$$P(AB) = P(B|A)\cdot P(A)=P(A|B)\cdot P(B)$$

若 $P(B)>0$，则

$$P(A|B)=P(B|A)\cdot \frac{P(A)}{P(B)}=\frac{P(AB)}{P(B)}\tag2$$

即 $B$ 条件下 $A$ 发生的概率等于 $AB$ 同时发生的概率除以 $B$ 发生的概率，其中 $AB$ 同时发生的概率可以用条件概率公式计算。 其一般形式为

$$P(A_i|B)=\frac{P(B|A_i)\cdot P(A_i)}{\sum_{j=1}^nP(B|A_j)\cdot P(A_j)} \tag3$$

让我们来思考一个问题：假设小明参加了概率论的考试，根据 以往经验 来看，我们认为小明考到前十的概率是 $90\%$；小明却说这次考试发烧了，没有发挥好，这时我们认为他考进前十的概率是 $70\%$；过了几天准备公布成绩时，上课前老师笑着拍了拍小明的肩膀，这时我们又认为小明考进前十的概率提升到了 $95\%$.

其中 $90\%$ 代表先验概率，即根据以往经验和分析得到的主观猜测；$70\%$ 和 $95\%$ 则是当我们掌握了更多信息时所得来的后验概率，即事件已经发生，该事件发生是的原因是由某个因素引起的可能性大小，在此处就是 小明发烧还考进前十 和 小明考进前十时老师拍小明肩膀。

接下来回到贝叶斯公式：

• $P(A)$ 指的就是先验概率，即 $B$ 发生前，我们对 $A$ 发生的基本概率判断；
• $P(B)$ 同样指先验概率；
• $P(A|B)$ 为后验概率，即 $B$ 发生后，我们对 $A$ 发生的概率重新评估；
• $P(B|A)$ 同样为后验概率。
• 让我们将目光集中于其一般形式：分母为全概率公式，分子为条件概率，更详细是 $P(B|A_i)\cdot P(A_i)=P(A_i\cap B)$，即两事件同时发生的概率。

贝叶斯公式和条件概率的区别

通过式 $(2)$ 看起来似乎贝叶斯公式和先验概率公式似乎没有什么区别，即使是一般形式中，其分母也是一个全概率公式，实际上仍然可以转换为 " 条件概率公式 ".

全概率公式是 由因到果，而贝叶斯公式的作用则是 由果推因，即在结果 $A$ 发生的前提下，原因是 $B_{i}$ 的概率，因此其本质上还是条件概率。

由此贝叶斯公式的形式也就明了了，分母是全概率公式，表示结果 $A$ 相对于全集 $\Omega$ 发生的概率，分子为在以 $B_{i}$ 为原因下，结果 $A$ 相对于 $\Omega$ 的概率，即

$$P(B_{i}|A)=\frac{P(AB_{i})}{P(A)}=\frac{P(A|B_{i})P(B_{i})}{\sum_{j=1}^nP(A|B_{j})P(B_{j})}$$

古典概型

古典概型是概率论中的一种基本概型，也称为朴素概型、等可能性概型或正常性概型。它是指一个随机试验中，所有可能结果出现的概率是相等的，并且具有 有限个样本点。

因此概率可以利用事件的样本点数量除以所有样本点的数量获得。

古典概型中组合和排列十分重要，从 $n$ 个不同元素中取出 $m$ 个不同元素（无序）

$$C_{n}^m=\frac{A^m_{n}}{m!}=\frac{n!}{m!(n-m)!}$$

从 $n$ 个不同元素中取出 $m$ 个不同元素排序

$$A_{n}^m=\frac{n!}{(n-m)!}$$

常用组合公式有

$$\begin{aligned} &C^m_{n}=C^{n-m}_{n}\\ &C_{n+1}^m=C_{n}^m+C_{n}^{m+1}\\ &\sum C_{n}^i=2^n\\ &C_{n+m}^k=\sum_{i=0}^kC_{n}^iC_{m}^{k-i} \end{aligned}$$

几何概型

样本空间是某区域，这种 样本点个数无限 但是 几何度量上等可能 的概型被称为几何概型。

伯努利概型

将一随机试验独立重复若干次，每次试验 相互独立，且同一事件在各个试验中出现的概率相同，称为 独立重复试验。

如果每次试验只有两个结果 $A$ 和 $\overline A$，则称试验为 伯努利试验，试验重复进行 $n$ 次，则成为 $n$ 重伯努利试验。

$n$ 重伯努利试验中 $A$ 发生 $k$ 次的概率，又称为 二项概率公式

$$C^k_{n}p^k(1-p)^{n-k}$$