Fundamentals of Probability and Statistics I
本篇文章的目的是整理在HKU AI program里面ARIN7001课程的part II，ARIN7101课程的基础知识以及对考研数学概率论部分基础知识的一些整理。由于HKU课程是全英文教学的，所以我的文章有关知识部分基本上是双语的。
概率和统计实际上是两个不同的概念。概率是预测未来事件发生的可能性；统计包含了对过去事件频率的分析，从数据出发，研究已发生事件的属性和规律。这就回答了我很早以前困惑的问题，考研的概率论更多的是频率预测概率的内容，statistics一上来就是贝叶斯。当然，概率和统计是有一部分相同的基础知识部分，每门课都讲了一遍。
Probability: predict the likelihood of the future events.
Statistics: analyze the frequency of past events.
Sets and Events
Sample Space: 样本空间，通常用$\Omega$表示。随机试验中的每一个可能的结果（强调原子性，即不可再分）称为样本点，记为$\omega$。样本点的全体组成的集合称为样本空间。$\Omega = { \omega }$。
Atomic Event: 由一个样本点构成的事件称为基本事件。
Event: 随机事件A是由若干个基本事件组成，A是$\Omega$的子集。
Union: 并集。
Intersection: 交集。
Disjoint(mutually exclusive): 中文翻译为不相交，互斥。即$E_i \cap E_j = \emptyset$
Partition: 完备事件组。有限个事件${E_1, E_2,…,E_n}$满足互斥和$E_1 \cup E_2 \cup … \cup E_n = \Omega$，则称构成一个完备事件组。
概率
概率是对随机事件A发生可能性大小的度量，记为$P(A)$。
- 对于一个随机事件$A \subset \Omega$, $P(A) \in [0,1]$
- $P(\emptyset) = 0$, $P(\Omega)=1$.
- $P(A) + P(A^c) = 1$.
- 对于互斥事件(mutually exclusive) $E1, E_2,…, E_n$，
$P(U^n{i=1} Ei) = \sum^n{i=1} P(E_i)$. - 对于完备事件组(partition) $E1, E_2,…, E_n$，$P(\cup^n{i=1} E_i) = P(\Omega) = 1$.
常见概率公式
加法公式
对于两个任意事件$E_1$和$E_2$，有
$P(E_1\cup E_2) = P(E_1) + P(E_2) - P(E_1 \cap E_2)$.
对于三个任意事件$E_1$, $E_2$和$E_3$，有
$P(E_1\cup E_2\cup E_3) = P(E_1) + P(E_2) + P(E_3) - P(E_1 \cap E_2) - P(E_1 \cap E_3) - P(E_2 \cap E_3) + P(E_1\cap E_2 \cap E_3)$.
减法公式
$P(A-B) = P(A) - P(AB) = P(A\overline{B})$
条件(Conditional)概率公式
The conditional probability of event A given the occurance of event B (denoted by $P(A|B)$) is calculated as :
如何理解条件概率$P(·|A)$中的条件事件$A$？
只针对$·$做概率计算，每个概率都带着$|A$即可。
例如：$P(\overline{B}|A)=P(B \cup \overline{B}|A) - P(B|A)=1-P(B|A)$, $P[(B-C|A)]=P(B|A)-P(BC|A)$.
贝叶斯(Bayes)公式
For two events $A$ and $B$ in the sample space $\Omega$, the conditional probability of A given B is:
where $P(B) \neq 0$.
Moreover, if ${A_1, A_2,…, A_m}$ is a partition of $\Omega$, for each $i = 1,2,…,m$, we have:
贝叶斯公式的本质是条件概率，描述一件基于与之相关的先验（prior）知识条件的事件的概率。
全概率公式
if ${A_1, A_2,…, A_m}$ is a partition of $\Omega$, for any event B, we have:
乘法概率公式(Joint Probability)
For two events A and B ($P(A)>0$), we have $P(AB)=P(A)P(B|A)$.
For events $B_1,B_2,…,B_n$, we have:
独立事件
Two events A and B are independent (denoted by A $\perp$ B), if the occurance of B does not affect the probability of occurance of A, i.e., $P(A|B)=P(A)$.
Pairwise Independent（两两互斥）: A finite set of events ${Ai}^n{i=1}$ is pairwise independent if and only if for any pairs $i \neq j$, $P(A_i \cap A_j)=P(A_i)P(A_j)$.
Mutually Independent（相互互斥）: the collection of events is mutually independent if and only if for every combination of ${i_1,i_2,…,i_k} \subset {1,2,…,n}$, we have:
pairwise independent and mutually independent: mutually independent must be pairwise independent. The reverse is not true.