# 概率论备忘

# Chapter 1. 概率论基础

# 1.1 全概率公式

$E(X) = E(E(X|Y))$

条件概率的期望等于原数学期望

# 1.2 矩母函数和特征函数

• $X$的矩母函数的定义为：

$m(t) = E(e^{tX})$

• $X$的特征函数的定义为：

$f(t) = E(e^{itX})$

相当于随机变量的傅里叶变换

# Chapter 2. 样本及样本函数的分布

# 2.1 样本的经验分布函数

$F_n(x) = \frac 1n \sum_{i=1}^n I_{\{X_i \le x\}} =: \frac 1n \sum_{i=1}^n Y_i$

其中，$Y_i = I_{\{X_i \le x\}}$为i.i.d随机变量，其分布为$B(1,p)$，其中$p = P(X_i \le x) = P(X \le x) = F(x)$

$F_n(x)$实际上就是根据样本观测值$x_i$画出来的分布函数 根据强大数定律，样本的经验分布函数$F_n(x)$依概率收敛于总体分布函数 $F(x)$，即当n区域无穷时，$F_n(x)$近似于$F(x)$

# 2.2 次序统计量

定义： $X_{(i)}$称为样本$X_1,X_2, \ldots ,X_n$的第i个次序统计量，是指其被观测后，将观测值$x_1,x_2, \ldots ,x_n$从小到大排列，一定处于第i个位置 样本最大值即最大次序统计量$X_{n}$，样本最小值即最小次序统计量$X_1$

# 2.3 常用分布和分布族

# 2.3.1 Gamma分布

$p(x;\alpha , \lambda)=\frac{\lambda ^ \alpha}{\Gamma(\alpha)} x^{\alpha - 1} e^{-\lambda x} \quad ,x>0$

记为$\Gamma (\alpha, \lambda)$或$Ga(\alpha, \lambda)$，其中$\alpha > 0$称为“形状参数”，$\lambda > 0$称为”尺度参数“，$\Gamma (\alpha) = \int_0^\infty t^{\alpha -1} e^{-t} dt$

常见性质：

1. $\Gamma (x+1) = x \Gamma(x)$，$\Gamma (n) = (n-1)!$，$\Gamma (\frac 12) = \sqrt{\pi}$
2. $\Gamma (1, \lambda)$为指数分布$e(\lambda)$，$\Gamma (\frac n2, \frac 12)$即为卡方分布$\chi ^2(n)$
3. Gamma分布的均值$E(X) = \frac \alpha \lambda$，方差$D(X) = \frac \alpha {\lambda ^2}$
4. Gamma分布的矩母函数$E(e ^{tX}) = (1 - \frac t \lambda)^{- \alpha} \quad ,t<\lambda$，

特征函数$\varphi (t) = E(e ^{itX}) = (1 - \frac {it} \lambda)^{- \alpha}$

5. 可加性：$X_1, X_2$相互独立，$X_i \sim \Gamma(\alpha _i, \lambda), \ i=1,2$，则$X_1 + X_2 \sim \Gamma(\alpha _i + \alpha _2, \lambda)$
6. 设$X \sim \Gamma(\alpha, \lambda)$，则$Y = X/k \sim \Gamma(\alpha, k\lambda)\quad ,k>0$

# 2.3.2 Beta分布

$\begin{aligned} p(x;a , b) &=\frac 1 {B(a,b)} x^{a - 1} (1-x)^{b-1} \\ &= \frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} x^{a - 1} (1-x)^{b-1} \quad ,0<x<1 \end{aligned}$ 记为$Be(a, b)$或$\beta(a,b)$，其中$a> 0, b>0$称为“形状参数”，$B(a,b) = \int_0^1 x^{a -1} (1-x)^{b-1} dx = \frac{\Gamma(a) \Gamma(b)}{\Gamma(a+b)}$

常见性质：

1. $\beta (1,1)$即为$(0,1)$区间上的均匀分布$U(0,1)$
2. $\beta (1/2,1/2)$为反正弦分布，概率密度函数为：

$p(x)=\frac{1}{\pi \sqrt{x(1-x)}} \quad ,0<x<1$

3. $\beta (1/2,3/2)$为Marchenko-Pastur分布，概率密度函数为：

$p(x)=\frac{2}{\pi} \sqrt{\frac {1-x} x} \quad ,0<x<1$

4. Beta分布的k阶矩$E(X^k) = \frac {B(a+k,b)}{B(a,b)}$，均值$E(X)=\frac a {a+b}$，方差$D(X)= \frac {ab} {(a+b)^2(a+b+1)}$

# 2.3.4 指数型分布族

包罗性更广的分布族，参数和变量可以分解 $p(x;\theta) = c(\theta)\exp\{\sum^k_{j=1} Q_j(\theta)T_j(x)\}\ h(x)$ 其中，$c(\theta),Q_j(\theta)$为定义在参数空间上的函数，与$x$无关；$h(x),T_j(x)$与$\theta$无关

常见性质：

1. 正态分布、二项分布是指数型分布族；均匀分布不是指数型分布族
2. 如果总体分布是指数型分布族，那么从中抽取的简单随机样本的分布族或联合分布族也是指数型分布族

# 2.4 充分统计量

定义： 设有一个总体分布$F$，从中抽取一组样本，$T = T(X_1,X_2,\cdots,X_n )$是样本的统计量，当给定$T=t$时，样本的条件分布与总体分布无关，则称$T$为此分布族的充分统计量；当给定$T=t$时，样本的条件分布与未知参数$\theta$无关，则亦称$T$是参数$\theta$的充分统计量

常见性质：

1. 充分统计量的一一变换还是充分统计量
2. 次序统计量都是充分统计量
3. 指数型分布族的$T_j(x)$一定是充分统计量，且是极小充分统计量

# 2.4.1 因子分解定理（用于构造充分统计量）

定理： 总体分布$F$的概率密度函数为$p(x;\theta)$，样本$\mathbf{X}=(X_1,X_2,\cdots,X_n)$的联合概率密度函数为$p(\mathbf{x};\theta)$，若$T=T(\mathbf{X})$为未知参数$\theta$的充分统计量，当且仅当 $p(\mathbf{x};\theta) = g(T(\mathbf{X}); \theta)\ h(\mathbf{x})$ 其中，$g(t; \theta)$是定义在统计量取值空间上的函数；$h(\mathbf{x})$与$\theta$无关

# Chapter 3. 点估计

# 3.1 点估计的优化理论