深度学习基础：概率论(1)_正态分布(高斯分布)

正态分布

定义

$$
N(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}
$$

其中$\mu$是分布的均值，即$E(x) = \mu$；$\sigma$是标准差，$\sigma^2$是方差，即$D(x) = \sigma$。

图像

在正态分布中，参数$\mu$是用来控制中心峰值，而$\sigma^2$是用来控制峰的陡峭程度，其中$\sigma^2$越小，峰越陡峭。

更高效的参数化分布

为了方便对不同参数下的概率密度函数求值，通常使用参数$\beta = \frac{1}{\sigma^2}$来替换$\sigma^2$，通常$\beta$称为精度，那么正态分布可以表示为：

$$
N(x; \mu, \beta^{-1}) = \frac{\beta}{2\pi}e^{-\frac{\beta (x-\mu)^2}{2}}
$$

默认分布通常选择正态分布的原因

（1）依中心极限定理，大量独立随机变量的和服从近似正态分布。因此，实际中很多复杂情况下可以被建模成正态分布。
（2）在具有相同方差的所有可能的分布中，正态分布具有最大的不确定性，也就是熵最大。

多维正态分布

定义

正态分布可以推广到${\Bbb {R}}^n$空间，其分布函数：

$$
N(x; \mu, \Sigma) = \frac{1}{\sqrt {(2\pi)^n|\Sigma|}}e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1} \, (x-\mu)}
$$

其中参数$\mu$是一个向量，表示分布的均值；参数$\Sigma$是一个协方差矩阵。

更高效的参数化分布

令精度矩阵$\beta = \Sigma^{-1}$，分布函数可以表示为

$$
N(x; \mu, \Sigma) = \sqrt {\frac{|\beta|}{(2\pi)^n}}e^{-\frac{1}{2}(x-\mu)^T\beta(x-\mu)}
$$