深度学习基础:概率论(1)_正态分布(高斯分布)

正态分布

定义

$$
N(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}
$$

其中$\mu$是分布的均值,即$E(x) = \mu$;$\sigma$是标准差,$\sigma^2$是方差,即$D(x) = \sigma$。

图像

在正态分布中,参数$\mu$是用来控制中心峰值,而$\sigma^2$是用来控制峰的陡峭程度,其中$\sigma^2$越小,峰越陡峭。

更高效的参数化分布

为了方便对不同参数下的概率密度函数求值,通常使用参数$\beta = \frac{1}{\sigma^2}$来替换$\sigma^2$,通常$\beta$称为精度,那么正态分布可以表示为:

$$
N(x; \mu, \beta^{-1}) = \frac{\beta}{2\pi}e^{-\frac{\beta (x-\mu)^2}{2}}
$$

默认分布通常选择正态分布的原因

(1)依中心极限定理,大量独立随机变量的和服从近似正态分布。因此,实际中很多复杂情况下可以被建模成正态分布。
(2)在具有相同方差的所有可能的分布中,正态分布具有最大的不确定性,也就是最大。

多维正态分布

定义

正态分布可以推广到${\Bbb {R}}^n$空间,其分布函数:

$$
N(x; \mu, \Sigma) = \frac{1}{\sqrt {(2\pi)^n|\Sigma|}}e^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1} , (x-\mu)}
$$

其中参数$\mu$是一个向量,表示分布的均值;参数$\Sigma$是一个协方差矩阵。

更高效的参数化分布

令精度矩阵$\beta = \Sigma^{-1}$,分布函数可以表示为

$$
N(x; \mu, \Sigma) = \sqrt {\frac{|\beta|}{(2\pi)^n}}e^{-\frac{1}{2}(x-\mu)^T\beta(x-\mu)}
$$

Powered by AppBlog.CN     浙ICP备14037229号

Copyright © 2012 - 2020 APP开发技术博客 All Rights Reserved.

访客数 : | 访问量 :