高斯分布

高斯分布（正态分布）是概率统计中最重要的一类连续概率分布，也是统计学和机器学习的核心理论基础，其普遍性由中心极限定理保证。

定义

概率密度函数： $f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right)$

参数	含义
$\mu$	均值（中心位置）
${\sigma }^2$	方差（离散程度）
$\sigma$	标准差

重要性质

• 68-95-99.7 规则：约 68%/95%/99.7% 的数据分别落在 $\mu \pm \sigma$、$\mu \pm 2\sigma$、$\mu \pm 3\sigma$ 内
• 对称性：关于均值对称
• 最大熵分布：给定均值和方差时，高斯分布是熵最大的分布
• 中心极限定理：大量独立随机变量之和趋于正态分布

应用场景

领域	应用
机器学习	参数初始化、噪声模型
统计推断	假设检验、置信区间
异常检测	基于概率阈值检测
信号处理	高斯噪声建模
金融	收益率建模
质量控制	过程能力分析
自然科学	测量误差、自然现象

多元高斯分布

$f(\mathbf{x})=\frac{1}{(2\pi {)}^{d/2}|\Sigma {|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-\mathbf{\mu }{)}^T{\Sigma }^{-1}(\mathbf{x}-\mathbf{\mu })\right)$

$\Sigma$ 为协方差矩阵，描述各维度间的相关性。

扩展形式

• 高斯混合模型（GMM）：多个高斯分布的加权和
• 高斯过程（GP）：函数空间上的概率分布