贝叶斯统计学

统计推断中可用的三种信息

1. 总体信息
2. 样本信息
3. 先验信息

贝叶斯公式

1. 事件形式

2. 密度形式

   $p(\theta|x_1, x_2,…,x_n) = \frac{p(\theta ) p (x_1,x_2,…,x_n|\theta)}{\int p(\theta ) p (x_1,x_2,…,x_n|\theta) d\theta} $

3. 离散形式

   若$\theta$是离散形式，写作$p(\theta_i|x_1, x_2,…,x_n) = \frac{p(\theta_i ) p (x_1,x_2,…,x_n|\theta_i)}{\sum_j p(\theta_j ) p (x_1,x_2,…,x_n|\theta_j) }$

   若$x$也是离散形式，写作$p(x|\theta)$换成$p(X=x|\theta)$

后验概率的计算：

step1: 假设先验分布$p(\theta)$（一般假设为$U ～ [0,1]$）

step2: 计算联合分布$h(\theta, x)$

step3: 计算边际分布$m(x) = \int h(\theta,x)d\theta$

step4: 由贝叶斯公式计算后验概率$p(\theta|x)$

共轭先验分布：先验—似然—>后验 （其与先验分布服从同一类分布）

二项分布的成功概率θ的共轭先验分布是贝塔分布。

贝叶斯推断

条件方法：

贝叶斯推断的后验信息集三种信息为一体，基于后验分布的统计推断实际上只考虑已出现的数据（样本观察值）而认为未出现的数据与推断无关。

条件方法 和 频率方法 的区别：频率方法要考虑样本空间中所有可能出现的样本，而条件方法认为为出现的数据与推断无关

参数估计

1. 最大后验估计

2. 后验中位数估计

3. 后验期望估计

4. 误差估计

   $MSE(\hat{\theta}_E|x) = var(\theta|x) $

   $MSE(\hat{\theta}|x) = var(\theta|x) + (\hat{\theta}_E - \hat{\theta})^2$

   可见，当$\hat{\theta} = \hat{\theta}_E$时，有最小值

区间估计

假设检验