先验分布/后验分布/共轭分布

1、先验信息

      在抽取样本之前,人们对所要估计的未知参数所了解的信息,通常称为先验信息.

某学生通过物理试验来确定当地的重力加速度,测得的数据为(m/s²):

9.80,  9.79,  9.78,  6.81,  6.80

试求当地的重力加速度.

解:用样本均值估计其重力加速度应该是合理的,即

x平均 = 8.596

由经验可知,此结果是不符合事实的。在估计之前我们知道,重力加速度应该在9.80附近,即

X~N(9.80,0.1^2)

这个信息就是重力加速度的先验信息

在统计学中,先验信息可以更好的帮助人们解决

统计决策问题. 贝叶斯将此思想应用于统计决策中,形成了完整的贝叶斯统计方法.

2、先验分布

对未知参数q的先验信息用一个分布形式p(q)来表示,此分布p(q)称为未知参数q的先验分布.(即在实验前通过已知信息知道的分布)

例1中重力加速度的先验分布为

X~N(9.80,0.1^2)

3、后验分布

在抽取样本之前,人们对未知参数有个了解,即先验分布。抽取样本之后,由于样本中包含未知参数的信息,而这些关于未知参数新的信息可以帮助人们修正抽样之前的先验信息。(即通过抽样来修正先验分布,先验分布综合运用了样本信息即样本服从怎么样的分布,还运用了先验分布机样本服从的分布的参数的信息。)

先验分布、后验分布、共轭先验分布

联合分布
设(X,Y)是二维随机变量,对于任意实数x,y,二元函数
F(x,y) = P{(X<=x) 交 (Y<=y)} => P(X<=x, Y<=y)
称为:二维随机变量(X,Y)的分布函数,或称为随机变量X和Y的联合分布函数
对离散随机变量而言,联合分布概率密度函数为Pr(X = x & Y = y),即
P(X=x and Y=y)=P(Y=y∣X=x)P(X=x)=P(X=x∣Y=y)P(Y=y)
因为是概率分布函数,所以必须有
∑x∑yP(X=x and Y=y)=1
类似地,对连续随机变量而言,联合分布概率密度函数fX,Y(x, y),其中fY|X(y|x)和fX|Y(x|y)分别代表X = x时Y的条件分布以及Y = y时X的条件分布;fX(x)和fY(y)分别代表X和Y的边缘分布。
同样地,因为是概率分布函数,所以必须有
∫x∫y fX,Y(x,y) dy dx=1

先验分布、后验分布、共轭先验分布

先验分布、后验分布、共轭先验分布
先验分布、后验分布、共轭先验分布
先验分布、后验分布、共轭先验分布

4、共轭分布族

先验分布、后验分布、共轭先验分布
先验分布、后验分布、共轭先验分布
先验分布、后验分布、共轭先验分布

先验分布、后验分布、共轭先验分布

先验分布、后验分布、共轭先验分布

先验分布、后验分布、共轭先验分布

先验分布、后验分布、共轭先验分布

先验分布、后验分布、共轭先验分布

先验分布、后验分布、共轭先验分布

先验分布、后验分布、共轭先验分布
先验分布、后验分布、共轭先验分布

先验分布、后验分布、共轭先验分布

Leave a Reply

Your email address will not be published. Required fields are marked *