高斯分布的後驗分布

在使用高斯 (Gaussian) 先驗分布的貝氏分析中，當觀測數據的似然函數也為高斯分布時，後驗分布仍然是高斯分布（即共軛分布）。以下是高斯先驗下的後驗均值與方差的推導與結果。

問題背景

• 假設觀測數據  x_1, x_2, \dots, x_n  是從一個已知方差  \sigma^2  的高斯分布中獨立抽樣：

x_i \sim \mathcal{N}(\mu, \sigma^2), \quad i = 1, 2, \dots, n

其中， \mu  是未知的均值參數。

• 先驗分布  \mu  的分布為高斯分布：

\mu \sim \mathcal{N}(\mu_0, \tau^2)

其中  \mu_0  為先驗均值， \tau^2  為先驗方差。

後驗分布推導

利用貝氏公式計算後驗分布：

p(\mu \mid x) \propto p(x \mid \mu) \cdot p(\mu)

1. 似然函數：

p(x \mid \mu) \propto \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i - \mu)^2\right)

2. 先驗分布：

p(\mu) \propto \exp\left(-\frac{1}{2\tau^2} (\mu - \mu_0)^2\right)

3. 後驗分布：結合上述兩個項，後驗分布仍然是高斯分布：

p(\mu \mid x) \propto \exp\left(-\frac{1}{2}\left[\frac{1}{\sigma^2}\sum_{i=1}^n (x_i - \mu)^2 + \frac{1}{\tau^2} (\mu - \mu_0)^2\right]\right)

4. 簡化與參數化：通過整理得到後驗分布的均值與方差。

後驗分布的參數

後驗分布為：

\mu \mid x \sim \mathcal{N}(\mu_{\text{post}}, \sigma^2_{\text{post}})

• 後驗均值：

\mu_{\text{post}} = \frac{\frac{\mu_0}{\tau^2} + \frac{\sum_{i=1}^n x_i}{\sigma^2}}{\frac{1}{\tau^2} + \frac{n}{\sigma^2}}

可以解釋為先驗均值  \mu_0  與樣本均值  \bar{x} = \frac{\sum_{i=1}^n x_i}{n}  的加權平均：

\mu_{\text{post}} = w \cdot \mu_0 + (1-w) \cdot \bar{x}

其中權重  w = \frac{\frac{1}{\tau^2}}{\frac{1}{\tau^2} + \frac{n}{\sigma^2}} 。

• 後驗方差：

\sigma^2_{\text{post}} = \frac{1}{\frac{1}{\tau^2} + \frac{n}{\sigma^2}}

直觀解釋

1. 後驗均值：

• 後驗均值  \mu_{\text{post}}  是先驗均值與樣本均值的加權平均，權重取決於先驗不確定性（先驗方差  \tau^2 ）與數據不確定性（樣本數  n  和樣本方差  \sigma^2 ）。

• 當數據量  n  增加時，樣本均值  \bar{x}  的權重增加，後驗分布更依賴數據而非先驗。

2. 後驗方差：

• 後驗方差  \sigma^2_{\text{post}}  總是小於先驗方差和觀測數據的不確定性，反映了通過結合先驗和數據獲得的信息量增加。

總結公式

• 後驗均值：

\mu_{\text{post}} = \frac{\tau^2 \cdot \sum_{i=1}^n x_i + \sigma^2 \cdot \mu_0}{n \cdot \tau^2 + \sigma^2}

• 後驗方差：

\sigma^2_{\text{post}} = \frac{\sigma^2 \cdot \tau^2}{n \cdot \tau^2 + \sigma^2}