貝氏分析
貝氏定理：P(A|B) = P(A,B) / P(B) = P(B|A) * P(A)/P(B), p(θ|D)= p(θ, D)/p(D) = p(θ) x p(D|θ)/p(D), theta: 母數, D：資料或變數 x, 條件機率 = 聯合機率/邊際機率
邊際機率：P(A), P(B), p(D), 不管其他的變數
條件機率：P(A|B), P(B|A), p(θ|D), p(D|θ)
聯合機率：P(A,B) = P(A|B) * P(B) = P(B|A) * P(A)
如果兩個事件A和B是獨立的，那麼條件機率等於邊際機率
似然函數 L(θ) ∝ ∏p(xi|θ), L(θ|x) ∝ p(x|θ)：看見 x 時，θ 的似然率等比於 θ 的分布（例如平均 0、標準差 1 的標準常態 Z 分布）固定時 x 的密度、
機率 vs 似然率：單一宇宙 vs 多維宇宙
機率密度函數 f(x) or pdf：dnorm(x, mean, sd), p(x|θ), 積分等於 1
累積分布函數 cdf：pnorm(x, mean, sd)
分位數函數（pnorm 的 反函數）：qnorm(0.975)
頻率學派 vs 貝氏學派：機率是重複事件發生的頻率 vs 主觀上某事件發生的不確定性、似然率 L(θ|x) 等比於 p(D|θ) vs p(D|θ)、樣本是隨機的變數 vs 已經發生的固定數、母數（參數）是未知的常數（沒有機率可言） vs 未知的隨機變數（有機率）、θ 固定 vs p(θ)、客觀（只依據本次試驗的結果）vs 主觀（依據先驗信念及本次試驗的結果而更新成後驗信念）、傳統 vs 新、簡單vs 複雜、人工計算可行 vs 不可行、最大似然率估計 vs 邊際似然率 p(D) = ∫p(θ’)p(D|θ’)dθ’
離散機率的總和等於 1、連續機率的積分等於 1、似然率的總和/積分不等於 1。
邊際似然率是所有可能 θ 的積分而非所有似然率的平均值。
H0: θ=0, H1: θ ≠ 0
In fact, p(θ|D) is p(θ|D, Mi), p(θ) is p(θ|Mi), p(D|θ) is p(D|θ, Mi), p(D) is p(D|Mi)
Under H1 or f1(x|θ1): p(H1|x) = p(H1) x p(x|H1)/p(x), p(x) is marginalized (integrated) over all θ1
Under H0 or f2(x|θ2): p(H0|x) = p(H0) x p(x|H0)/p(x), p(x) is marginalized (integrated) over all θ2
Post odds p(H1|D)/p(H0|D)=p(H1)/p(H0) x p(D|H1)/p(D|H0) = prior odds x BF10, p(D|H1) and p(D|H0) are marginal likelihoods
留言
張貼留言