回覆列表
  • 1 # 使用者2893793678133

    說一點自己的理解。先驗分佈一般屬於貝葉斯估計裡面的內容。

    在引數的貝葉斯估計中,我們用到的公式(1)是下面這個:

    左邊的部分p(Θ|x)是後驗分佈,右邊分子的前半部分p(x|Θ)是似然函式,g(Θ)是後驗分佈

    似然估計:用似然函式p(x|Θ)去估計引數的取值,具體是:

    若總體X屬離散型,其分佈律P{X=x}=p(x;θ),θ∈Θ的形式為已知,θ為待估引數,Θ是θ可能的取值範圍,設X1,X2,⋯,Xn是來自X的樣本,則X1,X2,⋯,Xn的聯合機率分佈為:

    設x1,x2,⋯,xn相應的樣本值,易知樣本X1,X2,⋯,Xn取到樣本值x1,x2,⋯,xn的機率,亦即事件{X1=x1,X2=x2,⋯,Xn=xn}發生的機率為:

    這一機率隨Θ的取值而變化,它是Θ的函式,在似然估計中出現的這個L(θ)稱為樣本的似然函式(注意這裡x1,x2,⋯,xn都是已知的樣本值,它們都是常數),就是公式(1)中的p(x|Θ)。

    先驗分佈:在貝葉斯學派對問題(比如說引數估計)的認知中,他們認為我們對於引數Θ在一開始是有一個先驗分佈的,這個先驗分佈可以理解為人們對事物的認識,是人們透過自己的認識人為確定的一個超引數。

    結合似然函式,我們把右邊分子部分領出來看(假設只有一個樣本X1):

    p(x|Θ)g(Θ)=Pr(X1=x1|Θ=θ)*Pr(Θ=θ),其中X1,Θ是隨機變數,x1,θ是變數的一個取值。

    這個左邊的乘積(或者說機率)比較好理解了,可以理解為我們認為假設的先驗分佈(比如我們可以假設Θ服從正態分佈)裡面Θ=θ的機率乘以X關於Θ的分佈(比如可以是一個引數為Θ的指數分佈)裡面樣本值取到x1的機率。先驗機率經過似然分佈(或者說實際樣本)的調整後,兩者的乘積越大,那麼引數Θ取到θ的機率也就越大。

    補充:公式(1)中等式右邊的分母可以理解為對於分子的歸一化,使得整個等式右邊的結果可以滿足機率的定義。

    後驗分佈:公式(1)等式左邊就是後驗分佈了,跟上面結合起來理解就是先驗分佈透過似然分佈(實際的抽樣實驗)調整得到的引數Θ取得θ的機率。

    上面說的是在引數估計中先驗分佈,後驗分佈,似然估計(和似然函式、分佈)怎麼理解。下面在補充一個簡單的機率計算中貝葉斯估計的應用,幫助理解:

    可以看到先驗分佈中,元器件屬於製造廠2的機率最大為0.8,但是經過似然函式(實驗抽到了一個次品)的調整後,後驗機率中元器件屬於製造廠2的機率下降到了0.64。這就是貝葉斯估計的過程,先有一個先驗分佈,經過似然分佈的調整以後驗證

  • 中秋節和大豐收的關聯?
  • 最近有一部國產動漫電影火了,你知道是哪一部嗎?覺得如何?