提名MCMC(Markov Chain Monte Carlo),用於從一個目標分佈 中抽樣。通常抽樣的目的是為了計算一個積分,在統計中最為常用的例子就是貝葉斯了。
可以毫不誇張的說,MCMC演算法拯救了貝葉斯統計學派。
實現有多簡單呢?MCMC中最為通用的一個演算法是Metropolis-Hastings演算法,非常簡單:
其中 為一個工具分佈,通常設定為對稱的即 ,最簡單的方法是設定一個隨機遊走: 。
比如,一個最簡單的隨機遊走的M-H演算法的函式:
就這麼簡單
理論有多複雜呢?
MCMC構造了一條馬爾可夫鏈,可以證明在適當的條件下,這個馬爾可夫鏈的平穩分佈就是 ,但是這個馬爾可夫鏈不是最簡單的離散狀態空間的馬爾可夫鏈,而是一個一般狀態空間上的(至少是 的狀態空間)一個馬爾可夫鏈。對於離散狀態的馬爾可夫鏈,遍歷性、常返性、週期性之類的還算是比較容易定義的(雖然本科非數學專業的可能已經有一定接受難度了),對於一般狀態空間上的馬爾可夫鏈的遍歷性,至少離開測度都很難定義常返性了。
總之,挺難的。
提名MCMC(Markov Chain Monte Carlo),用於從一個目標分佈 中抽樣。通常抽樣的目的是為了計算一個積分,在統計中最為常用的例子就是貝葉斯了。
可以毫不誇張的說,MCMC演算法拯救了貝葉斯統計學派。
實現有多簡單呢?MCMC中最為通用的一個演算法是Metropolis-Hastings演算法,非常簡單:
其中 為一個工具分佈,通常設定為對稱的即 ,最簡單的方法是設定一個隨機遊走: 。
比如,一個最簡單的隨機遊走的M-H演算法的函式:
就這麼簡單
理論有多複雜呢?
MCMC構造了一條馬爾可夫鏈,可以證明在適當的條件下,這個馬爾可夫鏈的平穩分佈就是 ,但是這個馬爾可夫鏈不是最簡單的離散狀態空間的馬爾可夫鏈,而是一個一般狀態空間上的(至少是 的狀態空間)一個馬爾可夫鏈。對於離散狀態的馬爾可夫鏈,遍歷性、常返性、週期性之類的還算是比較容易定義的(雖然本科非數學專業的可能已經有一定接受難度了),對於一般狀態空間上的馬爾可夫鏈的遍歷性,至少離開測度都很難定義常返性了。
總之,挺難的。