分佈收斂(convergence in distribution):定義:依分佈收斂至X,記作,意味著:,對於所有F的連續點x。也就是說,當n很大的時候,的累積函式和X的累積函式差不多。直觀上而言,依分佈收斂只在乎隨機變數的分佈,而不在乎他們之間的相互關係。舉例而言,倘若已知,假設。對於任意一個發生的事件,Y與X的取值正好差了一個負號。但這並不影響X與Y有相同的累積函式,即。如此一來,。更一般的情況而言,只要X與Y有相同的累計函式,即same distributed,即使,也有。因為依分佈收斂僅僅在乎分佈,而不在乎相互之間的關係。機率收斂(convergence in probability):定義:依機率收斂至X,記作,意味著:,當,。也就是說,當n很大的時候,對任意發生的事件,的值和X的值差不多,即很小。直觀上而言,依機率收斂在乎的是隨機變數的值。這樣說來,前面依分佈收斂的例子如果套在機率收斂上就會出現問題。如果,但對於任何一個與X分佈一樣的Y,但,一定不成立,因為X與Y只是分佈相同,而值不同。但反而言之,如果,即它們的值都差不多了,那麼它們的分佈一定也差不多,即。因此,依機率收斂比依分佈收斂要強,即。但在某種情況下,取值就可以確定分佈。即X取某個常數的情況下。此時X的取值和X的分佈唯一確定。即此時會有依分佈收斂和依機率收斂等價,即。Lp收斂(convergence in Lp):定義:依Lp收斂至X,記作,意味著:,當,。在p=2時即為均方收斂。直觀上而言,均方收斂在乎的也是隨機變數的值,但其要求比依機率收斂更加嚴格。之所以更加嚴格,是因為機率測度可以被均方測度所限制,其思想可以近似由Chebyshev不等式看到。。因此.幾乎處處收斂(convergence almost surely):定義:幾乎處處收斂至X,記作,意味著:,當。直觀上而言,幾乎處處收斂在乎的也是隨機變數的值,但其要求也比依機率收斂更加嚴格。如果沒有接觸過實變函式的知識,幾乎處處收斂對於連續型隨機變數可能比較難以理解。我們這邊用離散型隨機變數進行直觀解釋,以避免0測度下的一些問題。對於,即以機率取1,其餘為0的隨機變數。其依機率收斂到1意味著,和1的值都差不多,而且隨著n越來越大,不相等的機率越來越小。轉而言之,出現0的機率越來越小,極限為0。但幾乎處處收斂至1要求,存在N,時,,即和1的值都在n很大時必須相等,即取0的機率在某個N後必須為0。前者限制其尾部機率收斂至0,但後者限制尾部機率為0。結論:(1)幾乎處處收斂和Lp收斂最強,依機率收斂其次,依分佈收斂最弱。(2)幾乎處處收斂和Lp收斂並無推導關係。(3)在收斂到常數時,依機率收斂和依分佈收斂等價。題外話:在我學機率的時間裡,其實我只用到過最弱的收斂,依分佈收斂。感覺很多定理,如:大數定理(LLN)和中心極限定理(CLT)都只用到它。但或許是我只是一個小碩,這些東西並不完全弄得明白。所以還希望各位不吝賜教。(ง •̀_•́)ง
注:本答案僅提供本人對各種收斂的直觀理解,以便讀者更直觀地瞭解各種收斂的聯絡。如果想了解更理論的部分,強烈推薦Yang的答案。
分佈收斂(convergence in distribution):定義:依分佈收斂至X,記作,意味著:,對於所有F的連續點x。也就是說,當n很大的時候,的累積函式和X的累積函式差不多。直觀上而言,依分佈收斂只在乎隨機變數的分佈,而不在乎他們之間的相互關係。舉例而言,倘若已知,假設。對於任意一個發生的事件,Y與X的取值正好差了一個負號。但這並不影響X與Y有相同的累積函式,即。如此一來,。更一般的情況而言,只要X與Y有相同的累計函式,即same distributed,即使,也有。因為依分佈收斂僅僅在乎分佈,而不在乎相互之間的關係。機率收斂(convergence in probability):定義:依機率收斂至X,記作,意味著:,當,。也就是說,當n很大的時候,對任意發生的事件,的值和X的值差不多,即很小。直觀上而言,依機率收斂在乎的是隨機變數的值。這樣說來,前面依分佈收斂的例子如果套在機率收斂上就會出現問題。如果,但對於任何一個與X分佈一樣的Y,但,一定不成立,因為X與Y只是分佈相同,而值不同。但反而言之,如果,即它們的值都差不多了,那麼它們的分佈一定也差不多,即。因此,依機率收斂比依分佈收斂要強,即。但在某種情況下,取值就可以確定分佈。即X取某個常數的情況下。此時X的取值和X的分佈唯一確定。即此時會有依分佈收斂和依機率收斂等價,即。Lp收斂(convergence in Lp):定義:依Lp收斂至X,記作,意味著:,當,。在p=2時即為均方收斂。直觀上而言,均方收斂在乎的也是隨機變數的值,但其要求比依機率收斂更加嚴格。之所以更加嚴格,是因為機率測度可以被均方測度所限制,其思想可以近似由Chebyshev不等式看到。。因此.幾乎處處收斂(convergence almost surely):定義:幾乎處處收斂至X,記作,意味著:,當。直觀上而言,幾乎處處收斂在乎的也是隨機變數的值,但其要求也比依機率收斂更加嚴格。如果沒有接觸過實變函式的知識,幾乎處處收斂對於連續型隨機變數可能比較難以理解。我們這邊用離散型隨機變數進行直觀解釋,以避免0測度下的一些問題。對於,即以機率取1,其餘為0的隨機變數。其依機率收斂到1意味著,和1的值都差不多,而且隨著n越來越大,不相等的機率越來越小。轉而言之,出現0的機率越來越小,極限為0。但幾乎處處收斂至1要求,存在N,時,,即和1的值都在n很大時必須相等,即取0的機率在某個N後必須為0。前者限制其尾部機率收斂至0,但後者限制尾部機率為0。結論:(1)幾乎處處收斂和Lp收斂最強,依機率收斂其次,依分佈收斂最弱。(2)幾乎處處收斂和Lp收斂並無推導關係。(3)在收斂到常數時,依機率收斂和依分佈收斂等價。題外話:在我學機率的時間裡,其實我只用到過最弱的收斂,依分佈收斂。感覺很多定理,如:大數定理(LLN)和中心極限定理(CLT)都只用到它。但或許是我只是一個小碩,這些東西並不完全弄得明白。所以還希望各位不吝賜教。(ง •̀_•́)ง