樣本方差的表示式除以 而不是除以 真的是日經話題。實際上,唯一的解釋是除以 的定義式可以使得樣本方差 作為對總體方差 的估計量,是無偏的。
換句話說,設 是從(總體)均值為 (總體)方差為 的總體中的隨機抽樣,那麼,樣本均值定義為 ,樣本方差定義為 就有如下結論: , 。這就是無偏性的體現。這裡注意,總體並不要求是正態總體,任意分佈的總體均有如上的性質。
這裡稍微提一下無偏性的重要性。實際上,要求統計量或者某個引數的估計量具有無偏性,比想象中要重要一些。比如你說,如果是有偏的話,那我最後估計的結果裡減去偏差不就行了嗎?這樣做其實暗含了所謂的“偏差”你是知道具體是多少的,而且還暗含了“偏差”是個常數。而實際上,一個估計量有偏,當然可以偏得五花八門——從而造成了不能知道到底是多少。其次,如果對統計量理解深刻的話,你會知道我們所謂的點估計,實際上是使用一個隨機變數(如這裡的 和 )去估計一個引數的值(非隨機變數),而隨機變數是對應著有分佈的(比如正態總體下, , ),所以,即使總體的引數不變,不同批次的樣本 做出來的點估計(們)也是不一樣的,而無偏性保證了,即使這些點估計們彼此不同,但如果批次 (不是樣本 )越來越多,這些點估計們的柱狀圖畫出來一定是圍繞真實值 的正態分佈。
如果你覺得上述分析是為了解釋而解釋,不太自然,那麼可以考慮這樣的例子。設 是從(總體)均值為 (總體)方差為 的正態總體中的隨機抽樣,那麼根據極大似然估計(MLE), , (注意這裡MLE解出來是除以 的)。不同的估計方法會有不同的統計量,比如,如果使用限制極大似然估計(REML),這裡的估計就變成了 , (注意這裡的REML解出來是除以 的)。自然你會問,為啥兩個方法結果不同?或者說REML到底限制了什麼?這個時候,你再來用自由度解釋:當 和 都是未知的時候,回憶你解MLE的過程,求導之後設為零,得到兩個方程,而 是從第一個方程先解出來的,也就是說不需要第二個方程就能解出 ,而將其帶入第二個方程,才繼續解出 。而MLE是不考慮求解過程細節的,所以得到的 和 都是除以 的;REML考慮到了這個細節,所以 是除以 的。
最後補充一下, 這種除以 作為總體方差的估計,有些時候也是有優勢的,即使它是有偏的:比如,當 是已知時, 能到達C-Rao下界的;當 未知時,則C-Rao下界無法達到。
樣本方差的表示式除以 而不是除以 真的是日經話題。實際上,唯一的解釋是除以 的定義式可以使得樣本方差 作為對總體方差 的估計量,是無偏的。
換句話說,設 是從(總體)均值為 (總體)方差為 的總體中的隨機抽樣,那麼,樣本均值定義為 ,樣本方差定義為 就有如下結論: , 。這就是無偏性的體現。這裡注意,總體並不要求是正態總體,任意分佈的總體均有如上的性質。
這裡稍微提一下無偏性的重要性。實際上,要求統計量或者某個引數的估計量具有無偏性,比想象中要重要一些。比如你說,如果是有偏的話,那我最後估計的結果裡減去偏差不就行了嗎?這樣做其實暗含了所謂的“偏差”你是知道具體是多少的,而且還暗含了“偏差”是個常數。而實際上,一個估計量有偏,當然可以偏得五花八門——從而造成了不能知道到底是多少。其次,如果對統計量理解深刻的話,你會知道我們所謂的點估計,實際上是使用一個隨機變數(如這裡的 和 )去估計一個引數的值(非隨機變數),而隨機變數是對應著有分佈的(比如正態總體下, , ),所以,即使總體的引數不變,不同批次的樣本 做出來的點估計(們)也是不一樣的,而無偏性保證了,即使這些點估計們彼此不同,但如果批次 (不是樣本 )越來越多,這些點估計們的柱狀圖畫出來一定是圍繞真實值 的正態分佈。
如果你覺得上述分析是為了解釋而解釋,不太自然,那麼可以考慮這樣的例子。設 是從(總體)均值為 (總體)方差為 的正態總體中的隨機抽樣,那麼根據極大似然估計(MLE), , (注意這裡MLE解出來是除以 的)。不同的估計方法會有不同的統計量,比如,如果使用限制極大似然估計(REML),這裡的估計就變成了 , (注意這裡的REML解出來是除以 的)。自然你會問,為啥兩個方法結果不同?或者說REML到底限制了什麼?這個時候,你再來用自由度解釋:當 和 都是未知的時候,回憶你解MLE的過程,求導之後設為零,得到兩個方程,而 是從第一個方程先解出來的,也就是說不需要第二個方程就能解出 ,而將其帶入第二個方程,才繼續解出 。而MLE是不考慮求解過程細節的,所以得到的 和 都是除以 的;REML考慮到了這個細節,所以 是除以 的。
最後補充一下, 這種除以 作為總體方差的估計,有些時候也是有優勢的,即使它是有偏的:比如,當 是已知時, 能到達C-Rao下界的;當 未知時,則C-Rao下界無法達到。