普通最小二乘法(Ordinary Least Square,簡稱OLS),是應用最多的引數估計方法,也是從最小二乘原理出發的其他估計方法的基礎。
在已經獲得樣本觀測值 (i=1,2,…,n)的情況下(見圖2.2.1中的散點),假如模型(2.2.1)的引數估計量已經求得到,為 和 ,並且是最合理的引數估計量,那麼直線方程(見圖2.2.1中的直線)
i=1,2,…,n (2.2.2)
應該能夠最好地擬合樣本資料。其中 為被解釋變數的估計值,它是由引數估計量和解釋變數的觀測值計算得到的。那麼,被解釋變數的估計值與觀測值應該在總體上最為接近,判斷的標準是二者之差的平方和最小。
(2.2.3)
為什麼用平方和?因為二者之差可正可負,簡單求和可能將很大的誤差抵消掉,只有平方和才能反映二者在總體上的接近程度。這就是最小二乘原則。那麼,就可以從最小二乘原則和樣本觀測值出發,求得引數估計量。
由於
是 、 的二次函式並且非負,所以其極小值總是存在的。根據羅彼塔法則,當Q對 、 的一階偏導數為0時,Q達到最小。即
(2.2.4)
容易推得特徵方程:
解得:
(2.2.5)
所以有: (2.2.6)
於是得到了符合最小二乘原則的引數估計量。
為減少計算工作量,許多教科書介紹了採用樣本值的離差形式的引數估計量的計算公式。由於現在計量經濟學計算機軟體被普遍採用,計算工作量已經不是什麼問題。但離差形式的計算公式在其他方面也有應用,故在此寫出有關公式,不作詳細說明。記
(2.2.6)的引數估計量可以寫成
(2.2.7)
至此,完成了模型估計的第一項任務。下面進行模型估計的第二項任務,即求隨機誤差項方差的估計量。記 為第i個樣本觀測點的殘差,即被解釋變數的估計值與觀測值之差。則隨機誤差項方差的估計量為
(2.2.8)
在關於 的無偏性的證明中,將給出(2.2.8)的推導過程,有興趣的讀者可以參考有關資料。
在結束普通最小二乘估計的時候,需要交代一個重要的概念,即“估計量”和“估計值”的區別。由(2.2.6)給出的引數估計結果是由一個具體樣本資料計算出來的,它是一個“估計值”,或者“點估計”,是引數估計量 和 的一個具體數值;但從另一個角度,僅僅把(2.2.6)看成 和 的一個表示式,那麼,則是 的函式,而 是隨機變數,所以 和 也是隨機變數,在這個角度上,稱之為“估計量”。在本章後續內容中,有時把 和 作為隨機變數,有時又把 和 作為確定的數值,道理就在於此。
普通最小二乘法(Ordinary Least Square,簡稱OLS),是應用最多的引數估計方法,也是從最小二乘原理出發的其他估計方法的基礎。
在已經獲得樣本觀測值 (i=1,2,…,n)的情況下(見圖2.2.1中的散點),假如模型(2.2.1)的引數估計量已經求得到,為 和 ,並且是最合理的引數估計量,那麼直線方程(見圖2.2.1中的直線)
i=1,2,…,n (2.2.2)
應該能夠最好地擬合樣本資料。其中 為被解釋變數的估計值,它是由引數估計量和解釋變數的觀測值計算得到的。那麼,被解釋變數的估計值與觀測值應該在總體上最為接近,判斷的標準是二者之差的平方和最小。
(2.2.3)
為什麼用平方和?因為二者之差可正可負,簡單求和可能將很大的誤差抵消掉,只有平方和才能反映二者在總體上的接近程度。這就是最小二乘原則。那麼,就可以從最小二乘原則和樣本觀測值出發,求得引數估計量。
由於
是 、 的二次函式並且非負,所以其極小值總是存在的。根據羅彼塔法則,當Q對 、 的一階偏導數為0時,Q達到最小。即
(2.2.4)
容易推得特徵方程:
解得:
(2.2.5)
所以有: (2.2.6)
於是得到了符合最小二乘原則的引數估計量。
為減少計算工作量,許多教科書介紹了採用樣本值的離差形式的引數估計量的計算公式。由於現在計量經濟學計算機軟體被普遍採用,計算工作量已經不是什麼問題。但離差形式的計算公式在其他方面也有應用,故在此寫出有關公式,不作詳細說明。記
(2.2.6)的引數估計量可以寫成
(2.2.7)
至此,完成了模型估計的第一項任務。下面進行模型估計的第二項任務,即求隨機誤差項方差的估計量。記 為第i個樣本觀測點的殘差,即被解釋變數的估計值與觀測值之差。則隨機誤差項方差的估計量為
(2.2.8)
在關於 的無偏性的證明中,將給出(2.2.8)的推導過程,有興趣的讀者可以參考有關資料。
在結束普通最小二乘估計的時候,需要交代一個重要的概念,即“估計量”和“估計值”的區別。由(2.2.6)給出的引數估計結果是由一個具體樣本資料計算出來的,它是一個“估計值”,或者“點估計”,是引數估計量 和 的一個具體數值;但從另一個角度,僅僅把(2.2.6)看成 和 的一個表示式,那麼,則是 的函式,而 是隨機變數,所以 和 也是隨機變數,在這個角度上,稱之為“估計量”。在本章後續內容中,有時把 和 作為隨機變數,有時又把 和 作為確定的數值,道理就在於此。