我們先以最基礎的一元線性迴歸為例

如圖

我們希望找到一個最恰當的直線，使得這些點與直線離得儘可能近。

有一元線性迴歸模型：

其中假設殘差項 j滿足標準正態

首先要從數學角度定義這個距離，通常情況下，在

中

目標函式可以寫為：

注意這個目標函式與如下形式在同一引數下取得最優值（由於冪函式單調性），又因為有根號得存在不方便利用求導的方法，所以我們採取以下形式。這個形式用語言翻譯過來就是求解二乘的最小值，即最小二乘法（OLS）。

可以解出引數

利用這種方式進行的估計好壞的評價需要一些標準。常見的標準有以下幾種

1. 相合性：在樣本量足夠大時估計值限是真實值

2. 無偏性：利用最小二乘估計的值的確是準確的，這條強於1

3. 最大似然估計

4. 最小方差

我們會驚喜得發現，利用最小二乘法得到得引數估計值滿足以上幾大良好性質。先挖坑，具體證明之後補上。