最小二乘法是一種線性迴歸的方法

所謂線性迴歸

其實就是在平面直角座標系裡有一系列的點

然後模擬一條直線

讓這條直線儘可能地與這些點契合

得出直線方程y=αx+β 即為線性迴歸方程

而所謂最小二乘

就是假設迴歸直線為y=αx+β

則對於平面上的每個點An的座標(xk,yk)

將xk代入迴歸方程 可以求出一個yk"

另δk=yk"-yk 就是迴歸直線上的點 和 實際點的偏差

這樣對於所有的點An都會有一個偏差δn與之對應

我們所要做出的迴歸直線 要儘可能地與平面上的點契合

那麼就是要儘量讓這些偏差儘可能地小

但是由於有些點在直線上方 有些點在直線下方

則求出的δ有正有負 所以不能夠直接相加

所以我們就想出一個辦法 將δ平方後確保為正 然後相加

這樣令所有的δ的平方和儘可能小 得到的直線就是最小二乘法求出的最優迴歸直線

由於直線有兩個未知數α和β

所以求最小的方法就是對α和β分別求偏導數 令兩個偏導數都為0

求出α和β 對應的直線方程y=αx+β 就是最小二乘法求出的最優迴歸直線方程

總的來說 所謂最小二乘

二乘 就是要對每個點對於直線的偏差δ進行平方保正

最小 就是讓每個點對於直線的偏差的平方和最小

不知道這樣說能否理解