小二乘大約是1795年高斯在他那星體運動軌道預報工作中提出的[1]。後來，最小二乘法就成了估計理論的奠基石。由於最小二乘法結構簡單，編制程式也不困難，所以它頗受人們重視，應用相當廣泛。
如用標準符號，最小二乘估計可被表示為：
AX=B (2-43)
上式中的解是最小化 ，透過下式中的偽逆可求得：
A"AX=A"B (2-44)
(A"A)^(-1)A"AX=(A"A)^(-1)A"B (2-45)
由於
(A"A)^-1A"A=I (2-46)
所以有
X=(A"A)^(-1)A"B (2-47)
此即最小二乘的一次完成演算法，現代的遞推演算法，更適用於計算機的線上辨識。
最小二乘是一種最基本的辨識方法，但它具有兩方面的缺陷[1]：一是當模型噪聲是有色噪聲時，最小二乘估計不是無偏、一致估計；二是隨著資料的增長，將出現所謂的“資料飽和”現象。針對這兩個問題，出現了相應的辨識演算法，如遺忘因子法、限定記憶法、偏差補償法、增廣最小二乘、廣義最小二乘、輔助變數法、二步法及多級最小二乘法等。
小二乘大約是1795年高斯在他那星體運動軌道預報工作中提出的[1]。後來，最小二乘法就成了估計理論的奠基石。由於最小二乘法結構簡單，編制程式也不困難，所以它頗受人們重視，應用相當廣泛。
如用標準符號，最小二乘估計可被表示為：
AX=B (2-43)
上式中的解是最小化 ，透過下式中的偽逆可求得：
A"AX=A"B (2-44)
(A"A)^(-1)A"AX=(A"A)^(-1)A"B (2-45)
由於
(A"A)^-1A"A=I (2-46)
所以有
X=(A"A)^(-1)A"B (2-47)
此即最小二乘的一次完成演算法，現代的遞推演算法，更適用於計算機的線上辨識。
最小二乘是一種最基本的辨識方法，但它具有兩方面的缺陷[1]：一是當模型噪聲是有色噪聲時，最小二乘估計不是無偏、一致估計；二是隨著資料的增長，將出現所謂的“資料飽和”現象。針對這兩個問題，出現了相應的辨識演算法，如遺忘因子法、限定記憶法、偏差補償法、增廣最小二乘、廣義最小二乘、輔助變數法、二步法及多級最小二乘法等。