最小二乘估計是高斯,C.F.(Gauss,Carl Friedrich) 在1974年提出的引數估計法，其特點是演算法簡單，不必知道被估計量及量測量有關的統計資訊。

最小二乘原理 利用樣本回歸函式估計總體迴歸函式,是根據一個給定的包含n組X和Y觀測資料的樣本,建立樣本回歸函式,使估計值 儘可能接近觀測值Yi。最小二乘原理就是根據使樣本剩餘的平方和達到最小的準則,確定模型中的引數,建立樣本回歸函式。線性最小二乘估計 以誤差的平方和最小為準則根據觀測資料估計線性模型中未知引數的一種基本引數估計方法。

1794年德國數學家C。F。高斯在解決行星軌道預測問題時首先提出最小二乘法。它的基本思路是選擇估計量使模型（包括靜態或動態的,線性或非線性的）輸出與實測輸出之差的平方和達到最小。這種求誤差平方和的方式可以避免正負誤差相抵,而且便於數學處理（例如用誤差的絕對值就不便於處理）。

線性最小二乘法是應用最廣泛的引數估計方法,它在理論研究和工程應用中都具有重要的作用,同時它又是許多其他更復雜方法的基礎。線性最小二乘法是最小二乘法最簡單的一種情況,即模型對所考察的引數是線性的。