兩者的區別在於損失函式不同。

1. 最小二乘法採用的損失函式是均方誤差(又稱平方損失)：

數學公式是：

2.嶺迴歸的損失函式為平方損失 + 所有權重平方和的平均值 * λ / 2 , λ>0

右邊項有些寫成λ(由於n是常數， λ是設定的引數，因此 λ / 2n 和 λ等同)。

什麼是L2正則化（又稱L2範數）？

這裡簡單說說，L2正則化簡單來說就是約束條件。

目的是為了降低模型複雜度，防止過擬合，提高模型泛化能力。

3. 什麼時候比較適合用嶺迴歸？

機器學習中，損失最小值時，權重為最優解。

嶺迴歸，相當於每次移除權重的 x%，這使得迴歸線更平滑。

對於下圖

對上圖右邊進行變換：

X2 = X1^2意味著特徵X2與X1相關，其它特徵類似。

可見，特徵之間相關性越強，嶺迴歸就越能降低模型的複雜度。

如果特徵之間相互獨立，顯然沒有必要應用嶺迴歸。