最小二乘法的目標：求誤差的最小平方和，對應有兩種：線性和非線性。線性最小二乘的解是closed-form即，而非線性最小二乘沒有closed-form，通常用迭代法求解。迭代法，即在每一步update未知量逐漸逼近解，可以用於各種各樣的問題（包括最小二乘），比如求的不是誤差的最小平方和而是最小立方和。梯度下降是迭代法的一種，可以用於求解最小二乘問題（線性和非線性都可以）。高斯-牛頓法是另一種經常用於求解非線性最小二乘的迭代法（一定程度上可視為標準非線性最小二乘求解方法）。還有一種叫做Levenberg-Marquardt的迭代法用於求解非線性最小二乘問題，就結合了梯度下降和高斯-牛頓法。所以如果把最小二乘看做是最佳化問題的話，那麼梯度下降是求解方法的一種，是求解線性最小二乘的一種，高斯-牛頓法和Levenberg-Marquardt則能用於求解非線性最小二乘。

我也在學機器學習，想到一個簡單的解釋，不知道對不對。

以前考數學時，如果是選擇題，有兩種解題思路，一種用公式正常求解。一種投機取巧，用選項去試，叫帶入法。

最小二乘法是正常求解。梯度下降是帶入法。