回覆列表
  • 1 # 大漠蒼狼Tony

    首先我可以很肯定的告訴你,可以!但是也許題主就會產生疑問,在機器學習演算法中,那麼多演算法都使用梯度下降,似乎在機器學習演算法中,梯度下降是一個萬能的最佳化演算法為啥就不用呢?

    其實正是因為梯度下降演算法是一個萬能最佳化演算法,所以他就有自己的缺點,否則別的演算法就沒有存在的理由了。那麼,梯度下降演算法的缺點是什麼呢?那就是它的效率比較低,求解速度比較慢,而且它的求解速度以及是否能夠收斂要取決於步長這個引數的合理設計。步長設計的太小,演算法需要迭代太多次才能收斂;步長設計的太大,演算法可能會在最優解附近發散不收斂。

    所以一般選擇梯度下降作為某個機器學習演算法的最佳化方法是因為該機器學習演算法的目標函式不易求解:要麼該目標函式不是凸函式,要麼該目標函式沒有解析解。

    而嶺迴歸是一個非常簡單的演算法,他能夠使用正規方程直接求解模型最優引數,不需要使用梯度下降來慢慢迭代求解。因此,嶺迴歸可以使用梯度下降演算法進行求解,但是沒有使用的原因是因為嶺迴歸比較簡單,它的目標函式是具有解析解,這時候使用梯度下降演算法就不如使用正規方程求解速度快。

  • 中秋節和大豐收的關聯?
  • 在外地比家鄉發展好的情況下,你會選擇在家鄉工作還是去外地打拼?