回覆列表
  • 1 # 奉孝歷史

    兩種方法都是常見的分類演算法,從目標函式來看,區別在於邏輯迴歸採用的是logistical loss,svm採用的是hinge loss。這兩個損失函式的目的都是增加對分類影響較大的資料點的權重,減少與分類關係較小的資料點的權重。SVM的處理方法是隻考慮support vectors,也就是和分類最相關的少數點,去學習分類器。而邏輯迴歸透過非線性對映,大大減小了離分類平面較遠的點的權重,相對提升了與分類最相關的資料點的權重。兩者的根本目的都是一樣的。此外,根據需要,兩個方法都可以增加不同的正則化項,如l1,l2等等。所以在很多實驗中,兩種演算法的結果是很接近的。但是邏輯迴歸相對來說模型更簡單,好理解,實現起來,特別是大規模線性分類時比較方便。而SVM的理解和最佳化相對來說複雜一些。但是SVM的理論基礎更加牢固,有一套結構化風險最小化的理論基礎,雖然一般使用的人不太會去關注。還有很重要的一點,SVM轉化為對偶問題後,分類只需要計算與少數幾個支援向量的距離,這個在進行復雜核函式計算時優勢很明顯,能夠大大簡化模型和計算svm 更多的屬於非引數模型,而logistic regression 是引數模型,本質不同。其區別就可以參考引數模型和非參模型的區別就好了。logic 能做的 svm能做,但可能在準確率上有問題,svm能做的logic有的做不了

  • 中秋節和大豐收的關聯?
  • 二進位制數10111101110轉換成八進位制數是______?