兩種方法都是常見的分類演算法,從目標函式來看,區別在於邏輯迴歸採用的是logisticalloss,svm採用的是hingeloss.這兩個損失函式的目的都是增加對分類影響較大的資料點的權重,減少與分類關係較小的資料點的權重.SVM的處理方法是隻考慮supportvectors,也就是和分類最相關的少數點,去學習分類器.而邏輯迴歸透過非線性對映,大大減小了離分類平面較遠的點的權重,相對提升了與分類最相關的資料點的權重.兩者的根本目的都是一樣的.此外,根據需要,兩個方法都可以增加不同的正則化項,如l1,l2等等.所以在很多實驗中,兩種演算法的結果是很接近的.
但是邏輯迴歸相對來說模型更簡單,好理解,實現起來,特別是大規模線性分類時比較方便.而SVM的理解和最佳化相對來說複雜一些.但是SVM的理論基礎更加牢固,有一套結構化風險最小化的理論基礎,雖然一般使用的人不太會去關注.還有很重要的一點,SVM轉化為對偶問題後,分類只需要計算與少數幾個支援向量的距離,這個在進行復雜核函式計算時優勢很明顯,能夠大大簡化模型和計算
svm更多的屬於非引數模型,而logisticregression是引數模型,本質不同.其區別就可以參考引數模型和非參模型的區別就好了.
logic能做的svm能做,但可能在準確率上有問題,svm能做的logic有的做不了
兩種方法都是常見的分類演算法,從目標函式來看,區別在於邏輯迴歸採用的是logisticalloss,svm採用的是hingeloss.這兩個損失函式的目的都是增加對分類影響較大的資料點的權重,減少與分類關係較小的資料點的權重.SVM的處理方法是隻考慮supportvectors,也就是和分類最相關的少數點,去學習分類器.而邏輯迴歸透過非線性對映,大大減小了離分類平面較遠的點的權重,相對提升了與分類最相關的資料點的權重.兩者的根本目的都是一樣的.此外,根據需要,兩個方法都可以增加不同的正則化項,如l1,l2等等.所以在很多實驗中,兩種演算法的結果是很接近的.
但是邏輯迴歸相對來說模型更簡單,好理解,實現起來,特別是大規模線性分類時比較方便.而SVM的理解和最佳化相對來說複雜一些.但是SVM的理論基礎更加牢固,有一套結構化風險最小化的理論基礎,雖然一般使用的人不太會去關注.還有很重要的一點,SVM轉化為對偶問題後,分類只需要計算與少數幾個支援向量的距離,這個在進行復雜核函式計算時優勢很明顯,能夠大大簡化模型和計算
svm更多的屬於非引數模型,而logisticregression是引數模型,本質不同.其區別就可以參考引數模型和非參模型的區別就好了.
logic能做的svm能做,但可能在準確率上有問題,svm能做的logic有的做不了