背景

機器學習的幾個模型，前面看完，後面就忘了，為了理解模型，需要反覆看，加深記憶。自學過程中，對照教程，額外搜尋網路文章作為補充，多少能領悟一二。為了能在殘酷的未來能不被 AI 取代，我能想到的辦法就是掌握一些 AI 的技能。

嚴格線性迴歸

基本思想：在向量空間裡用線性函式去擬合樣本。該模型以所有樣本實際位置到該線性函式的綜合距離為損失，透過最小化損失來求取線性函式的引數；一個樣本只要不是正好落在最終作為模型的線性函式上，就要被計算損失。

支援向量迴歸

SVR ，全稱 「 Support Vector Regression 」。

它的思想是線上性函式兩側製造了一個“間隔帶”，對於所有落入到間隔帶內的樣本，都不計算損失；只有間隔帶之外的，才計入損失函式。之後再透過最小化間隔帶的寬度與總損失來最最佳化模型，目標是迴歸。

線性可分 SVM

透過一條超平面，嚴格將樣本分為兩部分。它是嚴格可分的，是樣本分類的理想狀態。

線性SVM允許一個隔離帶，裡面包含部分樣本，隔離帶之外的樣本是界限分明的；它是寬容的，符合大部分的現實情況；與 SVR 相反，是希望樣本分散在隔離帶之外，目標是分類。參考連結

https://www.cnblogs.com/fuqia/p/8963429.html一篇將線性SVM的概念解釋得比較清楚的文章。它解釋幾個淺顯、且關鍵的推理要點：

1、直線距離公式。

2、為什麼選取的隔離帶的直線常數是+1和-1。答：為了簡化運算，而且所有的直線都可以透過係數進行相互轉換。

3、為什麼約束條件統一成了y.(w.x+b)>=1。答：以分類值y來算的，y=1，則在上邊界，y=-1，在下半介面，統一不等式就得到如此限制條件了。

4、為什麼SVM的目標函式是min（w的平方/2）呢？因為要最大化兩條直線間的距離，w作為分母，當分母最小的時候，d最大。求w的最小值和求w的平方的最小值是等價的，冪的求導所以除以2可以簡化運算。說白了還有很多數學技巧在裡面。