1、支援向量機（ SVM ）是一種比較好的實現了結構風險最小化思想的方法。它的機器學習策略是結構風險最小化原則 為了最小化期望風險，應同時最小化經驗風險和置信範圍）
支援向量機方法的基本思想：
（ 1 ）它是專門針對有限樣本情況的學習機器，實現的是結構風險最小化：在對給定的資料逼近的精度與逼近函式的複雜性之間尋求折衷，以期獲得最好的推廣能力；
（ 2 ）它最終解決的是一個凸二次規劃問題，從理論上說，得到的將是全域性最優解，解決了在神經網路方法中無法避免的區域性極值問題；
（ 3 ）它將實際問題透過非線性變換轉換到高維的特徵空間，在高維空間中構造線性決策函式來實現原空間中的非線性決策函式，巧妙地解決了維數問題，並保證了有較好的推廣能力，而且演算法複雜度與樣本維數無關。
目前， SVM 演算法在模式識別、迴歸估計、機率密度函式估計等方面都有應用，且演算法在效率與精度上已經超過傳統的學習演算法或與之不相上下。
2、支援向量迴歸演算法
主要是透過升維後，在高維空間中構造線性決策函式來實現線性迴歸，用e不敏感函式時，其基礎主要是 e 不敏感函式和核函式演算法。
若將擬合的數學模型表達多維空間的某一曲線，則根據e 不敏感函式所得的結果，就是包括該曲線和訓練點的“ e管道”。在所有樣本點中，只有分佈在“管壁”上的那一部分樣本點決定管道的位置。這一部分訓練樣本稱為“支援向量”。
為適應訓練樣本集的非線性，傳統的擬合方法通常是線上性方程後面加高階項。此法誠然有效，但由此增加的可調引數未免增加了過擬合的風險。支援向量迴歸演算法採用核函式解決這一矛盾。用核函式代替線性方程中的線性項可以使原來的線性演算法“非線性化”，即能做非線性迴歸。與此同時，引進核函式達到了“升維”的目的，而增加的可調引數是過擬合依然能控制。
1、支援向量機（ SVM ）是一種比較好的實現了結構風險最小化思想的方法。它的機器學習策略是結構風險最小化原則 為了最小化期望風險，應同時最小化經驗風險和置信範圍）
支援向量機方法的基本思想：
（ 1 ）它是專門針對有限樣本情況的學習機器，實現的是結構風險最小化：在對給定的資料逼近的精度與逼近函式的複雜性之間尋求折衷，以期獲得最好的推廣能力；
（ 2 ）它最終解決的是一個凸二次規劃問題，從理論上說，得到的將是全域性最優解，解決了在神經網路方法中無法避免的區域性極值問題；
（ 3 ）它將實際問題透過非線性變換轉換到高維的特徵空間，在高維空間中構造線性決策函式來實現原空間中的非線性決策函式，巧妙地解決了維數問題，並保證了有較好的推廣能力，而且演算法複雜度與樣本維數無關。
目前， SVM 演算法在模式識別、迴歸估計、機率密度函式估計等方面都有應用，且演算法在效率與精度上已經超過傳統的學習演算法或與之不相上下。
2、支援向量迴歸演算法
主要是透過升維後，在高維空間中構造線性決策函式來實現線性迴歸，用e不敏感函式時，其基礎主要是 e 不敏感函式和核函式演算法。
若將擬合的數學模型表達多維空間的某一曲線，則根據e 不敏感函式所得的結果，就是包括該曲線和訓練點的“ e管道”。在所有樣本點中，只有分佈在“管壁”上的那一部分樣本點決定管道的位置。這一部分訓練樣本稱為“支援向量”。
為適應訓練樣本集的非線性，傳統的擬合方法通常是線上性方程後面加高階項。此法誠然有效，但由此增加的可調引數未免增加了過擬合的風險。支援向量迴歸演算法採用核函式解決這一矛盾。用核函式代替線性方程中的線性項可以使原來的線性演算法“非線性化”，即能做非線性迴歸。與此同時，引進核函式達到了“升維”的目的，而增加的可調引數是過擬合依然能控制。