VC 維是衡量函式類的複雜度的一種方式,透過評估函式類中函式的彎曲程度實現。
===============
舉個例子,假設 為線性指示函式類 。直觀理解,該函式透過直線 將平面分成兩部分,一側取值為0,一側取值為1。
如果該函式的VC維為 ,則表明在平面上任意給出 個點的位置及取值(0或1),總存在一條直線 將這 個點分開,一側取0,一側取1,也就是存在能滿足這 個點的函式 。
結論是,平面中線性指示函式的VC維等於3,也就是平面中任意3個點(無論如何取值)總能被一條直線分開,而四個點卻不行,如下圖
更一般地, 維線性指示函式的VC維為 .
舉個無窮的VC維的例子,
對於實軸上任意多個的點,總存在 將其分開,如下圖
從這兩個例子,可以看出VC維刻畫了函式的彎曲程度,越彎曲其VC維越大。
================
參考文獻
The Elements of Statistical Learning.
(最近一直在讀這本書,同時按照自己的理解進行翻譯,並嘗試程式碼實現書中例子及演算法,線上翻譯文件參見VC維 - ESL CN,專案地址參見Github: ESL-CN)
VC 維是衡量函式類的複雜度的一種方式,透過評估函式類中函式的彎曲程度實現。
===============
舉個例子,假設 為線性指示函式類 。直觀理解,該函式透過直線 將平面分成兩部分,一側取值為0,一側取值為1。
如果該函式的VC維為 ,則表明在平面上任意給出 個點的位置及取值(0或1),總存在一條直線 將這 個點分開,一側取0,一側取1,也就是存在能滿足這 個點的函式 。
結論是,平面中線性指示函式的VC維等於3,也就是平面中任意3個點(無論如何取值)總能被一條直線分開,而四個點卻不行,如下圖
更一般地, 維線性指示函式的VC維為 .
===============
舉個無窮的VC維的例子,
對於實軸上任意多個的點,總存在 將其分開,如下圖
從這兩個例子,可以看出VC維刻畫了函式的彎曲程度,越彎曲其VC維越大。
================
參考文獻
The Elements of Statistical Learning.
(最近一直在讀這本書,同時按照自己的理解進行翻譯,並嘗試程式碼實現書中例子及演算法,線上翻譯文件參見VC維 - ESL CN,專案地址參見Github: ESL-CN)