對協方差矩陣的特徵向量最直觀的解釋之一是它總是指向資料方差最大的方向。

更準確地說，第一特徵向量是資料方差最大的方向，第二特徵向量是與第一特徵向量垂直的方向上資料方差最大的方向，第三特徵向量是與第一和第二特徵向量垂直的方向上資料方差最大的方向，以此類推。

下圖是二維空間的一個例子：

每個資料樣本都是可以用座標x、y表示的二維點。這些資料樣本的協方差矩陣的特徵向量是u和v。較長的u是第一特徵向量，較短的v是第二特徵向量。特徵值的大小用箭頭的長度表示。我們可以看到，第一個特徵向量（從資料的平均值）指向歐幾里德空間中資料方差最大的方向，第二個特徵向量跟第一特徵向量是垂直的。

三維空間中的特徵向量就比較複雜，如圖所示：

我們假設所有的資料點都在橢圓體內。v1是第一特徵向量，λ1是其相應的特徵值，指向資料方差最大的方向。v2與v1垂直，是這個方向上資料方差最大的特徵向量。v3與v1和v2都垂直，是這個方向上資料方差最大的特徵向量，雖然只有這一個方向。

我只能說我對特徵向量的理解，就好像描述一頭豬，從前方看他是肥頭大耳，從後面看是一隻尾巴，從中間看是碩大的身體，從不同角度看描述屬性可能千差萬別，但描述的事物卻是同一個東西.這些不同角度提煉出來的屬性就是相似矩陣，而豬最本身的排他特徵就是相似矩陣的特徵向量