主成分分析法與因子分析法的區別:
(1)原理不同
主成分分析基本原理:利用降維(線性變換)的思想,在損失很少資訊的前提下把多個指標轉化為幾個不相關的綜合指標(主成分),即每個主成分都是原始變數的線性組合,且各個主成分之間互不相關,使得主成分比原始變數具有某些更優越的效能(主成分必須保留原始變數90%以上的資訊),從而達到簡化系統結構,抓住問題實質的目的。
因子分析基本原理:利用降維的思想,由研究原始變數相關矩陣內部的依賴關係出發,把一些具有錯綜複雜關係的變量表示成少數的公共因子和僅對某一個變數有作用的特殊因子線性組合而成。就是要從資料中提取對變數起解釋作用的少數公共因子(因子分析是主成分的推廣,相對於主成分分析,更傾向於描述原始變數之間的相關關係)
(2)線性表示方向不同
因子分析是把變量表示成各公因子的線性組合;
主成分分析中則是把主成分表示成各變數的線性組合。
(3)假設條件不同
主成分分析:不需要有假設(assumptions),
因子分析:需要一些假設。因子分析的假設包括:各個共同因子之間不相關,特殊因子(specificfactor)之間也不相關,共同因子和特殊因子之間也不相關。
(4)求解方法不同
求解主成分的方法:從協方差陣出發(協方差陣已知),因子從相關陣出發(相關陣R已知)。
(實際研究中,總體協方差陣與相關陣是未知的,必須透過樣本資料來估計)
注意事項:由協方差陣出發與由相關陣出發求解主成分所得結果不一致時,要恰當的選取某一種方法;一般當變數單位相同或者變數在同一數量等級的情況下,可以直接採用協方差陣進行計算;對於度量單位不同的指標或是取值範圍彼此差異非常大的指標,應考慮將資料標準化,再由協方差陣求主成分;實際應用中應該儘可能的避免標準化,因為在標準化的過程中會抹殺一部分原本刻畫變數之間離散程度差異的資訊。此外,最理想的情況是主成分分析前的變數之間相關性高,且變數之間不存在多重共線性問題(會出現最小特徵根接近0的情況)。
求解因子載荷的方法:主成分法,主軸因子法,極大似然法,最小二乘法,a因子提取法。
(5)主成分和因子的變化不同
主成分分析:當給定的協方差矩陣或者相關矩陣的特徵值唯一時,主成分一般是固定的獨特的;
因子分析:因子不是固定的,可以旋轉得到不同的因子。
(6)因子數量與主成分的數量
主成分分析:主成分的數量是一定的,一般有幾個變數就有幾個主成分(只是主成分所解釋的資訊量不等),實際應用時會根據碎石圖提取前幾個主要的主成分。
因子分析:因子個數需要分析者指定(SPSS和sas根據一定的條件自動設定,只要是特徵值大於1的因子主可進入分析),指定的因子數量不同而結果也不同;
(7)解釋重點不同
主成分分析:重點在於解釋個變數的總方差;
因子分析:則把重點放在解釋各變數之間的協方差。
(8)演算法上的不同
主成分分析:協方差矩陣的對角元素是變數的方差;
因子分析:所採用的協方差矩陣的對角元素不在是變數的方差,而是和變數對應的共同度(變數方差中被各因子所解釋的部分)。
(9)優點不同
因子分析:對於因子分析,可以使用旋轉技術,使得因子更好的得到解釋,因此在解釋主成分方面因子分析更佔優勢;其次因子分析不是對原有變數的取捨,而是根據原始變數的資訊進行重新組合,找出影響變數的共同因子,化簡資料。
主成分分析:
第一:如果僅僅想把現有的變數變成少數幾個新的變數(新的變數幾乎帶有原來所有變數的資訊)來進入後續的分析,則可以使用主成分分析,不過一般情況下也可以使用因子分析;
第二:透過計算綜合主成分函式得分,對客觀經濟現象進行科學評價;
第三:它在應用上側重於資訊貢獻影響力綜合評價;
(10)應用場景不同
主成分分析:可以用於系統運營狀態做出評估,一般是將多個指標綜合成一個變數,即將多維問題降維至一維,這樣才能方便排序評估;此外還可以應用於經濟效益、經濟發展水平、經濟發展競爭力、生活水平、生活質量的評價研究上;主成分還可以用於和迴歸分析相結合,進行主成分迴歸分析,甚至可以利用主成分分析進行挑選變數,選擇少數變數再進行進一步的研究。一般情況下主成分用於探索性分析,很少單獨使用,用主成分來分析資料,可以讓我們對資料有一個大致的瞭解。
主成分分析法與因子分析法的區別:
(1)原理不同
主成分分析基本原理:利用降維(線性變換)的思想,在損失很少資訊的前提下把多個指標轉化為幾個不相關的綜合指標(主成分),即每個主成分都是原始變數的線性組合,且各個主成分之間互不相關,使得主成分比原始變數具有某些更優越的效能(主成分必須保留原始變數90%以上的資訊),從而達到簡化系統結構,抓住問題實質的目的。
因子分析基本原理:利用降維的思想,由研究原始變數相關矩陣內部的依賴關係出發,把一些具有錯綜複雜關係的變量表示成少數的公共因子和僅對某一個變數有作用的特殊因子線性組合而成。就是要從資料中提取對變數起解釋作用的少數公共因子(因子分析是主成分的推廣,相對於主成分分析,更傾向於描述原始變數之間的相關關係)
(2)線性表示方向不同
因子分析是把變量表示成各公因子的線性組合;
主成分分析中則是把主成分表示成各變數的線性組合。
(3)假設條件不同
主成分分析:不需要有假設(assumptions),
因子分析:需要一些假設。因子分析的假設包括:各個共同因子之間不相關,特殊因子(specificfactor)之間也不相關,共同因子和特殊因子之間也不相關。
(4)求解方法不同
求解主成分的方法:從協方差陣出發(協方差陣已知),因子從相關陣出發(相關陣R已知)。
(實際研究中,總體協方差陣與相關陣是未知的,必須透過樣本資料來估計)
注意事項:由協方差陣出發與由相關陣出發求解主成分所得結果不一致時,要恰當的選取某一種方法;一般當變數單位相同或者變數在同一數量等級的情況下,可以直接採用協方差陣進行計算;對於度量單位不同的指標或是取值範圍彼此差異非常大的指標,應考慮將資料標準化,再由協方差陣求主成分;實際應用中應該儘可能的避免標準化,因為在標準化的過程中會抹殺一部分原本刻畫變數之間離散程度差異的資訊。此外,最理想的情況是主成分分析前的變數之間相關性高,且變數之間不存在多重共線性問題(會出現最小特徵根接近0的情況)。
求解因子載荷的方法:主成分法,主軸因子法,極大似然法,最小二乘法,a因子提取法。
(5)主成分和因子的變化不同
主成分分析:當給定的協方差矩陣或者相關矩陣的特徵值唯一時,主成分一般是固定的獨特的;
因子分析:因子不是固定的,可以旋轉得到不同的因子。
(6)因子數量與主成分的數量
主成分分析:主成分的數量是一定的,一般有幾個變數就有幾個主成分(只是主成分所解釋的資訊量不等),實際應用時會根據碎石圖提取前幾個主要的主成分。
因子分析:因子個數需要分析者指定(SPSS和sas根據一定的條件自動設定,只要是特徵值大於1的因子主可進入分析),指定的因子數量不同而結果也不同;
(7)解釋重點不同
主成分分析:重點在於解釋個變數的總方差;
因子分析:則把重點放在解釋各變數之間的協方差。
(8)演算法上的不同
主成分分析:協方差矩陣的對角元素是變數的方差;
因子分析:所採用的協方差矩陣的對角元素不在是變數的方差,而是和變數對應的共同度(變數方差中被各因子所解釋的部分)。
(9)優點不同
因子分析:對於因子分析,可以使用旋轉技術,使得因子更好的得到解釋,因此在解釋主成分方面因子分析更佔優勢;其次因子分析不是對原有變數的取捨,而是根據原始變數的資訊進行重新組合,找出影響變數的共同因子,化簡資料。
主成分分析:
第一:如果僅僅想把現有的變數變成少數幾個新的變數(新的變數幾乎帶有原來所有變數的資訊)來進入後續的分析,則可以使用主成分分析,不過一般情況下也可以使用因子分析;
第二:透過計算綜合主成分函式得分,對客觀經濟現象進行科學評價;
第三:它在應用上側重於資訊貢獻影響力綜合評價;
(10)應用場景不同
主成分分析:可以用於系統運營狀態做出評估,一般是將多個指標綜合成一個變數,即將多維問題降維至一維,這樣才能方便排序評估;此外還可以應用於經濟效益、經濟發展水平、經濟發展競爭力、生活水平、生活質量的評價研究上;主成分還可以用於和迴歸分析相結合,進行主成分迴歸分析,甚至可以利用主成分分析進行挑選變數,選擇少數變數再進行進一步的研究。一般情況下主成分用於探索性分析,很少單獨使用,用主成分來分析資料,可以讓我們對資料有一個大致的瞭解。