一，光照問題
光照問題是機器視覺中的老問題，在人臉識別中的表現尤為明顯。目前方法未能達到使用的程度。
如何克服光照的影響？
目前經常使用的方法有：直方圖均衡化處理，必要的話會對人臉區域的左、右臉分別進行直方圖均衡化，然後合併成整臉來克服光照的影響。
Gabor小波受光照的影響較小。
二，姿態問題
與光照問題類似，姿態問題也是目前人臉識別研究中需要解決的一個技術難點。針對姿態的研究相對比較的少，目前多數的人臉識別演算法主要針列正面、準正而人臉影象，當發生俯仰或者左右側而比較厲害的情況下，人臉識別演算法的識別率也將會急劇下降。
哭，笑，憤怒、仰頭、低頭，左側臉，右側臉，如何識別？
對於有一定偏轉角度的人臉，我們會首先對其進行擺正，即將人臉擺正成正臉，然後進行識別；對於表情變化較大的人臉，本人還沒有找到比較有效的方法。
三，遮擋問題
對於非配合情況下的人臉影象採集，遮擋問題是一個非常嚴重的問題。特別是在監控環境下，往往彼監控物件都會帶著眼鏡，帽子等飾物，使得被採集出來的人臉影象有可能不完整，從而影響了後面的特徵提取與識別，甚至會導致人臉檢測演算法的失效。
眼睛，帽子、劉海，傷疤，如何識別？
進行人臉識別前，我們會首先對人臉部分進行特徵點的標記，而且現在標記特徵點時基本可以有效地避免以上因素的影響，問題就是在提取特徵點周圍的特徵時，這些遮擋會有一定的影響，不過影響不會太大。
四，年齡變化
隨著年齡的變化，面部外觀也在變化，特別是對於青少年，這種變化更加的明顯。對於不同的年齡段，人臉識別演算法的識別率也不同。
不同時期的人臉像如何識別？少年、中年、老年。
這個問題最直接的例子就是身份證照片的識別，在中國身份證的有效期一般都是20年，這20年間每個人的容貌必然會發生相當大的變化，所有在識別上也同樣存在很大的問題。
五，影象質量
人臉影象的來源可能多種多樣，由於採集裝置的不同，得到的人臉影象質量也不一樣，特別是對於那些低解析度、噪聲大、質量差的人臉影象(如手機攝像頭拍攝的人臉圖片、遠端監控拍攝的圖片等)如何進行有效地人臉識別是個需要關注的問題。同樣的，對於高分辨影象對人臉識別演算法的影響也需要進一步的研究。
攝像頭，攝像機，遠端監控，高階相機。。。。如何識別？影象質量參差不齊。
現在，我們在人臉識別時，一般採用的都是相同尺寸，清晰度很接近的人臉圖片，所以影象質量問題基本可以解決，但是面對現實中更加複雜的問題，還需要繼續最佳化處理。
六，樣本缺乏
基於統計學習的人臉識別演算法是目前人臉識別領域中的主流演算法，但是統計學習方法需要大量的訓練。由於人臉影象在高維空間中的分佈是一個不規則的流形分佈，能得到的樣本只是對人臉影象空間中的一個極小部分的取樣，如何解決小樣本下的統計學習問題有待進一步的研究。
學習樣本不全怎麼辦，誰能保證樣本的完備性？
當前的問題不僅有樣本不全的問題，還有就是，現在參與訓練的人臉影象庫基本都是外華人的影象，有關華人、亞洲人的人臉影象庫少之又少，給訓練人臉識別模型增加了難度。
七，海量資料
傳統人臉識別方法如PCA、LDA等在小規模資料中可以很容易進行訓練學習。但是對於海量資料，這些方法其訓練過程難以進行，甚至有可能崩潰。
如何解決海量資料的學習問題？
當前我使用的系統的基本可以訓練上萬張的人臉影象，但是訓練時間較長，使用並行處理會有較大的提升。對於更多的影象資料，現在的深度學習、神經網路也可以解決，不過對影象的規格有很嚴格的要求，如：尺寸一致等等。
八，大規模人臉識別
隨著人臉資料庫規模的增長，人臉演算法的效能將呈現下降。
如何維持或提高大規模應用環境下的人臉識別演算法的識別率？
當訓練影象庫越來越大時，訓練的速度會有大幅度下降，但是對於一般的演算法，識別率會有所提高。影響識別率的主要原因還是採集到的影象質量。
綜上所述，我認為最最主要的問題是：光照、表情。
一，光照問題
光照問題是機器視覺中的老問題，在人臉識別中的表現尤為明顯。目前方法未能達到使用的程度。
如何克服光照的影響？
目前經常使用的方法有：直方圖均衡化處理，必要的話會對人臉區域的左、右臉分別進行直方圖均衡化，然後合併成整臉來克服光照的影響。
Gabor小波受光照的影響較小。
二，姿態問題
與光照問題類似，姿態問題也是目前人臉識別研究中需要解決的一個技術難點。針對姿態的研究相對比較的少，目前多數的人臉識別演算法主要針列正面、準正而人臉影象，當發生俯仰或者左右側而比較厲害的情況下，人臉識別演算法的識別率也將會急劇下降。
哭，笑，憤怒、仰頭、低頭，左側臉，右側臉，如何識別？
對於有一定偏轉角度的人臉，我們會首先對其進行擺正，即將人臉擺正成正臉，然後進行識別；對於表情變化較大的人臉，本人還沒有找到比較有效的方法。
三，遮擋問題
對於非配合情況下的人臉影象採集，遮擋問題是一個非常嚴重的問題。特別是在監控環境下，往往彼監控物件都會帶著眼鏡，帽子等飾物，使得被採集出來的人臉影象有可能不完整，從而影響了後面的特徵提取與識別，甚至會導致人臉檢測演算法的失效。
眼睛，帽子、劉海，傷疤，如何識別？
進行人臉識別前，我們會首先對人臉部分進行特徵點的標記，而且現在標記特徵點時基本可以有效地避免以上因素的影響，問題就是在提取特徵點周圍的特徵時，這些遮擋會有一定的影響，不過影響不會太大。
四，年齡變化
隨著年齡的變化，面部外觀也在變化，特別是對於青少年，這種變化更加的明顯。對於不同的年齡段，人臉識別演算法的識別率也不同。
不同時期的人臉像如何識別？少年、中年、老年。
這個問題最直接的例子就是身份證照片的識別，在中國身份證的有效期一般都是20年，這20年間每個人的容貌必然會發生相當大的變化，所有在識別上也同樣存在很大的問題。
五，影象質量
人臉影象的來源可能多種多樣，由於採集裝置的不同，得到的人臉影象質量也不一樣，特別是對於那些低解析度、噪聲大、質量差的人臉影象(如手機攝像頭拍攝的人臉圖片、遠端監控拍攝的圖片等)如何進行有效地人臉識別是個需要關注的問題。同樣的，對於高分辨影象對人臉識別演算法的影響也需要進一步的研究。
攝像頭，攝像機，遠端監控，高階相機。。。。如何識別？影象質量參差不齊。
現在，我們在人臉識別時，一般採用的都是相同尺寸，清晰度很接近的人臉圖片，所以影象質量問題基本可以解決，但是面對現實中更加複雜的問題，還需要繼續最佳化處理。
六，樣本缺乏
基於統計學習的人臉識別演算法是目前人臉識別領域中的主流演算法，但是統計學習方法需要大量的訓練。由於人臉影象在高維空間中的分佈是一個不規則的流形分佈，能得到的樣本只是對人臉影象空間中的一個極小部分的取樣，如何解決小樣本下的統計學習問題有待進一步的研究。
學習樣本不全怎麼辦，誰能保證樣本的完備性？
當前的問題不僅有樣本不全的問題，還有就是，現在參與訓練的人臉影象庫基本都是外華人的影象，有關華人、亞洲人的人臉影象庫少之又少，給訓練人臉識別模型增加了難度。
七，海量資料
傳統人臉識別方法如PCA、LDA等在小規模資料中可以很容易進行訓練學習。但是對於海量資料，這些方法其訓練過程難以進行，甚至有可能崩潰。
如何解決海量資料的學習問題？
當前我使用的系統的基本可以訓練上萬張的人臉影象，但是訓練時間較長，使用並行處理會有較大的提升。對於更多的影象資料，現在的深度學習、神經網路也可以解決，不過對影象的規格有很嚴格的要求，如：尺寸一致等等。
八，大規模人臉識別
隨著人臉資料庫規模的增長，人臉演算法的效能將呈現下降。
如何維持或提高大規模應用環境下的人臉識別演算法的識別率？
當訓練影象庫越來越大時，訓練的速度會有大幅度下降，但是對於一般的演算法，識別率會有所提高。影響識別率的主要原因還是採集到的影象質量。
綜上所述，我認為最最主要的問題是：光照、表情。