多源空譜遙感影象融合是遙感領域提升影象解析度的一個重要研究方法，也是多光譜影象（MSI）和高光譜影象（HSI）分析領域的一個熱點問題。雖然成像探測技術已經由低空間解析度向高空間解析度，由低光譜解析度到高光譜解析度發展，但是對於光譜細分成像探測而言，空間解析度和光譜解析度往往是矛盾的。以高光譜影象為例，高光譜成像遙感能夠在特定的電磁譜段上，連續採集不同波段的影像，從而獲取場景中每個畫素的光譜資訊。與其他光學成像技術相比，高光譜成像能夠辨識場景中不同地物的物質組成，在地物分類、軍事偵察、環境監測、農作物估產等領域具有廣泛的應用前景和經濟價值。然而，受成像機理和成像裝置的限制，空間解析度、光譜頻寬、幅寬、信噪比等指標不可避免地需要互相折中，難以直接獲取高空間解析度的高光譜影象。究其原因，一方面是有限的空間解析度會導致純像元（稱為端元，endmember）光譜混合，使得部分畫素的光譜曲線混合了多種端元物質，進而影響高光譜影象的辨識效能；另一方面，對礦物勘探、城市精細製圖、弱小目標檢測等應用而言，需要高空間解析度的高光譜影象，而有限的空間解析度嚴重影響了高光譜成像在遙感技術中的應用。此外，由於載荷平臺顫振，成像光學系統調製傳遞函式引起的模糊降質、系統噪聲、大氣輻射和雲層覆蓋效應等，高光譜影象輻射資訊質量下降、空間解析度低、混合像元嚴重等現象，成為高光譜影象分析、理解和模式識別應用的突出問題。
1. 影象復原影象是3D場景在2D成像平面的投影，並以二維強度分佈的形式作用於人的視覺。然而，由於光學系統的缺陷、成像環境不理想、傳輸資料丟失以及儲存介質的瑕疵，實際所獲取的影象往往是場景理想二維對映影象的退化形式。影象復原是從退化或降質影象版本恢復（估計）清晰影象的處理技術。一般而言，所有非理想或者欠定條件下的影象獲取過程都會獲取不完全、含噪聲或模糊的觀測資料，由觀測資料恢復完全清晰的影象都需要應用影象復原技術，以去除影象模糊和噪聲，改善影象質量。
2. 單幅空譜影象超分辨單幅空譜影象超分辨是僅對觀測的低分辨空譜影象，而沒有其他輔助源影象或者資訊，其透過估計亞畫素的資訊，進行空間（幾何）解析度的增強。在實際中，該問題可能非常複雜和極具挑戰，其退化模型包括空間模糊、下采樣和噪聲汙染。不同於簡單的影象插值與放大，單幅空譜影象超分辨具有高度病態性，因此包含影象復原（影象去模糊和去噪）和影象插值等處理要素。
與一般的自然影象超分辨不同，低分辨高光譜影象中的光譜像元是包含不同材質光譜的混合像元，因此單幅空譜影象超分辨可以結合光譜解混（spectral unmixing）獲得亞畫素級丰度（端元成分的富含度）。結合丰度係數和機率分類器，可以將每個材質的分類機率分配給畫素，然後對畫素進行亞取樣。在此問題中，試圖在畫素內空間上組織不同材質光譜丰度分佈的技術被稱為亞畫素對映（subpixel mapping）或超分辨對映。
3. 多幅空譜影象超分辨與單幅影象超分辨不同，多幅影象超分辨是針對同一場景拍攝了多幅低解析度（LR）影象，這些影象蘊含不同的空譜互補資訊，因此可以進行超解析度（SR）重建。一個典型的場景是多幅影象往往存在亞畫素位移，可以透過多幅影象的互補資訊推斷出亞畫素資訊。其基本原理是充分利用多幅LR影象所包含的互補資訊，經過亞畫素級的影象配準或運動估計，透過資訊融合技術重建一幅高解析度（HR）影象，從而同時實現影象外推插值和信噪比的提高。
4. 多源空譜遙感影象融合多源空譜遙感影象融合是針對同一場景中，多個感測器拍攝的不同解析度和不同空譜性質的影象。我們聚焦研究了三類常見的融合問題，具體包括：
（1）低解析度多光譜（Multispectral，MS）影象與高解析度全色（Panchromatic，PAN）影象的融合（簡稱MS+PAN融合）：Pansharpenin問題；
（2）低解析度高光譜（Hyperspectral，HS）與高解析度全色影象的融合（簡稱HS+PAN融合）：Hypersharpening問題；
（3）低解析度高光譜與高解析度多光譜影象的融合（簡稱HS+MS融合）。
在上述問題中，我們可以看到在MS+PAN融合中，MS是主源影象，PAN作為輔助影象源。而司MSI具有較低的空間解析度，但具有多個光譜波段。PAN主要提供高分辨空間幾何結構資訊，以提升MSI的空間解析度。傳統的MS+PAN融合體系包括基於投影變換的成分替代方法、多解析度分析（Multiresolution Analysis，MRA）方法及其變種（如小波融合及其變種）。新型融合方法包括變分融合、基於表示學習的方法（含稀疏融合、低秩融合和張量融合）等。基於廣義成分替代格式給出了19種MS+PAN融合演算法的綜合性能評測。
在HS+PAN融合中，作為主源影象的HSI蘊含豐富的光譜資訊，但是空間解析度低，因此與MS+PAN融合類似，但由於其光譜波段數多，在幾何結構注入時保持光譜特徵更具有挑戰的。HS+MS融合是MS+PAN和HS+PAN等的推廣，涉及多源多通道互補光譜資料融合，成為高光影象定量化精細遙感的前瞻性問題，其核心問題是儘可能融合高解析度MS影象結構細節，提升HS空間解析度的同時儘可能減小光譜失真。回顧HS+MS融合的基本方法和綜合評測，但基本沿用推廣Pansharpening體系。
HS+MS融合是一個新的研究方向，主源HSI和輔助源MSI都是多波段影象，HSI空間解析度低但波段數高，MSI空間解析度高但波段較少。MSI的每個波段是較寬頻寬光譜資訊成像，一些波段可能覆蓋HSI特定數量的細分波段，一些可能和HSI波段沒有任何重疊。這些問題可能會給空譜融合帶來一些新的挑戰。