圖像融合根據融合處理所處的階段不同，通常在三個不同層次上進行，即像素級融合、特徵級融合和決策級融合，這三個層次上所採用的融合算法各不相同，因此，圖像融合通常按照這三個層次相應地劃分爲三類，其主要應用方向如圖所示。
從數據處理代價和獲得融合性能角度分析，這三個層次的融合各有優缺點。
(1)像素級融合是最重要、最根本的圖像融合方法，雖然處理開銷大，實時性差，但是其精度高，融合結果直觀，也利於進一步進行圖像分析和理解；
(2)特徵級圖像融合可分爲目標狀態信息融合和目標特徵融合。特徵級目標狀態信息融合主要應用於多傳感器目標跟蹤領域，其融合處理主要實現參數相關和狀態矢量估計。特徵級目標特徵融合就是特徵層的聯合目標識別，其融合方法中仍然要用到模式識別的相關技術，只是在融合處理前必須對特徵進行相關處理，對特徵矢量進行分類和綜合。更爲重要的是，在模式識別、圖像處理和計算機視覺等領域，人們已經對特徵提取和基於特徵的聚類問題進行了深入的研究，有許多方法可以借鑑。在融合過程中，常用到模糊方法、神經網絡技術、聚類方法以及 Kalman 濾波器等。
目前存在的特徵級融合算法大體上可以分爲如下三類：
一種是簡單的特徵組合，即將所有的特徵向量，按照串行、並行的方法組合在一起，構成新的特徵向量，也可以稱作經典的特徵融合算法，如串行和並行融合算法、基於協方差矩陣的方法和基於多特徵直方圖的方法；
第二種是特徵選擇，即採用最優計算或智能計算的方法，從新組合的特徵向量中，對每一維數據中都選擇出一個對分類最優的數據，最後把選擇出來的數據組成新的特徵，如基於遺傳算法的特徵融合算法、基於人工神經網絡的特徵融合算法和基於模糊邏輯的特徵融合算法等；
最後一種是特徵變換，即使用一定的數學方法變換圖像或者原始特徵爲一種全新的特徵表達方式，如基於複數主分量分析的方法、基於典型相關分析的方法和基於複數獨立分量分析的方法等。
(2)決策級融合是在信息表示的最高層上進行的融合，其任務是完成局部決策的融合處理，從而獲得最終的聯合判決，常用的決策級融合方法有貝葉斯方法、D-S 證據理論、粗糙集理論、模糊集理論等；特徵級圖像融合是中間層的融合處理過程，既保留了參與融合的多特徵的有效鑑別信息，又在很大程度上消除了多特徵之間相關性的冗餘信息，保留有效的目標分類信息，實現了可觀的信息壓縮，從而有利於信息的實時處理，對最終的圖像理解具有重要的意義。
