多模態融合 Multimodal Fusion

多模態融合 Multimodal Fusion

多模態融合（Multimodal Fusion ）負責聯合多個模態的信息，進行目標預測（分類或者回歸），屬於 MMML 最早的研究方向之一，也是目前應用最廣的方向，它還存在其他常見的別名，例如多源信息融合（Multi-source Information Fusion）、多傳感器融合（Multi-sensor Fusion)。

按照融合的層次，可以將多模態融合分爲 pixel level，feature level 和 decision level 三類，分別對應對原始數據進行融合、對抽象的特徵進行融合和對決策結果進行融合。而 feature level 又可以分爲 early 和 late 兩個大類，代表了融合發生在特徵抽取的早期和晚期。當然還有將多種融合層次混合的 hybrid 方法。