本週6看了CCF-AI走進高校系列報告,在看天津大學張長青副教授做多視圖學習報告時。在提問環節,其中有一個有意思的問題。多視圖與多模態有什麼區別?傳統的機器學習一般而言基於單視圖建模分析,也有學者稱多視圖爲多模態。下面說一下筆者自己的理解,僅當了解,無論對錯。
先看一下大佬的回答:
這個問題是深圳大學王熙照教授提出的。王老師以一個深圳大學博士生畢業生答案進行側面回答:多個傳感器獲取到的數據是多模態,而單個傳感器在不同位置獲取到的數據是多視圖的。
張老師的回答:多視圖包含多模態,多視圖更接近機器學習,更抽象。多模態更接近於應用,與實際的某一個應用結合。
自己理解:
一般而言,它們之間是沒有很大的區別,在很多地方都可以互換,如多視圖多聚類,多視圖多示例多標記學習或者多模態多示例多標記學習。如果要爭一個高低,我更偏向於張老師這邊答案,但和而不同。
最近在調研表示學習,我從這個角度解釋二者區別,大家理解起來可能會更深入一點。在表示學習中,Graph embeding 和Network embeding (既圖嵌入和網絡嵌入)很多時候也被大家所混用,正如多視圖與多模態。思考一個問題,爲什麼在學習計算機專業課程《數據結構》時,介紹了Graph結構而沒有network結構? 因爲Graph是對實際的抽象,是一種抽象。而我們在談網絡時,一般都會說XX網絡,如社交網絡,引文網絡等等。然後用圖這種抽象結構或者說技術對實際的網絡進行建模分析。
接着說Graph embeding 和Network embeding 的區別。Graph embeding目的在於降維,學習到的低維嵌入能夠重構,既恢復到原來的’數據形式‘。而Network embeding要求不僅能重構,還能做一些推斷任務,如節點分類,鏈接預測,社區發現等等。
那麼如何運用Graph embeding 和Network embeding的思維分析多視圖與多模態的區別呢? 多視圖更偏向於‘數據結構’,既更抽象,更方便建模分析,既面向數據結構,是一種機器學習範式。而多模態更偏向於解決方案,實際應用,既面向求解,是一種具體的求解方案。
上述僅爲一家之言,如有理解不當地方,多多包含(圖侵,聯繫刪)。