多視圖與多模態之爭

本週6看了CCF-AI走進高校系列報告,在看天津大學張長青副教授做多視圖學習報告時。在提問環節,其中有一個有意思的問題。多視圖與多模態有什麼區別?傳統的機器學習一般而言基於單視圖建模分析,也有學者稱多視圖多模態。下面說一下筆者自己的理解,僅當了解,無論對錯。

先看一下大佬的回答:

這個問題是深圳大學王熙照教授提出的。王老師以一個深圳大學博士生畢業生答案進行側面回答:多個傳感器獲取到的數據是多模態,而單個傳感器在不同位置獲取到的數據是多視圖的。

張老師的回答:多視圖包含多模態,多視圖更接近機器學習,更抽象。多模態更接近於應用,與實際的某一個應用結合。

自己理解:

   一般而言,它們之間是沒有很大的區別,在很多地方都可以互換,如多視圖多聚類,多視圖多示例多標記學習或者多模態多示例多標記學習。如果要爭一個高低,我更偏向於張老師這邊答案,但和而不同。

最近在調研表示學習,我從這個角度解釋二者區別,大家理解起來可能會更深入一點。在表示學習中,Graph embeding 和Network embeding (既圖嵌入和網絡嵌入)很多時候也被大家所混用,正如多視圖與多模態。思考一個問題,爲什麼在學習計算機專業課程《數據結構》時,介紹了Graph結構而沒有network結構? 因爲Graph是對實際的抽象,是一種抽象。而我們在談網絡時,一般都會說XX網絡,如社交網絡,引文網絡等等。然後用圖這種抽象結構或者說技術對實際的網絡進行建模分析。

    接着說Graph embeding 和Network embeding 的區別。Graph embeding目的在於降維,學習到的低維嵌入能夠重構,既恢復到原來的’數據形式‘。而Network embeding要求不僅能重構,還能做一些推斷任務,如節點分類,鏈接預測,社區發現等等。

   那麼如何運用Graph embeding 和Network embeding的思維分析多視圖與多模態的區別呢? 多視圖更偏向於‘數據結構’,既更抽象,更方便建模分析,既面向數據結構,是一種機器學習範式。而多模態更偏向於解決方案,實際應用,既面向求解,是一種具體的求解方案。

上述僅爲一家之言,如有理解不當地方,多多包含(圖侵,聯繫刪)。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章