導讀：阿里巴巴淘系技術研發了全新 3D AI 算法，可基於 2D 圖片精準搜索出相應的 3D 模型，準確率大幅提升10%，可降低 3D 打印、VR 看房、場景導購等領域的門檻。該研究成果已被 AI 頂會 NeurIPS 2020 收錄。
3D研究是目前業界最熱門的課題之一，是打造3D智能世界的核心基礎。在探索3D數字化家居建設的過程中，阿里巴巴淘系技術部最新提出的2D圖搜3D模型（IBSR）方案受到學界認可，相關論文已被國際人工智能頂會NeurIPS 2020錄用發表。
IBSR旨在根據2D圖片從給定3D池子裏搜索出圖片裏物體對應的CAD模型。隨着3D CAD模型數量迅速增長，研究設計高精度IBSR系統意義重大。 其有利於快速還原真實三維場景，也在數據庫驅動的3D模型重建問題中扮演着至關重要的角色。解決IBSR問題的通用思路是將2D圖與3D模型映射到同一空間，並學習相似度度量函數。過去幾年，包括卡耐基梅隆大學，麻省理工，斯坦福大學等頂級學府都紛紛建立IBSR基準數據集，並投入相關研究。
動機
IBSR最大的難點在於如何克服2D圖與3D模型的appearance gap，並解耦出無紋理信息干擾的統一幾何表面特徵表達。我們發現IBSR問題有一些特別的性質，包括（1）3D模型通常都是獨立的個體（類別）；（2）同一個3D模型現實中可能會對應不同紋理表面。這些特性在過去都未被很好的建模學習，使得傳統方法在精細3D模型推薦上表現不盡如人意。
方法概述
針對這些特性，阿里巴巴淘系技術提出了紋理合成驅動的多視角度量學習架構。具體來說，我們設計紋理生成的條件對抗生成網絡 (cGAN) 來爲度量學習創造困難三元組 (Hard Triplets)，使網絡在訓練過程中能有效抑制2D圖豐富紋理的不利干擾，從而更關注於物體的幾何細節特點。同時，爲了使網絡學習幾何表面特徵更容易，我們利用顯著性與視角注意力機制來儘可能消除2D圖片雜亂背景與無約束的投影視角干擾。
實驗結果
我們的方案在多個開源數據集，包括Pix3D，Stanford Cars，Comp Cars，和3D-FUTURE，都取得了SOTA的結果，並且3D模型搜索準確率超過傳統方法約10%以上。其中，3D-FUTURE爲阿里巴巴淘系技術部主導開源的業界首個飽含紋理細節的大型3D傢俱模型數據集，歡迎大家使用並提取建議。
3D-FUTURE數據集鏈接：https://tianchi.aliyun.com/specials/promotion/alibaba-3d-future
✿ 相關閱讀
作者|淘系技術
編輯|橙子君
出品|阿里巴巴新零售淘系技術
