你穿衣品味還不如AI，這有一款時尚着裝網絡模型

原創

2020-06-29 15:14

AI 在時尚領域的應用在近幾年逐漸增加，很多研究者利用流行的生成模型架構進行人物換衣和自動上妝。一些研究者近來將目光投向了時裝設計領域。當有一件成衣時，人們更希望的是對其進行微小的改動，以此提升時裝整體的時尚效果，那麼 AI 是否可行呢？這篇論文說明，AI 也是可以幫助人們進行時裝設計的。

論文地址：https://arxiv.org/abs/1904.09261

AI 一鍵改衣

在這篇論文中，研究者提出了一個 AI 系統，名爲 Fashion++。這是一個使用深度圖像生成模型的神經網絡，用於識別衣服，並提出對衣服的修改建議。例如，模型會建議對衣服進行移除、添加或移動位置。它也可以對衣服的一部分進行修改，如塞好襯衣或捲起袖子。之前的一些研究中，模型會直接提出整個時裝的修改建議，或者提供一個和現有衣服類似的方案。而 Fashion++則會在現有的服裝基礎上進行修改，使其更有型。

AI 具體會這樣爲使用者提出時裝修改建議。如圖所示，左圖中，AI 會建議移除掉整體時裝中的披肩。在中圖中，AI 建議將女士襯衣換成無袖的。在右圖中，則建議將衣服挽起一點。

模型

Fashion++ 能夠爲具體的時裝搭配提出建議，這樣的模型是基於深度生成網絡的。

如圖爲模型的整體架構。研究人員首先從材質和形狀編碼器中獲得隱式特徵。然後使用編輯模塊 F++進行計算。在一次編輯之後，形狀生成器首先會解碼更新過的形狀特徵，將其還原爲一個 2D 分割遮蓋，然後研究者利用「區域性質」廣播更新的材質特徵，將其融合到一個 2D 特徵映射中。這一特徵映射和更新的分割遮蓋會通過一個材質生成器，用於生成出最後更新過的整體時裝。

訓練過程

在訓練之前，系統首先使用了一個分類器，在時裝圖像數據上學習「有時尚感」的圖像。「有時尚感」的圖像作爲訓練用的參考數據，然後研究者從網絡中獲取了大量的服裝信息，將這些圖像一步步修改，將其中的時裝部分替換爲最不相似的其他部分。這樣一來，就可以生成很多負樣本，用於幫助 AI 學習什麼是不時尚的圖像。

訓練好分類器後，該系統會逐漸更新着裝，以使其更時尚。而後，圖像生成神經網絡會對調整後的新外觀進行渲染，即使用變分自編碼器生成輪廓，使用條件生成對抗網絡（cGAN）生成顏色和圖案。此外，該生成器學習到的潛在編碼還被用於識別其庫存中的哪些服裝最能實現該着裝方式。

數據集

在此研究中，作者使用 Chictopia10 數據集進行實驗。此外，作者們使用了 15930 張圖像來訓練生成器，12744 張圖像訓練時尚分類器。

該數據集用於提供時尚圖像，而剩餘的「不時尚」圖像，根據前文所述，是通過網絡圖像+逐步替換的方式修改的。具體而言，研究者首先使用 Chictopia 全身時裝圖像（一個正樣本），從中選取一部分進行修改，使用一個不同的時裝替換掉這個部分。爲了提升「不時尚」圖片的選擇效果，研究者選擇的是新時裝和被替換部分之間歐幾里得距離（用 CNN 提取出的隱向量）最遠的那種。