編譯：chux
出品：ATYUN訂閱號
當前的風格遷移模型很大並且需要大量的計算資源來實現預期結果。爲加速工作並使風格轉換成爲更廣泛採用的工具，NVIDIA和加州大學默塞德分校的研究人員開發了一種新的基於深度學習的風格遷移算法，該算法既有效又高效。
該研究由來自NVIDIA的Sifei Liu和Xueting Li領導，分析了任意樣式傳輸算法及其擴展。他們得出結論，儘管當前算法表現良好，但它們無法探索變換矩陣的整個解決方案，並且泛化到更多應用程序的能力有限，例如照片擬真和視頻樣式化。
爲了證明該算法的有效性，研究人員在四種風格遷移任務上測試了他們的方法：藝術風格遷移，視頻和照片寫實風格遷移以及局部自適應學習。
研究人員在他們的論文中指出：“我們的算法計算效率高，靈活多樣，對圖像和視頻的風格化也很有效。人們通常只會將風格遷移用於藝術目的，但現在人們可以使用這種模式來實現真實感。”
研究人員使用NVIDIA TITAN Xp GPU和cuDNN加速PyTorch深度學習框架，用80000個人物，風景，動物和移動物體的圖像訓練了卷積神經網絡。圖像來自WikiArt和MS-COCO數據集。
“我們的算法效率很高，但允許靈活組合多級風格，同時在風格轉換過程中保持內容關聯性，”研究人員說。
這項工作的關鍵是實現使用線性樣式傳輸的算法。這允許兩個輕量級卷積神經網絡替換任何對GPU不友好的計算，例如SVD分解，並轉換圖像。因此，用戶可以實時應用不同級別的樣式更改。
Liu解釋道，“我們的解決方案還允許人們實時更改視頻。你可以使用多種模式找到最適合的風格。”
團隊表示，“實驗結果證明，該算法在圖像和視頻的樣式轉換方面比許多目前最優的方法表現出色。”
Liu認爲，“這會鼓勵內容製作人創造更多，也許不擅長繪畫的人會使用風格遷移創作藝術，我希望實時任意樣式轉換在現實應用中變得更加突出。想象一下：你能把它放在VR中，並實時渲染它。”