實習思考
我非常有幸,暑期將有機會去一家非常棒的研究機構DAMO實習一段時間。考慮到我不是一個單純想做學術算法研究的算法工程師,我更期待能面向產業界、面向工業落地,做出一些具有顛覆性的價值的應用算法。所以我有必要思考一下我的目標,以及實現這一目標的逐項計劃。
我所研究的生成技術研究是一項很有意思的新興AI課題,它基於讓AI模仿人類的構造力+判別力,使計算機能繪製出栩栩如生的逼真照片出來。從應用的角度來說,生成技術能提供強有力的創造力,從而滿足人們的創造欲。既然我將要服務的是一家電商企業,那不妨思考一下生成技術在電商領域具有哪些潛在的商業應用(先開幾個腦洞)。
初階應用:素材生成
旨在幫助小商家用零成本做出最有吸引力的商品展示。
—— 基於生成技術可以提供免費的高顏值虛擬模特,免費的圖像內容製作,免費的精美佈局,甚至免費的模式創意,這些都已經有現有的技術可供參考。
中階應用:虛實結合
旨在幫助客戶高效、真實地確認商品是否符合期望。
—— 基於生成技術可以幫助購買者預先查看商品試穿、體驗商品試用效果,從而確認商品是否符合期望。“我穿上該衣服後是什麼樣”,“我購買該物品後是什麼樣”。
高階應用:創意生成
AI參與創意創作的市場價值是無窮大的,因爲好的劇本、好的歌曲、好的視覺設計都無比難得,大有人願意爲此買單。
—— 在有着大量的劇本、歌曲、圖像數據下,藉助生成技術讓AI生成類似的內容不再是難事,但如何在訓練時給予AI適當的引導和獎懲,讓其能產生優秀的創意,是一個值得探索的出路。
上述只是一些較隨意的設想,真正的落地性和商業價值有待檢驗。而且這些東西不要去較真和沉思哈哈,我只是藉此定一些方向和目標,好讓我學習時能有選擇性地去查閱資料和代碼,因爲真正的方法論是在實踐環節中獲取的真知。下面開始制定我的實習實踐計劃。
實踐計劃
經驗告訴我,最有效的方法就是瘋狂借鑑已有的優秀代碼和思路。我先定一個表單(隨時會擴充),把我想學的內容都記錄下來,看看哪些能爲我所學、爲我所用。後續可能會寫一個庫,將有用的最新論文的代碼模塊化、組件化地封裝在庫裏邊,這樣能方便我需要時使用。
1、 ProgressiveGAN->StyleGAN(AdaIN)->StyleGAN2(爲何消除僞影)
2、 pix2pix->pix2pixHD->GauGAN(SPADE如何學到圖像的語義邏輯關係)
3、 Talking-Head系列(頭部動畫)->Body Synthesis系列(身體動畫)
4.、 SinGAN(單圖推理)-> ConSinGAN(改進版)