Deepfacelab 小白教程

不小心入了AI換臉的坑,但是感覺AI換臉很有意思,第一次感覺科研使我快樂。

目錄

一、AI換臉軟件簡介

二、Deepfacelab下載安裝

三、Deepfacelab Demo實現

四、Deepfacelab 填坑

五、總結


一、AI換臉軟件簡介

這個沒有具體使用過,目前我只使用過Deepfacelab,但是查看各種資料都是說Deepfacelab綜合來說是最好用的,可玩度也很高,最重要的是deepfacelab對部署環境沒有要求,這個就完全滿足我這樣的懶人了。。。

下述表格轉載於大神博主,其鏈接爲https://blog.csdn.net/u014575897/article/details/85272910

二、Deepfacelab下載安裝

Github源碼地址:https://github.com/iperov/DeepFaceLab

預編譯好的Windows版本:https://mega.nz/#F!b9MzCK4B!zEAG9txu7uaRUjXz9PtBqg(需要科學上網)

所需環境:windows系統即可,需要強力版本的顯卡,畢竟AI就是個又氪又肝的玩意。。。

下載好之後,直接解壓就可以了,解壓完了一般是如下界面(DeepFaceLabCUDA10.1AVX版本)。

Demo實現之前先學習下解壓目錄下的各種bat文件的功能(實現將A視頻中的人臉替換爲B視頻中的人臉,下文中都是以A和B來表示):

1)是清空workspace文件夾的,包括切的圖片和人臉、模型文件等等。。。

2)和3)都是將視頻文件轉換爲一幀一幀的圖像;

4)和 4.X)是將SRC視頻文件(即待替換的視頻B)的人臉識別出來和進行排序;

5)和 5.X)是將DST視頻文件(即待替換的視頻A)的人臉識別出來和進行排序;

6)是進行訓練;

7)人臉替換(即將分離出來的圖片先進行人臉替換);

8)將人臉替換後的圖片合成視頻;

9)和10)待定。。。

三、Deepfacelab Demo實現

源程序中自帶Demo的視頻素材,可以直接進行Demo實現。

打開workspace,發現裏面有兩個視頻,分別是data_dst和data_src,對應於上述的A和B,這就是自帶的素材。

1.視頻解壓,雙擊bat文件中的2) extract images from video data_src3.2) extract images from video data_dst FULL FPS;

功能:你會發現workspace中的data_dst和data_src兩個文件夾中有分割好的圖像文件;

2.人臉提取,雙擊bat文件中的4) data_src extract faces S3FD all GPU 和 5) data_dst extract faces S3FD all GPU;

功能:你會發現workspace中的data_dst中的aligned和aligned_debug文件夾中有人臉圖片,data_src兩個文件夾中的aligned類似。

PS:目前來說一般採用S3FD的人臉識別方法,該方法比較好!老版本貌似只有MT和DLIB的人臉識別方法。

3.訓練,雙擊bat文件中的6) train SAE;接下來,Cmd裏面所有的參數選項都是直接按“Enter”鍵即可,因爲默認參數都是優化過的,完全適應於Demo視頻(對於其他視頻也是比較適用,特別是對於新手來說);

功能:訓練人臉對齊模型,那還用說?該模型文件保存於workspace中的model文件夾中,你會發現模型文件有5個“h5”的文件

PS:Deepfacelab這個版本是基於Keras來實現的,所以只能用一個GPU進行訓練。如果是新手的話更建議採用H128的方法進行訓練。SAE方法更全,最好最靈活的模型,但是相對來說需要對Deepfacelab有深入瞭解,或者跟我一樣用默認參數。。。

warning:CMD默認參數中有一個選項是訓練迭代無次數限制(默認參數),即需要人工停止訓練,停止標準包括1)Train Preview窗口中的第一行、第二行、第四行和第五行的人臉都比較清晰即可;2)訓練窗口中的loss值接近於0.2。如下圖二紅色方框所示(媽蛋,爲了截圖打開cmd界面,把訓練了12個小時的模型給覆蓋了,心碎ing)

停止方法,在Train Preview窗口中按“Enter”鍵。按"P"鍵是刷新圖片哈,可以實時看到最新訓練的效果。

   

4.人臉替換,雙擊bat文件中的7) convert SAE,Cmd裏面第一個參數選項輸入“n”,其餘也全是按“Enter”鍵即可。

功能:你會發現workspace中的data_dst中的merged文件夾中有替換好的人臉圖片。

PS:訓練用的什麼方法,人臉替換的步驟就要用相應的方法。Cmd第一個選項就是是否使用UI界面模式,反正我沒弄懂,我就是直接不用UI模型就好了。

5.視頻轉換:雙擊bat文件中的8) converted to mp4,Cmd裏面所有的參數選項都是直接按“Enter”鍵即可;

功能:你會發現workspace中多了一個result.mp4的視頻文件,這就是完成AI換臉的成果了。

 

四、Deepfacelab 填坑

完成上述步驟,你發現其實軟件用起來很簡單的吧,但是其中會有很多坑,下面一步步說。

1.素材坑。搞深度學習的都知道,樣本數據好和算法好兩個來選,肯定選樣本數據好。因爲深度學習這個東西就是“煉丹”,丟進去的都是好東西那麼練出來的肯定不會差,所以對於上述步驟2.人臉提取完成後,需要人工進行篩選人臉圖片。

解決方法:人工篩選人臉圖片,刪除掉那些無人臉的圖片、顛倒的人臉圖片、模糊對焦不好的圖片等等,只留下人臉提取好的人臉圖片。

2.分辨率大小問題,視頻素材分辨率儘可能清晰。

3.模型保存,每訓練完一次,把workspace中的model文件夾和分割圖片都儘可能單獨保存一次,免得model丟失。這是血與淚的教訓啊!

五、總結

這部分有博主總結的很好,我就不多自己畫圖了!(主要是懶。。。)

 

參考文獻:

1.https://blog.csdn.net/u014575897/article/details/85272910

2.https://www.deepfakescn.com/(常用AI換臉軟件的教程網吧)

最後推薦一波AI換臉學習的QQ羣,743285272(主要是免費羣,可以白嫖)

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章