DeepFaceLab 近期更新概要,“整臉”來襲!

2020年2月3號之後,Iperov同志沉浸了一小段時間。不過,沒多久又進入了瘋狂更新的狀態。目前已經發布了28號(今天)的版本。


我這裏先拎幾個重點。

1. 修復眼神詭異或者亂飄的問題。

使用DFL2後,不少人發現眼神上的問題,具體的體現有眼神完全不同步(當然有些人是素材不夠),還有一種是眼神很詭異,感覺變異了一樣。

針對這兩種情況,軟件進行了改進。具體有多大改善,還有待觀察。

2. AI換臉+AE特效的“整臉”模型

繼半臉,全臉,中臉,之後又添加了新的一種臉型Whole_Face,這個其實可以簡稱爲“全臉” ,但是因爲之前已經有一種FUll_FACE , 爲了區別我覺得翻譯成“整臉” 比較好。這個類型,最大的功能就是解決額頭的問題。

但是…這是一個半成品,需要結合AE才能做出完整的效果。簡略教程參見上圖,具體使用方法,可以關注後續文章。

3. 256提升到512。

因爲出了全臉之後,引發的蝴蝶效應。原先我們提取的圖片都是256×256像素,現在因爲需要處理整個臉部,所以提升了頭像尺寸,擴到了512×512。同時把訓練模型像素的最大值也改到了512(32G,V100聽完後瑟瑟發抖,說了句:告辭)。 雖然多個地方的size都改大了,但是並不意味着你的顯卡能跑出更好的效果…

還有安裝包是越來越大了…

最近三次更新的主要內容應該就是這些了,具體更新記錄如下:

2020年2月28日
Extractor:
提取

image size for all faces is now 512
提取的圖片尺寸從256提升到512

fix RuntimeWarning during the extraction process
修復提取過程中出現RuntimeWarning的問題。

SAEHD:
max resolution is now 512
模型參數中,最高像素改成512(32G V100同樣表示玩不起)

fix hd arhitectures. Some decoder’s weights haven’t trained before.
修復HD架構,之前一些解碼器權重沒有被訓練到。

new optimized training:
新的優化訓練

for every <batch_size*16> samples,
對於每個<batch_size*16>樣本,

model collects <batch_size> samples with the highest error and learns them again
模型收集誤差比較大的樣例進行重新學習。

therefore hard samples will be trained more often
因此,比較難的樣本被訓的更狠。

‘models_opt_on_gpu’ option is now available for multigpus (before only for 1 gpu)
“models_opt_on_gpu”選項現在可用於多顯卡(以前僅用單顯卡)

fix ‘autobackup_hour’
修復“自動備份時間”

2020年2月23日
SAEHD: pretrain option is now available for whole_face type
SAEHD: 預訓練支持“整臉”

fix sort by abs difference
修復abs差異排序

fix sort by yaw/pitch/best for whole_face’s
修復整臉的yaw/pitch/best排序。

2020年2月21日

Trainer: decreased time of initialization
訓練:減少初始化時間

Merger: fixed some color flickering in overlay+rct mode
合成:修復overlay+rct模式下的一些閃縮的問題。

SAEHD:
added option Eyes priority (y/n)
添加眼部優先選項

Helps to fix eye problems during training like “alien eyes”
有助於在訓練過程中解決“異形眼”

and wrong eyes direction ( especially on HD architectures )
和眼神不對的問題(尤其是在HD架構上)

by forcing the neural network to train eyes with higher priority.
通過強制神經網絡以更高的優先級來訓練眼睛。

before/after https://i.imgur.com/YQHOuSR.jpg
之前/之後

added experimental face type ‘whole_face’
添加試驗性臉型“整臉”。

Basic usage instruction: https://i.imgur.com/w7LkId2.jpg
基本用法說明:

‘whole_face’ requires skill in Adobe After Effects.
整臉需要 AE技能

For using whole_face you have to extract whole_face’s by using
使用整臉你必須提取整臉圖片,通過以下兩個腳本。

4) data_src extract whole_face
and
5) data_dst extract whole_face
Images will be extracted in 512 resolution, so they can be used for regular full_face’s and half_face’s.
圖片會按512像素進行提取。他們同樣也適用於常規的全臉和半臉。

‘whole_face’ covers whole area of face include forehead in training square,
整臉涵蓋臉部的整個區域包含額頭。

but training mask is still ‘full_face’
但是訓練遮罩依舊是全臉

therefore it requires manual final masking and composing in Adobe After Effects.
因此需要你通過AE手動遮罩和合成。

added option ‘masked_training’
添加遮罩訓練

This option is available only for ‘whole_face’ type.
這個選項僅適用於整臉

Default is ON.
默認開啓

Masked training clips training area to full_face mask,
遮罩訓練可以把訓練區域剪輯到全臉遮罩。

thus network will train the faces properly.
這樣網絡就可以正確訓練臉部

When the face is trained enough, disable this option to train all area of the frame.
當訓練足夠多的時候,關閉這個選項,讓網絡去訓練所有區域。

Merge with ‘raw-rgb’ mode, then use Adobe After Effects to manually mask, tune color, and compose whole face include forehead.
使用Raw-rgb模式合成,然後使用AE手動遮罩調整顏色,然後合成,這樣額頭也能被換掉。

更多更新內容請看:https://www.deepfaker.xyz/?page_id=1604
最新版見672316851羣文件,據說轉發一下可以極速下載哦!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章