fast stable diffusion wiki(譯)

原文:https://github.com/Excalibro1/fast-stable-diffusionwik/wiki/fast-stable-diffusion-wiki

確保你用的是最新的筆記本!https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb

開始

首先,使用上面鏈接中的最新筆記本:)一旦你加載了筆記本,你將看到這個colab屏幕。

此時,你可以停留在這個總是更新的colab頁面上,也可以通過轉到“文件”,然後“將副本保存在驅動器中”,將副本複製到你的gdrive上,就像這樣。

At this point you can either stay on this always updated colab page or make a copy to your gdrive by going to "file" then "save a copy in drive" like so.

爲培訓設置

現在我們已經準備好使用筆記本,開始我們必須掛載到gdrive,爲此單擊第一個單元格上的播放按鈕。

一旦它連接到運行時,你將被要求用你的谷歌帳戶登錄,登錄後,你將返回到筆記本,我們可以開始運行我們的下一個單元格。

gdrive掛載後,你將運行依賴單元,接下來將是模型下載,確保你選擇了你想要訓練的模型!這裏有很多選項可以玩,因爲你可以從gdrive/huggingface加載你自己的模型。

是時候創建一個會話,會話名稱可以是任何你想要的,因爲你只使用它來加載之前訓練的模型來重新訓練/使用,我通常只是將其命名爲與我的實例令牌相同。

現在這部分對於訓練非常重要我們需要instance_images這些是你希望訓練的主題/風格的圖像,因爲sd 1.5是在512x512進行訓練的強烈建議將你的圖像裁剪到這個大小,以避免任何意想不到的結果,一個簡單的方法是使用像https://www.birme.net這樣的網站

一旦你的圖像被調整大小,你將需要將它們重命名爲相同的唯一標識符,這將是你如何在訓練後穩定擴散中調用你的風格/主題,重命名所有文件在Windows上的一個簡單方法是選擇所有你需要重命名的,然後按F2並重命名爲你想要的令牌,這應該將所有文件重命名爲令牌(1)令牌(2)等等。對我來說,我將用shrk來代替怪物史萊克。

現在我們應該準備好上傳我們的實例圖像了,只需要點擊實例圖像單元格的播放,在底部你應該可以看到上傳或取消上傳的選項。

一旦完成,你的下一個選項是上傳概念圖像,這些圖像將被用作重正則化,應該類似於你正在訓練的內容,以幫助模型在許多不同的姿勢或背景下創建訓練對象的圖像,這些圖像不在實例圖像中,本質上有助於不過度擬合你的模型。

讓訓練開始吧

這是魔法首先發生的地方,我建議你通讀Ben寫的每一部分的解釋。

從Unet開始,我通常把這個低值設置爲1000-1500。Unet很難過度訓練,所以從低值開始是好的,你可以隨時回來重新訓練它,以達到你想要的結果。

text_encoder真的很挑剔,如果你在第一次運行時過度訓練,你將不得不重新訓練所有的模型(Ben的350默認是一個非常好的起點(對於一種風格,也許可以嘗試從150開始測試模型,看看它是否需要更多的訓練)

concept_text_encoder是最近添加到筆記本上的再次閱讀Ben對它的簡要解釋,如果你有任何發現可以分享開始一個討論線程就從那裏測試:)

一旦你的所有設置都在按下播放按鈕,等待訓練完成。

一旦完成,它將轉換成ckpt,可以在你的硬盤中找到fast-dreambooth/Sessions/shrk,但我們不需要去那裏。

在下一個單元格“測試訓練的模型”,你可以選擇通過命名加載上一個會話或從gdrive目錄加載一個自定義ckpt,但如果你剛剛完成一個訓練會話,它將默認加載新訓練的模型,所以不需要打亂那些設置。與use_gradio_server選項,您將看到兩個URL我通常使用公共共享鏈接通過此服務器,當此設置未勾選時,它將使用本地隧道連接,這將只提供一個URL。

在這一點上,你已經很好了,你應該將你訓練好的模型加載到automatic1111 web中,現在是時候進行測試了,首先嚐試讓它生成你的令牌。

這是一個只需要輸入shrk的渲染(注意我的訓練圖像是垃圾,我只使用了其中的5張)

如果結果看起來還不錯,嘗試添加到提示符,看看你的風格或人/物體是否仍然通過。

安娜·迪特曼的《怪物史萊克的幽靈》,數字藝術,恐怖,在artstation上流行,動漫藝術,在Pixiv上精選,高清,8K,非常詳細

恭喜你成功訓練了一個模型👏從這裏你可以做很多事情,如果你覺得你的主題的細節沒有你想要的那麼多,然後恢復unet的訓練1000步,再次測試如果你正在使用你的token,但在任何地方都沒有看到shrk,然後恢復文本編碼器的訓練,再100步,再次測試。

所有這些都不是一成不變的,這項技術是相當新的,每個人都在試圖找到最佳的最佳設置,所以只要繼續測試和創建模型,就可以享受它!

已知問題和解決方案

Moduel錯誤:

從我看到的大多數情況下,如果你運行一箇舊的colab文件夾,這是一個問題,最好的解決方法是刪除gdrive中的sd文件夾並重新運行auto1111

C ^錯誤:

如果你正在上傳一個大模型(7gb或更多),這是一個內存不足錯誤,如果你在其他地方遇到這個錯誤,請勾選large_model選項,嘗試更改爲高RAM運行時。

連接錯誤:

似乎是什麼服務器之間的鬥爭最好的時候,如果gradio服務器不工作的理想,取消勾選框,並運行通過隧道服務器鏈接,反之亦然

擴展的錯誤:

如果你正在通過Automatic1111安裝和運行擴展,當你遇到這些擴展的錯誤時,首先嚐試搜索Automatic1111 github issues以查找類似的錯誤。

額外的信息

weight and biases與dreambooth一起培訓SD的論文https://wandb.ai/psuraj/dreambooth/reports/Training-Stable-Diffusion-with-Dreambooth--VmlldzoyNzk0NDc3#the-experiment-settings可能會讓您更好地瞭解文本編碼器對培訓的影響。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章