fast stable diffusion wiki(译)

原文:https://github.com/Excalibro1/fast-stable-diffusionwik/wiki/fast-stable-diffusion-wiki

确保你用的是最新的笔记本!https://colab.research.google.com/github/TheLastBen/fast-stable-diffusion/blob/main/fast-DreamBooth.ipynb

开始

首先,使用上面链接中的最新笔记本:)一旦你加载了笔记本,你将看到这个colab屏幕。

此时,你可以停留在这个总是更新的colab页面上,也可以通过转到“文件”,然后“将副本保存在驱动器中”,将副本复制到你的gdrive上,就像这样。

At this point you can either stay on this always updated colab page or make a copy to your gdrive by going to "file" then "save a copy in drive" like so.

为培训设置

现在我们已经准备好使用笔记本,开始我们必须挂载到gdrive,为此单击第一个单元格上的播放按钮。

一旦它连接到运行时,你将被要求用你的谷歌帐户登录,登录后,你将返回到笔记本,我们可以开始运行我们的下一个单元格。

gdrive挂载后,你将运行依赖单元,接下来将是模型下载,确保你选择了你想要训练的模型!这里有很多选项可以玩,因为你可以从gdrive/huggingface加载你自己的模型。

是时候创建一个会话,会话名称可以是任何你想要的,因为你只使用它来加载之前训练的模型来重新训练/使用,我通常只是将其命名为与我的实例令牌相同。

现在这部分对于训练非常重要我们需要instance_images这些是你希望训练的主题/风格的图像,因为sd 1.5是在512x512进行训练的强烈建议将你的图像裁剪到这个大小,以避免任何意想不到的结果,一个简单的方法是使用像https://www.birme.net这样的网站

一旦你的图像被调整大小,你将需要将它们重命名为相同的唯一标识符,这将是你如何在训练后稳定扩散中调用你的风格/主题,重命名所有文件在Windows上的一个简单方法是选择所有你需要重命名的,然后按F2并重命名为你想要的令牌,这应该将所有文件重命名为令牌(1)令牌(2)等等。对我来说,我将用shrk来代替怪物史莱克。

现在我们应该准备好上传我们的实例图像了,只需要点击实例图像单元格的播放,在底部你应该可以看到上传或取消上传的选项。

一旦完成,你的下一个选项是上传概念图像,这些图像将被用作重正则化,应该类似于你正在训练的内容,以帮助模型在许多不同的姿势或背景下创建训练对象的图像,这些图像不在实例图像中,本质上有助于不过度拟合你的模型。

让训练开始吧

这是魔法首先发生的地方,我建议你通读Ben写的每一部分的解释。

从Unet开始,我通常把这个低值设置为1000-1500。Unet很难过度训练,所以从低值开始是好的,你可以随时回来重新训练它,以达到你想要的结果。

text_encoder真的很挑剔,如果你在第一次运行时过度训练,你将不得不重新训练所有的模型(Ben的350默认是一个非常好的起点(对于一种风格,也许可以尝试从150开始测试模型,看看它是否需要更多的训练)

concept_text_encoder是最近添加到笔记本上的再次阅读Ben对它的简要解释,如果你有任何发现可以分享开始一个讨论线程就从那里测试:)

一旦你的所有设置都在按下播放按钮,等待训练完成。

一旦完成,它将转换成ckpt,可以在你的硬盘中找到fast-dreambooth/Sessions/shrk,但我们不需要去那里。

在下一个单元格“测试训练的模型”,你可以选择通过命名加载上一个会话或从gdrive目录加载一个自定义ckpt,但如果你刚刚完成一个训练会话,它将默认加载新训练的模型,所以不需要打乱那些设置。与use_gradio_server选项,您将看到两个URL我通常使用公共共享链接通过此服务器,当此设置未勾选时,它将使用本地隧道连接,这将只提供一个URL。

在这一点上,你已经很好了,你应该将你训练好的模型加载到automatic1111 web中,现在是时候进行测试了,首先尝试让它生成你的令牌。

这是一个只需要输入shrk的渲染(注意我的训练图像是垃圾,我只使用了其中的5张)

如果结果看起来还不错,尝试添加到提示符,看看你的风格或人/物体是否仍然通过。

安娜·迪特曼的《怪物史莱克的幽灵》,数字艺术,恐怖,在artstation上流行,动漫艺术,在Pixiv上精选,高清,8K,非常详细

恭喜你成功训练了一个模型👏从这里你可以做很多事情,如果你觉得你的主题的细节没有你想要的那么多,然后恢复unet的训练1000步,再次测试如果你正在使用你的token,但在任何地方都没有看到shrk,然后恢复文本编码器的训练,再100步,再次测试。

所有这些都不是一成不变的,这项技术是相当新的,每个人都在试图找到最佳的最佳设置,所以只要继续测试和创建模型,就可以享受它!

已知问题和解决方案

Moduel错误:

从我看到的大多数情况下,如果你运行一个旧的colab文件夹,这是一个问题,最好的解决方法是删除gdrive中的sd文件夹并重新运行auto1111

C ^错误:

如果你正在上传一个大模型(7gb或更多),这是一个内存不足错误,如果你在其他地方遇到这个错误,请勾选large_model选项,尝试更改为高RAM运行时。

连接错误:

似乎是什么服务器之间的斗争最好的时候,如果gradio服务器不工作的理想,取消勾选框,并运行通过隧道服务器链接,反之亦然

扩展的错误:

如果你正在通过Automatic1111安装和运行扩展,当你遇到这些扩展的错误时,首先尝试搜索Automatic1111 github issues以查找类似的错误。

额外的信息

weight and biases与dreambooth一起培训SD的论文https://wandb.ai/psuraj/dreambooth/reports/Training-Stable-Diffusion-with-Dreambooth--VmlldzoyNzk0NDc3#the-experiment-settings可能会让您更好地了解文本编码器对培训的影响。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章