写在前面
本文为资料整合,没有原创内容,方便自己查找和学习,
花费了一晚上把sd安装好,又花了大半天了解sd周边的知识,终于体会到为啥这些生成式AI被称为魔法了,魔法使用前要吟唱类比到AI上不就是那些关键词参数什么的吗,描述的越具体生成的东西越具体.可以想象现在还需要手动输入词语的魔法,结合语音识别即可实现真吟唱效果,再结合脑机接口达成无需吟唱的效果...所思即所得,那时候才真正拼才华和想象力.
对普通人来说,AI几乎就是魔法.未来可期!
安装(签订契约)
- Home · AUTOMATIC1111/stable-diffusion-webui Wiki --- 首页 ·AUTOMATIC1111/stable-diffusion-webui Wiki (github.com) ==官方文档最为准确
- 本地部署 stable-diffusion-webui 并替换模型为 waifu-diffusion - 掘金 (juejin.cn)
- AbdBarho/stable-diffusion-webui-docker: Easy Docker setup for Stable Diffusion with user-friendly UI (github.com) docker部署,也挺方便
- lllyasviel/ControlNet: Let us control diffusion models (github.com)
- Mikubill/sd-webui-controlnet: WebUI extension for ControlNet (github.com)
- VinsonLaro/stable-diffusion-webui-chinese: stable-diffusion-webui 的汉化版本 (github.com) 汉化包
模型安装(符文)
自带模型models/Stable-diffusion
下载好模型后将文件将t文件放入models\stable-diffusion文件夹即可
扩展安装(天赋树)
扩展都存在于目录内自己的子目录中。您可以使用 git 安装这样的扩展： extensions
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui-aesthetic-gradients extensions/aesthetic-gradients
给模型添加预览图(印象)
新版webUI自带模型预览图功能,默认本地所有模型上都显示 no preview 即没有预览图,我们可以生成完图片后 再次找到添加模型的位置,鼠标移动模型卡标题处,上方会出现replace preview(替换预览)红色字样 点击即可将刚刚生成的图设置为此模型的预览图
如果想把任意一张图片设置为模型的预览图,可以将图片拖拽到img2img中 然后进行替换.
模型资源(道具商店)
- Civitai | Stable Diffusion models, embeddings, hypernetworks and more
- https://huggingface.co/
- 原神 | SD - WebUI 资源站 (123114514.xyz) 模型太多了,很国内味
- ChilloutMix | Stable Diffusion Checkpoint | Civitai
- Realistic Vision V1.3 | Stable Diffusion Checkpoint | Civitai 写实风格
- lllyasviel/ControlNet at main (huggingface.co)
- webui/ControlNet-modules-safetensors at main (huggingface.co)
- Korean Doll Likeness | Stable Diffusion LORA | Civitai
- LoRA 指南 - 知乎 (zhihu.com) ==LoRA: Low-Rank Adaptation of Large Language Models
性能(体质)
测试4GB的卡可以生成384x384的图片，512的大概需要6G左右， 1024的则需要8G+，推理速度慢，根据显卡和图片大小不同，大概需要20-60s
调参(吟唱)
调参教程(魔导书)
- Disco Diffusion (notion.site) 建议细读, 非原创聚合型文档，偏速查工具属性
- Discover and generate AI Art | OpenArt ==语句和参数的参考分享
- 咒语生成器 | 无界AI (wujieai.com) ==中英文可选,666
样例
<lora:koreanDollLikeness_v10:0.66>, **cat ears**,best quality, ultra high res, (photorealistic:1.4), 1woman, sleeveless white button shirt, black skirt, black choker, cute, (Kpop idol), (aegyo sal:1), (platinum blonde hair:1), ((puffy eyes)), looking at viewer, full body, facing front
SD 关键词参考
- https://arthub.ai/
- https://lexica.art/
- https://www.krea.ai/?continueFlag=6591d07b3186f4c7e58de1a4bcfaefb0
- https://promptomania.com/stable-diffusion-prompt-builder/
实践与参考(前辈们的故事)
- 模型应用---使用Stable Diffusion UI手册 - 知乎 (zhihu.com) UI上参数的翻译以及解释
- AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin: A user-friendly plug-in that makes it easy to generate stable diffusion images inside Photoshop using Automatic1111-sd-webui as a backend. (github.com)
- PS上的开源Stable Diffusion插件来了：一键AI脑补，即装即用 - 知乎 (zhihu.com) ==集成到ps中作为插件
- hua1995116/awesome-ai-painting: AI绘画资料合集（包含国内外可使用平台、使用教程、参数教程、部署教程、业界新闻等等） stable diffusion tutorial、disco diffusion tutorial、 AI Platform (github.com) ==可以的
- awesome-stable-diffusion/awesome-stable-diffusion: Curated list of awesome resources for the Stable Diffusion AI Model. (github.com)
- Stability-AI/stablediffusion: High-Resolution Image Synthesis with Latent Diffusion Models (github.com) sd2版本
- cmdr2/stable-diffusion-ui: Easiest 1-click way to install and use Stable Diffusion on your own computer. Provides a browser UI for generating images from text prompts and images. Just enter your text prompt, and see the generated image. (github.com) 桌面端UI
- gradio-app/gradio: Create UIs for your machine learning model in Python in 3 minutes (github.com)
- 摄影师危！AI绘画即将降维打击摄影行业 - 知乎 (zhihu.com)
- ControlNet正在补完AIGC工业化的最后一块拼图 - 知乎 (zhihu.com)
- (15条消息) 【AI绘画】全部模型种类总结 / 使用方法 / 简易训练指导——魔导绪论_栗少的博客-CSDN博客 ==挺好,有对名词做解释,概念入门
- https://note.youdao.com/ynoteshare/index.html?id=83ec1a4d9c7dc00191133c384df587b8&type=note&_time=1650330649515 ==教程-使用-思路-扩展,但依赖谷歌
- Stable Diffusion 完美复制Korean doll likeness！（详细版，持续更新中！） - 知乎 (zhihu.com)
- 如何使用stable diffusion批量为“虚拟女友”换衣服 - 知乎 (zhihu.com)
- AI技术“造人”：如何使用stable diffusion为你批量打造美丽的“虚拟女友” - 知乎 (zhihu.com)
- StableDiffusion模型资源探索食用指南 - 知乎 (zhihu.com) ==质量很高,总结的很好
在线体验(麻瓜)
- Stable Diffusion 2-1 - a Hugging Face Space by stabilityai sd2版本的试用环境
- andreasjansson/stable-diffusion-animation – Run with an API on Replicate ==可以输出动画和gif,挺有趣
- 无界AI-人人都是艺术家 (wujieai.com) ==国内的,已注册手机号
岗位要求(初级魔法师)
AI插图绘制师
岗位职责：
1. 设计多种绘画风格，实现AI风格迁移；
2. 高效熟练的使用AI（如Disco Diffusion、Stable Diffusion等工具）生产不同风格要求的人像与动画；
3. 跟踪前沿算法，熟悉AI绘画领域技术进展；
岗位要求：
1.深度研究AI绘画软件，熟悉Stable Diffusion开源技术的使用；
2.熟练使用Python语言，及OpenCV、waifu2x等工具；
3.熟悉基于AI的人像生成与风格迁移，有项目落地经验；
4.了解前沿图像生成算法&产品（如 Disco Diffusion，Stable Diffusion，Dalle2，MidJourney，Tiamat, Lensa）；
5. 具备修图与分层的能力；
6. 绘画基础扎实，准备把握场景设定及透视的结构比例，造型能力强，色彩感强；
7. 具备1年以上动画/游戏美术经验