恶补AI之Stable Diffusion

以下内容 , 由 ai (gpt4)辅助创作。

有用的链接

https://stability.ai/AI数字绘画 stable-diffusion 保姆级教程 - 程序员秋风的文章 - 知乎 https://zhuanlan.zhihu.com/p/560226367

AI数字绘画 stable-diffusion 保姆级教程 - 程序员秋风的文章 - 知乎
https://zhuanlan.zhihu.com/p/560226367

Stable Diffusion的同类产品?

了解了,您是在询问关于Stable Diffusion这款文本到图像生成模型的竞争产品。基于您的描述,这是一款基于深度学习的图像生成模型,利用了潜在扩散技术和CLIP文本编码器。以下是一些与Stable Diffusion类似或具有竞争性的模型:

  1. DALL-E: 由OpenAI开发,DALL-E是一款文本到图像生成模型,使用了GPT-3模型的变体。通过接受文本提示,DALL-E可以生成具有高度创意和复杂度的图像。

  2. BigGAN: 由DeepMind开发,BigGAN是一款生成对抗网络(GAN)模型,可以生成高分辨率和高质量的图像。BigGAN并不直接接受文本提示,但可以与文本编码器结合使用以实现文本到图像生成。

  3. StyleGAN/StyleGAN2: 由NVIDIA研究团队开发,StyleGAN和StyleGAN2是用于生成高质量图像的GAN模型。与BigGAN类似,这些模型可以与文本编码器结合使用以实现文本到图像生成。

  4. VQ-VAE / VQ-VAE-2: 这些是基于矢量量化变分自动编码器(VQ-VAE)的模型,由DeepMind开发。虽然这些模型主要用于无监督学习和图像压缩任务,但它们也可以与文本编码器结合使用以实现文本到图像生成。

这些模型可能与Stable Diffusion具有不同程度的竞争性。请注意,由于Stable Diffusion是一款新型模型,其在实际应用和性能方面可能与上述模型存在差异。在选择合适的模型时,请务必根据您的需求和资源来权衡。

Stable Diffusion(https://github.com/CompVis/stable-diffusion

来自官方的简单介绍:

Stable Diffusion是一种潜在的文本到图像扩散模型。得益于Stability AI的慷慨计算资源捐赠以及LAION的支持,我们得以在LAION-5B数据库的一个子集上训练512x512分辨率的潜在扩散模型。与谷歌的Imagen类似,该模型使用冻结的CLIP ViT-L/14文本编码器,根据文本提示对模型进行条件化处理。凭借其860M参数的UNet和123M参数的文本编码器,这个模型相对轻量,并且可以在至少具有10GB显存的GPU上运行。请参阅下面的章节以及模型说明卡。

Stable Diffusion v1指的是一种特定配置的模型架构,它采用了一个下采样因子为8的自动编码器,具有860M参数的UNet和CLIP ViT-L/14文本编码器作为扩散模型。该模型首先在256x256分辨率的图像上进行预训练,然后在512x512分辨率的图像上进行微调。

注意:Stable Diffusion v1是一种通用的文本到图像扩散模型,因此会反映其训练数据中存在的偏见和(误)概念。关于训练过程、数据以及模型的预期用途的详细信息,请参阅相应的模型说明卡。

模型权重可以通过Hugging Face上的CompVis组织获得,其许可证包含特定的基于使用限制的规定,以防止模型卡片中提到的误用和损害,但在其他方面仍然具有许可性。虽然许可证条款允许商业使用,但我们不建议在没有额外安全机制和考虑的情况下,将提供的权重用于服务或产品,因为权重存在已知的局限性和偏见,而且关于通用文本到图像模型的安全和道德部署的研究仍在进行中。权重是研究成果,应作为研究成果对待。

CreativeML OpenRAIL M许可证是一种Open RAIL M许可证,它改编自BigScience和RAIL计划在负责任的人工智能许可领域的共同工作。关于我们的许可证依据的BLOOM Open RAIL许可证,请参阅相关文章。

省略 Weights 的部分

Stable Diffusion is a latent diffusion model conditioned on the (non-pooled) text embeddings of a CLIP ViT-L/14 text encoder. We provide a reference script for sampling, but there also exists a diffusers integration, which we expect to see more active community development.

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章