惡補AI之Stable Diffusion

以下內容 , 由 ai (gpt4)輔助創作。

有用的鏈接

https://stability.ai/AI數字繪畫 stable-diffusion 保姆級教程 - 程序員秋風的文章 - 知乎 https://zhuanlan.zhihu.com/p/560226367

AI數字繪畫 stable-diffusion 保姆級教程 - 程序員秋風的文章 - 知乎
https://zhuanlan.zhihu.com/p/560226367

Stable Diffusion的同類產品?

瞭解了,您是在詢問關於Stable Diffusion這款文本到圖像生成模型的競爭產品。基於您的描述,這是一款基於深度學習的圖像生成模型,利用了潛在擴散技術和CLIP文本編碼器。以下是一些與Stable Diffusion類似或具有競爭性的模型:

  1. DALL-E: 由OpenAI開發,DALL-E是一款文本到圖像生成模型,使用了GPT-3模型的變體。通過接受文本提示,DALL-E可以生成具有高度創意和複雜度的圖像。

  2. BigGAN: 由DeepMind開發,BigGAN是一款生成對抗網絡(GAN)模型,可以生成高分辨率和高質量的圖像。BigGAN並不直接接受文本提示,但可以與文本編碼器結合使用以實現文本到圖像生成。

  3. StyleGAN/StyleGAN2: 由NVIDIA研究團隊開發,StyleGAN和StyleGAN2是用於生成高質量圖像的GAN模型。與BigGAN類似,這些模型可以與文本編碼器結合使用以實現文本到圖像生成。

  4. VQ-VAE / VQ-VAE-2: 這些是基於矢量量化變分自動編碼器(VQ-VAE)的模型,由DeepMind開發。雖然這些模型主要用於無監督學習和圖像壓縮任務,但它們也可以與文本編碼器結合使用以實現文本到圖像生成。

這些模型可能與Stable Diffusion具有不同程度的競爭性。請注意,由於Stable Diffusion是一款新型模型,其在實際應用和性能方面可能與上述模型存在差異。在選擇合適的模型時,請務必根據您的需求和資源來權衡。

Stable Diffusion(https://github.com/CompVis/stable-diffusion

來自官方的簡單介紹:

Stable Diffusion是一種潛在的文本到圖像擴散模型。得益於Stability AI的慷慨計算資源捐贈以及LAION的支持,我們得以在LAION-5B數據庫的一個子集上訓練512x512分辨率的潛在擴散模型。與谷歌的Imagen類似,該模型使用凍結的CLIP ViT-L/14文本編碼器,根據文本提示對模型進行條件化處理。憑藉其860M參數的UNet和123M參數的文本編碼器,這個模型相對輕量,並且可以在至少具有10GB顯存的GPU上運行。請參閱下面的章節以及模型說明卡。

Stable Diffusion v1指的是一種特定配置的模型架構,它採用了一個下采樣因子爲8的自動編碼器,具有860M參數的UNet和CLIP ViT-L/14文本編碼器作爲擴散模型。該模型首先在256x256分辨率的圖像上進行預訓練,然後在512x512分辨率的圖像上進行微調。

注意:Stable Diffusion v1是一種通用的文本到圖像擴散模型,因此會反映其訓練數據中存在的偏見和(誤)概念。關於訓練過程、數據以及模型的預期用途的詳細信息,請參閱相應的模型說明卡。

模型權重可以通過Hugging Face上的CompVis組織獲得,其許可證包含特定的基於使用限制的規定,以防止模型卡片中提到的誤用和損害,但在其他方面仍然具有許可性。雖然許可證條款允許商業使用,但我們不建議在沒有額外安全機制和考慮的情況下,將提供的權重用於服務或產品,因爲權重存在已知的侷限性和偏見,而且關於通用文本到圖像模型的安全和道德部署的研究仍在進行中。權重是研究成果,應作爲研究成果對待。

CreativeML OpenRAIL M許可證是一種Open RAIL M許可證,它改編自BigScience和RAIL計劃在負責任的人工智能許可領域的共同工作。關於我們的許可證依據的BLOOM Open RAIL許可證,請參閱相關文章。

省略 Weights 的部分

Stable Diffusion is a latent diffusion model conditioned on the (non-pooled) text embeddings of a CLIP ViT-L/14 text encoder. We provide a reference script for sampling, but there also exists a diffusers integration, which we expect to see more active community development.

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章