Overview
产品概述
Disco Diffusion 是一个将多种 notebook、模型和技术融合在一起的开源项目，用于生成 AI 艺术与动画。它最早源自 Katherine Crowson 的 notebook，后来经 Daniel Russell 等人修改，加入了适合 15-100 步快速生成的优化参数与更稳健的增广；之后又汇集了 Dango233、nshepperd、Somnai、gandamu 等多位贡献者的改进。项目使用 OpenAI 的 256x256 无条件 ImageNet 模型或 Katherine Crowson 微调的 512x512 扩散模型，并结合 CLIP 将文本提示与图像联系起来，从而根据自然语言提示生成图像。
Capabilities
核心能力
文本到图像的 AI 艺术生成
Disco Diffusion 使用 OpenAI 的 256x256 无条件 ImageNet 模型或 Katherine Crowson 微调的 512x512 扩散模型，并结合 CLIP 将文本提示与图像联系起来，从而根据文本提示生成 AI 艺术图像。
丰富的动画与变换模式
支持 2D 扩散动画、缩放/平移/旋转/关键帧、3D 动画模式、VR 模式以及视频输入模式，能够用于生成 AI 动画和动态视觉作品。
社区模型与扩展支持
集成 OpenCLIP 模型，以及 Pixel Art Diffusion、Watercolor Diffusion、Pulp SciFi Diffusion 等社区模型，并支持自定义模型与 Warp 模式。
Use Cases
适用场景
-
01
AI 艺术创作
用于生成 AI 艺术图像，通过文本提示与扩散模型和 CLIP 的结合将描述转化为视觉作品。
-
02
动画与视频创作
支持扩散缩放、关键帧、3D 动画、VR 模式以及基于光流估计和帧混合的视频输入模式，可制作 AI 动画和视频内容。
Integrations
集成能力
CLIP
用于连接文本提示与图像，实现文本到图像的生成。
AdaBins / MiDaS
通过 AdaBins 和 MiDaS 深度估计模型的加权组合，支持 3D 动画模式。
PyTorch3D
用于在 Colab 和/或 Linux 上进行 3D 变换。
OpenCLIP
集成 OpenCLIP 模型以扩展模型能力。
Colab-Convert
用于将 Python 文件与 notebook 互相转换的开发工具。
