DALL·E 2：高分辨率图像生成
OpenAI 发布 DALL·E 2，生成更高质量、更逼真的图像。
事件概述
2022年4月，OpenAI 发布了 DALL·E 2。相比第一代，DALL·E 2 在图像分辨率、真实感和细节处理上都有显著提升。它使用扩散模型生成图像，分辨率从256×256提升到1024×1024，能够生成照片级逼真的图像。DALL·E 2 还支持图像编辑功能：可以在保持背景不变的情况下修改图像中的对象。这一发布引发了公众对生成式 AI 的广泛关注，展示了 AI 创意工具的巨大潜力。
深度学习笔记
背景、原理、影响与要点，一次读懂这个事件
背景与脉络
2022 年 4 月 6 日，OpenAI 发布 DALL·E 2（内部名 unCLIP）。相比 2021 年的自回归初代，它改用扩散模型架构，分辨率从 256×256 跃升到 1024×1024，生成质量与语义保真度大幅提升——官方人类偏好测试中，评估者在约 71% 的对比中更偏好 DALL·E 2 而非初代。更重要的是它带来了「编辑」能力：给定一张图与一段指令，可以在保持背景不变的前提下增删改对象（inpainting 与 outpainting），把生成式 AI 从「抽卡」推进到「可编辑创作」。发布策略上 OpenAI 采取了等待名单 + 分阶段开放，部分出于对滥用的谨慎——此时距 Stable Diffusion 开源还有四个月，整个图像生成赛道正处于爆发前夜。
核心要点
- 12022 年 4 月 6 日发布，从自回归 token 路线切换到扩散模型。
- 2分辨率提升到 1024×1024，人类偏好测试中约 71% 的对比胜初代。
- 3支持 inpainting 与 outpainting：局部编辑、扩展画布、保持背景一致。
- 4架构为 unCLIP：CLIP 图像嵌入先验 + 扩散解码器两阶段生成。
- 5采用等待名单制逐步开放，引发关于 AI 开放与安全的路线辩论。
原理与技术细节
DALL·E 2 的 unCLIP 架构分两级。先验模型（prior）是一个扩散模型或自回归模型，把文本的 CLIP 文本嵌入转换为图像的 CLIP 图像嵌入——这一步捕获「语义布局」，但分辨率低（64×64 潜空间）；解码器（decoder）是另一个扩散模型，以该图像嵌入为条件，生成最终的 1024×1024 图像——这一步负责「细节与真实感」。这种先验 + 解码的分工是后来众多图文生成系统的标准范式。编辑能力的实现同样依赖 CLIP：inpainting 时把原图的 CLIP 嵌入与被编辑区域的文本嵌入拼接为条件，让扩散过程只在指定区域重绘，其余像素由上下文约束保持一致。局限在于 CLIP 嵌入的信息瓶颈——它丢掉了文本精确绑定（例如「红立方体在蓝球左边」这类空间关系），这一缺陷直到后来的级联与注意力改进才被部分解决。
影响与后续
DALL·E 2 是扩散模型路线的「正名之作」：它用公开可体验的产品证明了扩散模型在图像生成上全面超越自回归 token 方案，此后 DALL·E 3、Imagen、Stable Diffusion 全线转向扩散（及其后继的 DiT/流匹配）架构。它的编辑能力定义了「生成式 AI 作为创作工具」的交互标准——从 Photoshop 的生成式填充到今天的图像 Agent，都沿用「指令 + 局部约束」的思路。它的发布策略也开启了「能力分级开放」的治理实践：OpenAI 以滥用风险为由控制访问，被批评为把公共技术收为私有优势，四个月后 Stable Diffusion 的开源正是对这一路线的直接回应——开放与封闭的路线之争从此成为生成式 AI 的主线之一。
学习要点
- 先验 + 解码的两级扩散架构在语义与画质之间取得了工程平衡。
- CLIP 嵌入既是条件桥梁也是信息瓶颈，精确空间关系是公认难点。
- 从「生成」到「编辑」是工具化的关键一跃，局部约束是核心交互。
- 能力分级开放是模型治理的原型实践，也催生了开源阵营的对冲。
术语表
通过学习逆转加噪过程来生成数据的模型家族，2022 年后成为图像生成的主流架构。
在给定图像的指定区域内重绘（inpainting）或向画布外扩展生成（outpainting）的编辑技术。
DALL·E 2 的内部架构名：先用模型生成 CLIP 图像嵌入，再用扩散解码器还原为像素。