生成模型

一个要求,怎样产生多个合理结果?

一个器形镂空模版展开为三个不同的完整器物,蓝色结构由金色纸带连接。

生成模型

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

封面与60页正文

开篇:从任务到可能性

自回归与VAE:逐步决定与潜表示

GAN:反馈、约束与编辑

扩散及延展:从局部改进到跨段生成

World Model、语言与全课回收

本页说明

学习材料

条件收紧了,答案为什么仍不唯一?

“窗边的一把红椅子”已经排除了很多东西,却仍没有规定椅子材质、朝向或拍摄时的光线。画面中的四个候选分别满足了部分相同要求;加入“木质、椅面朝向镜头”之后,金属候选 C 和侧向候选 D 被排除,A 与 B 仍然成立。

条件:窗边的红椅 · 木质 · 椅面朝向镜头A · 白昼B · 傍晚C · 金属排除:金属D · 侧向排除:侧向A、B 仍满足条件
木质与正面条件排除了C、D,没有排除光线不同的A、B。

A 是白昼,B 是傍晚。题目没有固定光照,所以本次选择 A,并不能证明 B 错了。要拒绝 B,应指出它违反了哪项条件,或者明确新增“白昼”这一要求。一个结果被选中,与其他结果不合法,是两种不同判断。

硬要求、偏好和未指定项也应分开:“必须木质”决定合格与否,“更喜欢暖光”用于比较合格候选,没说光线则暂不增加限制。条件写得更长不必然更好;若同时要求同一处完全透明又完全不透明,就需要先澄清冲突。

条件还可能改变候选的相对倾向,而不只是把它们删掉。例如新增场景信息后,某种照明更常见,但另一种照明依然可能。是否满足硬条件与模型更偏爱哪个候选,需要分开判断;画面只演示条件筛选,没有测量一个真实模型的概率。

这里还藏着三种常被混用的“不确定”。设计要求没有指定光照,是任务主动留下自由度;一张实物照片没拍到椅背,是我们缺少当前对象的信息;模型不熟悉某种椅子结构,则是它的知识或泛化不足。三者都可能导致不同回答,但解决办法不同:有的允许保留多解,有的需要补观察,有的需要改善数据或模型。

“换个随机种子,能不能知道椅背有没有裂痕?” 不能。随机数可以从模型已考虑的候选里作一次选择,却没有给这把实物增加一次观察。生成许多无裂痕图片,也不能替代检查椅背。

因此,读一个生成结果时,先问哪些属性被条件固定,哪些变化仍被允许。下一页从一把椅子改成一双鞋:两个部件各自合法,它们的组合还会增加什么约束?

画面怎样推进

第1步

窗边红椅这一条件仍容许不同材质、朝向与光线。

打开这一停点

第2步

增加木质和正面条件后,金属与侧向候选被排除;光照未固定,A、B仍成立。

打开这一停点

第3步

本次选择A没有证明B不合法;选择偏好与硬条件检验不同。

打开这一停点

学习材料

与当前画面直接相关

多一个条件,删掉哪些候选,留下哪些自由?

把“红椅子”逐项变为“木质、椅面朝向镜头的红椅子”。金属椅因材质被排除,侧向椅因朝向被排除;白昼和傍晚两把木椅仍可同时满足要求。只有再明确“白昼”,傍晚候选才违反条件。偏好暖光可以帮助选择,却不能悄悄改写合格范围。

自检:没有看见实物椅背,连续生成十张完好椅背,能否判定它没有裂痕?不能。设计任务留下的自由度允许多解;实物信息缺失需要补观察。换种子只换了一次候选,没有给这把椅子增加证据。

继续读:条件允许多解,也排除结果 · 区分三种不确定

连续阅读

CLS 01 · 从条件多解到生成目标

按连续正文理解这条方法的训练信号、使用过程与算例;数学与实践在相关问题旁展开。

先看:第1章,从对象和问题开始

阅读与实践

LAB 01 · 自回归:联合概率、贪心与温度

先读本册保存结果,再按实现顺序核对一个算例;最后只改一个变量。

先看:先看保存结果与读图解释

在 Deepnote 阅读与运行

相关材料

LAB06 · 实际文生图与编辑

先看保存图阵、输入和参数,再只改一个变量。

先看:文生图单变量对照;img2img与固定遮罩编辑

LAB06 · Deepnote与可选重算

读取实际运行范围,下载同源Notebook并选择是否重算。

先看:先看保存结果与运行记录

来源与进一步阅读

Introduction

选择一种与你研究有关的条件输入,逐项标记固定了什么、还允许什么变化。

先看:第38–50页:把任务写成条件生成