生成模型

一个要求,怎样产生多个合理结果?

一个器形镂空模版展开为三个不同的完整器物,蓝色结构由金色纸带连接。

生成模型

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

封面与60页正文

开篇:从任务到可能性

自回归与VAE:逐步决定与潜表示

GAN:反馈、约束与编辑

扩散及延展:从局部改进到跨段生成

World Model、语言与全课回收

本页说明

学习材料

想跨过中间步骤,模型需要学会什么?

上一页学习当前位置的运动方向。若想减少调用,只把中间几张图从屏幕上删掉没有用;模型必须学到足以支持长距离更新的关系。这里比较两种不同的学习任务。

第一种把同一条生成轨迹上不同阶段的状态,都映射到一致的数据端点。想象沿同一条路站在三个位置,问“沿这条路最后到哪里”,答案应相容。Yang Song、Prafulla Dhariwal、Mark Chen 与 Ilya Sutskever 的 Consistency Models 研究这类跨阶段一致性,以支持一步或少步生成。

“不同阶段都指向同一张图,岂不是所有噪声都只能生成它?” 约束比较的是同一轨迹上的阶段。另一条轨迹可以通向另一张图;没有要求所有随机起点共享同一个终点。这项“同轨迹终点”约束,也不能直接替换成普通受损图监督下所有合理干净来处的条件平均;两者定义的学习关系不同。若不区分“同一路上的位置”和“全体样本”,就会把一致性误读成模式坍缩。

还要问谁提供路线关系。一致性蒸馏可以利用预训练扩散模型;直接一致性训练则从数据与相邻噪声阶段构造训练关系。直接训练没有现成教师,不等于不需要目标分支、边界条件或稳定的训练设计。这两条路线的前置成本与监督来源应分开说明。

第二种把“这次要跨多远”直接交给模型。Shortcut Models 由 Kevin Frans、Danijar Hafner、Sergey Levine 与 Pieter Abbeel 提出:对同一起点,比较一次大跨度更新与连续两次半跨度更新的结果是否相容,并以小步的方向监督作为基础。跨度改变时,网络回答的任务也改变;不是把同一个局部箭头机械乘大。

把“跨多远”也作为输入同一起点网络 + 大跨度一大步端点半步中间态两半步端点比较端点Shortcut当前表示→模型预测→更新规则→下一状态跨区间一致性
跨度进入网络任务;大步结果与两半步结果接受相容性比较。

“用模型自己的小步结果教大步,会不会把错误一起学进去?” 这是需要关注的风险。组合一致性使不同步长之间相互约束,却不能凭空保证小步方向已经正确。因此数据提供的基础监督、训练过程与最终样本评价都仍然重要。课堂箭头解释的是约束,不能据它宣布某个一步结果已经与多步质量相同。

下一页再比较一种跨段预测对象:不只询问终点或步长相容,而是直接学习指定区间上的平均变化。

同一生成循环,本页改变跨区间一致性

当前表示 → 模型预测 → 更新规则 → 下一状态 跨区间一致性

画面怎样推进

第1步

减少显示帧并不减少计算,跨段生成需要相应学习能力。

打开这一停点

第2步

Consistency要求同一轨迹上不同阶段指向相容终点,不把全部起点绑定到同一图。

打开这一停点

第3步

Shortcut把跨度作为输入,比较一次大步和连续两半步的终点相容性。

打开这一停点

学习材料

与当前画面直接相关

“同一终点”约束的是一条轨迹,还是所有样本?

假设路线A的两个阶段都应通向一张红杯,路线B则通向另一张蓝杯。Consistency比较路线A内部不同阶段的终点是否相容,并不要求A与B共享一张图。数据端边界条件还要保证已到达数据时保留其结果;只有一致性、没有边界和监督,也可能得到无用常数。

Shortcut另问一次大跨度与连续两个半跨度是否协调,并把跨度交给网络。若半步方向已经错了,大步与它一致仍会错;因此基础方向监督和最终分布检查不能撤掉。蒸馏与直接训练的路线关系来源不同,也要分别读清。

接着读:跨阶段一致性与跨度学习。

连续阅读

CLS 05 · 扩散:训练、采样与少步生成

按连续正文理解这条方法的训练信号、使用过程与算例;数学与实践在相关问题旁展开。

先看:第5章,从对象和问题开始

阅读与实践

LAB 09 · 学得去噪器与完整采样

固定初始噪声,仅改采样步数;把网络近似误差与数值步进误差分开。

先看:先看保存结果与读图解释

在 Deepnote 阅读与运行

LAB 05 · 扩散的条件均值与流积分

先读本册保存结果,再按实现顺序核对一个算例;最后只改一个变量。

先看:先看保存结果与读图解释

在 Deepnote 阅读与运行

来源与进一步阅读

Consistency Models

把一致性蒸馏和直接训练分开,找出各自的路线信息与训练目标来自哪里。

先看:第3节与第4节

One Step Diffusion via Shortcut Models

追踪步长条件、一大步和两半步相容性,理解它与局部速度监督的关系。

先看:第3节及图2、图3