生成模型

一个要求,怎样产生多个合理结果?

一个器形镂空模版展开为三个不同的完整器物,蓝色结构由金色纸带连接。

生成模型

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

封面与60页正文

开篇:从任务到可能性

自回归与VAE:逐步决定与潜表示

GAN:反馈、约束与编辑

扩散及延展:从局部改进到跨段生成

World Model、语言与全课回收

本页说明

学习材料

四种生成路线,一套判断习惯

先不看方法名,观察结果怎样形成。一个过程逐次追加新的部分,把已确定内容作为后续条件;另一个从紧凑随机起点整体解码;还有一个生成器经过对抗反馈学习后直接成图;最后一个把同一状态反复更新,从不确定起点逐步形成结果。这里分别回收自回归、VAE、GAN 与扩散的典型组织方式。

已有部分接上新部分同一解码器取一个起点生成整体生成器随机输入一次成图看过程:你能辨认这四条路线吗?
先根据追加、解码、直接成图和反复更新辨认过程,再核对模型名称。

识别它们依赖的是过程证据,而不是终图风格。仅凭一张漂亮杯子图,通常无法可靠判断来自哪一家模型。训练时参与的部件也不一定在生成时继续参与:GAN 的判别器提供训练反馈,典型使用路径由生成器出图;VAE 的编码器帮助处理训练输入,随机生成则从先验起点进入解码器。扩散中的预测器与采样更新规则仍需分开,调用次数由完整生成过程决定。

“一套系统只能归在一个格子里吗?”不能这样理解这张地图。N20 说明解码器可以复用,N40 说明外层自回归与内层扩散可以合作。方法名描述特定部件或生成组织,复杂系统可能组合多条路线。先问每个部件负责什么,比强行给整体贴唯一标签更有用。

四条路线都可以接到同一组判断问题上。当前到底给了什么条件,结果中的哪些变化被允许;模型如何从起点形成完整候选,哪些部件关系必须协调;最后又用什么证据检查它是否完成任务?其中,训练记录、表示、模型、目标与使用时的生成规则各有作用。换掉一个部件,不会自动替其他环节完成工作。

“既然最后都要验证,知道机制还有什么用?”机制帮助我们提出更准确的故障解释:重建就丢了细节,和新组合才破坏结构不同;局部预测出了什么,和更新怎样把它变成样本不同;反馈看到了条件没有,也会改变训练能约束什么。验证不再只是评价好坏,而能指向该改哪一部分。

下一页不要求记住更多名称。请从这些关系里选一个仍不确定的问题,再找一条可能排除某种解释的新证据。课程地图只有进入这样的选择,才成为后续学习的工具。

画面怎样推进

第1步

按追加、解码、生成器成图与反复更新的过程辨认四条典型路线,终图外观不足以区分。

打开这一停点

第2步

名称对应过程后,统一追问条件、允许变化、产生方式与检验证据;部件可被复用和组合。

打开这一停点

学习材料

与当前画面直接相关

同一张好图,怎样追查生成过程与故障?

看过程:AR逐次追加,把已有输出作为条件;VAE从潜在起点解码;GAN生成器经过判别反馈训练后出图;扩散把预测接入更新规则,多次改变同一状态。单凭终图风格通常认不出这些机制,复杂系统还可能组合它们。

部件职责帮助定位错误:原图重建就丢杯柄,先查编码/解码;只有新组合破坏杯柄,再查生成分布与条件;局部预测有偏差与采样更新不合适,也需要不同对照。训练时的判别器或编码器,不必在每次生成时继续使用。

自检:只问“图好不好”还缺哪项认识?缺少错误在哪一环发生、下一项对照要改变什么。读四路线与故障定位。

连续阅读

CLS 08 · 世界模型:状态、行动与反馈

按连续正文理解这条方法的训练信号、使用过程与算例;数学与实践在相关问题旁展开。

先看:第8章,从对象和问题开始

阅读与实践

LAB 10 · 一次行动怎样改变判断

先写候选对同一动作的不同预测,再读独立环境返回的观察;用历史更新下一步选择。

先看:先看保存结果与读图解释

在 Deepnote 阅读与运行

来源与进一步阅读

Introduction

选一条不熟悉的路线对照训练与采样所需部件;用本课例子复述,不必一次推完所有公式。

先看:生成目标与模型路线概览