生成模型

一个要求,怎样产生多个合理结果?

一个器形镂空模版展开为三个不同的完整器物,蓝色结构由金色纸带连接。

生成模型

左右滑动查看完整图解 ↔

放大阅读图解 ↗

本讲目录

封面与60页正文

开篇:从任务到可能性

自回归与VAE:逐步决定与潜表示

GAN:反馈、约束与编辑

扩散及延展:从局部改进到跨段生成

World Model、语言与全课回收

本页说明

学习材料

看起来有空,杯子真的过得去吗?

上一页说避碰不能丢掉关键边缘。现在把杯子沿一条路线移动:杯身中心没有碰到挡板,为什么还会失败?因为杯子不是一个没有体积的点:杯身有自己的尺寸,杯柄还伸出了杯身。中心线与障碍不相交,只说明一个点通过了,还没有检查整只杯子占据的空间。

随着杯子向前移动,杯身与杯柄扫过一片区域。只要其中一部分与挡板重合,物体就可能发生接触。绕行路线的意义,是给这个完整形状留出净空,而不只是让中心点画出一条好看的曲线。观察视角、尺度以及遮挡都会影响我们能否正确判断这一关系;俯视图可以帮助看几何,但画面本身仍不能替代准确尺寸。

目标区杯体与杯柄都要过缝杯子轮廓确实碰到边缘绕行通道要给整个杯子留净空
杯柄也占空间;中心轨迹避开障碍,不能证明整只杯子能通过。

“把杯柄转过去就能走直线了吗?”有时旋转确实会改变所需通道,但旋转过程本身也占空间,且可能受抓取方式限制。本页固定杯子的姿态来比较两条路径;改变姿态是在提出一个新动作,需要重新检查整个过程。

几何通过也不是所有行动问题的终点。同一通道保持不变,桌面出现水迹后,杯子受到推力会滑多远、何时停下,可能与原来不同。水迹是需要检查表面条件的线索,不能仅凭它的外观断言具体摩擦力或停止距离。空间可行性回答“放不放得下、会不会碰”,动态预测还要回答“施加动作后会怎样变化”。

“看起来空旷,为什么不能直接试一次强推?”因为通道与桌边限定了失败后果。我们可以先用已有几何排除明显碰撞,再选择能获得所需信息的动作。这里重点不是设计一套真实机器人控制器,而是辨认行动依赖了哪些条件。

下一页于是追问经验从哪里来:多拍几段杯子移动的视频,是否已经补上了动作量、表面差异和布局变化?不同数据增加的可能是完全不同的信息。

画面怎样推进

第1步

杯子包含杯柄,中心点能通过不能证明整个物体可通过。

打开这一停点

第2步

直穿的碰撞与绕行的净空,必须按完整形状及运动过程检查。

打开这一停点

第3步

水迹可能改变接触与停止结果;几何关系不变也不能保证动力学相同。

打开这一停点

学习材料

与当前画面直接相关

中心点通过了,为什么整只杯子仍会撞?

杯身有尺寸,杯柄还伸出外沿。沿路线移动时,完整形状会扫过一片空间;中心线不碰挡板,只证明一个点能通过,尚未检查杯柄、杯身与通道的净空。

旋转杯子可能改变通行宽度,但旋转过程也占空间,且受抓取约束限制。几何可行再与动态可控分开:湿桌面可能改变滑动,水迹只提示需要检查,不能直接读成某个摩擦系数或停止距离。

自检:固定姿态直线失败、绕行成功,能否推出旋转直线也成功?不能,这是需要重新检验的新动作。读完整形状与动态条件。

连续阅读

CLS 08 · 世界模型:状态、行动与反馈

按连续正文理解这条方法的训练信号、使用过程与算例;数学与实践在相关问题旁展开。

先看:第8章,从对象和问题开始

阅读与实践

LAB 10 · 一次行动怎样改变判断

先写候选对同一动作的不同预测,再读独立环境返回的观察;用历史更新下一步选择。

先看:先看保存结果与读图解释

在 Deepnote 阅读与运行

相关材料

CLS 00 · 第四讲材料导读

把通道净空和接触动态分开,说明还缺几何、材质还是动作经验。

先看:视频、交互与空间:需要保住哪些关系

来源与进一步阅读

From Words to Worlds: Spatial Intelligence is AI’s Next Frontier

将文中的空间主张对应到尺度、遮挡与接触三个具体问题,避免把空间智能缩成目标识别。

先看:空间关系与行动的讨论