
<a id="n36-title"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-title)


# 到底让网络学着预测什么？

王德泉 · Coding with AI · Lecture 04


<a id="n36-001d5c0b8970"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-001d5c0b8970)

受损红杯图与当前难度不变，右侧却可以提出三种问题：加进去的扰动是什么？干净图大概是什么？接下来应怎样变化？这不是把三种名字贴到同一张结果上，而是决定网络直接输出哪一种量，再怎样计算损失和采样更新。


[课程图解] 同一个受损输入可以对应不同预测任务；先明确答案对象，再讨论换算与训练。；图中标签与关系：同一受损输入 预测器 噪声 干净图 变化提示 可选择不同预测目标，训练目标随之改变 当前表示 → 模型预测 → 更新规则 → 下一状态 预测目标
同一个受损输入可以对应不同预测任务；先明确答案对象，再讨论换算与训练。


<a id="n36-67d902213b8e"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-67d902213b8e)

在已知加噪关系和相应条件下，预测噪声与预测干净图可以互相转换。例如已知当前图由原图与扰动按给定比例组成，估计出其中一项就能代入关系求另一项。但“可以换算”不等于有限网络同样容易学。变换会改变误差的尺度，不同难度的权重也可能变化；如果某个系数接近零，数值处理还需额外注意。网络容量、时间抽样、损失权重和训练预算都会影响最终结果。


<a id="n36-6bd3bcbc5a1f"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-6bd3bcbc5a1f)

**学生问：“理论表达相通，为什么还值得研究预测目标？”** 因为优化的是一个具体、有限的学习系统。让同一个学生写完整图案，和让他逐点记录干扰图案，可以通过已知关系互相推算，却可能要求保留不同的信息。数学关系提供可比较的原则，没有替实际学习难度作答。


<a id="n36-b7e160c6cf87"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-b7e160c6cf87)

[JiT 的研究](https://arxiv.org/html/2511.13720v2)由 Tianhong Li 与 Kaiming He 提出，重新检验直接预测干净图的价值：在自然数据具有低维结构的假设下，干净图与高维噪声对有限网络的信息要求可能不同。它将这个问题放在大 patch 的像素 Transformer 中检验。这里应分清“网络直接预测什么”“在哪个空间计算损失”“采样器使用什么量”，不能把三者混为一个标签。像素与潜在空间的优劣比较，还要受分辨率、网络容量与训练预算约束，不能把特定设置的结果外推到所有任务。


<a id="n36-6847adad6cc3"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-6847adad6cc3)

**“网络已经预测干净图，为什么还要回到更新回路？”** 这是一张由当前受损输入估计出的干净图，不自动等于最终一次交付。JiT 的采样仍结合状态与预测形成更新并重复调用；原文默认使用多步 Heun 求解。因此 JiT 本身不应被归成“一步生成”，直接预测干净图也不是论文首次发明的概念。


<a id="n36-48ae4507d4bb"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-48ae4507d4bb)

训练目标还决定有限资源被分配到哪些问题：经常采样的难度、较大权重的误差，会更强地影响训练。概率建模的原则与具体训练配方需要一起看，不能只看一个公式变形就宣布实现等效。


<a id="n36-1838161540eb"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-1838161540eb)

下一页选择“变化方向”继续展开：怎样用许多起点和数据端点构造训练关系，让一个共享预测器学会搬运一整群样本？


<a id="n36-process-key"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-process-key)


## 同一生成循环，本页改变预测目标

当前表示 → 模型预测 → 更新规则 → 下一状态 预测目标


<a id="n36-states"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-states)


## 画面怎样推进


<a id="n36-b0"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-b0)

相同受损输入可以要求网络预测噪声、干净图或变化量。

[返回这一课堂停点](https://codingai-lec04.pages.dev/classroom/N36.html?step=b0)


<a id="n36-b1"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-b1)

目标可转换并不保证容量、损失权重和有限训练条件下同样易学。

[返回这一课堂停点](https://codingai-lec04.pages.dev/classroom/N36.html?step=b1)


<a id="n36-b2"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-b2)

JiT直接预测干净图并研究像素Transformer；预测之后仍经更新与重复调用，不等于一步生成。

[返回这一课堂停点](https://codingai-lec04.pages.dev/classroom/N36.html?step=b2)


<a id="n36-materials"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-materials)


## 继续阅读与实验


<a id="n36-learning-unit-001"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-learning-unit-001)


## 能换算的预测目标，为什么未必同样好学？


<a id="n36-learning-unit-002"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-learning-unit-002)

关系xₜ=a x₀+σ ε给出：干净值误差=−(σ/a)×噪声预测误差。若噪声误差都是0.1，a=0.8、σ=0.6时，干净误差为−0.075；若a=0.1、σ≈0.995，则约−0.995。相同噪声误差在不同难度上，对干净结果的影响可以相差很多。


<a id="n36-learning-unit-003"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-learning-unit-003)

因此直接预测哪种量、在哪个空间计分、如何加时间权重，是关联但不同的决定；两种未加权MSE不会因代数可换算就等效。JiT重新检验有限网络下的干净图预测，仍使用多步求解，不能把“输出干净估计”当成“一步生成”。


<a id="n36-learning-unit-004"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-learning-unit-004)

接着读：[误差换算与损失权重](https://codingai-lec04.pages.dev/lecture.html#ch05-objective)及[JiT改变的具体问题](https://codingai-lec04.pages.dev/lecture.html#ch05-u0022)。


<a id="n36-chapter-reading"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-chapter-reading)


### [CLS 05 · 扩散：训练、采样与少步生成](https://codingai-lec04.pages.dev/lecture.html#ch05)

按连续正文理解这条方法的训练信号、使用过程与算例；数学与实践在相关问题旁展开。

先看：第5章，从对象和问题开始


<a id="n36-lab09-practice"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-lab09-practice)


### [LAB 09 · 学得去噪器与完整采样](https://codingai-lec04.pages.dev/course/notebooks/e6fcbdfe3ca2418c9ed09344b4ae2b33.html)

固定初始噪声，仅改采样步数；把网络近似误差与数值步进误差分开。

先看：先看保存结果与读图解释


<a id="n36-lab05-practice"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-lab05-practice)


### [LAB 05 · 扩散的条件均值与流积分](https://codingai-lec04.pages.dev/course/notebooks/be6db259db4f48478c7481ab51129971.html)

先读本册保存结果，再按实现顺序核对一个算例；最后只改一个变量。

先看：先看保存结果与读图解释


<a id="n36-material-1"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-material-1)


### [Back to Basics: Let Denoising Generative Models Denoise](https://arxiv.org/html/2511.13720v2)

区分prediction space、loss space和generator space；检查直接净图预测为何仍进入多步采样。

先看：第3节、第4.2节与采样算法


<a id="n36-material-2"></a>
[区块原文](https://codingai-lec04.pages.dev/course/N36.html#n36-material-2)


### [Diffusion Models](https://mit-6s978.github.io/assets/pdfs/lec5_diffusion.pdf)

沿不同预测参数化理解目标之间的关系，留意权重和有限训练配方。

先看：第25–57页