图像也可以按顺序生成。先有一部分颜色或图块，再在已生成部分的条件下确定下一部分；自回归没有规定输出一定是文字。困难在于，高分辨率图像包含很多位置，逐个处理会形成很长的序列。

一种办法是先学习更紧凑的视觉表示：编码器把图像变成较短的表示，解码器再把表示展开成图像。自回归模型随后学习这些表示怎样组合，生成新的表示序列，再交给解码器。这里其实有两项学习任务：怎样压缩并还原，怎样构造新的合理组合。

画面用同一杯子分开检查两种错误。第一项从原图出发，经编码、解码回到重建图；若细纹在这条往返路径里已经变粗，就说明表示环节没有保住这些细节。第二项没有先编码原图，而是由生成器提供新表示；若新的组合把杯柄接断，错误发生在新组合的结构上，不能直接归给前一项压缩损失。图里的小网格用短线把相邻表示的连接关系画出来，错位在解码之前已经可见；右侧照片展示对应的断柄错误类型。这是一种关系示意，并不是说真实模型的每个潜变量都能直接读成一段杯柄。

“解码器能把每个局部都画出来，为什么还会断柄？” 因为相邻部件还要在边界上接合。能解码某一块，不代表任意两块都相容。这个问题与鞋例相通，只是约束从同色变成了图块之间的连接关系。生成表示的模型仍须学习这些关系。

压缩也不是无代价的加速。已经从表示里丢失的文字笔画或纹理，后面即使能补出自然细节，也不能保证那就是原图真实细节。因此，评价一套系统时，先检查重建保留了什么，再检查新表示是否合理，最后检查端到端任务；这样才能知道应改哪个环节。

视觉 token 也不必理解为照片里天然存在的单词；它是人为选择或学习得到的表示单元。N19 会解释离散编号如何查回表示，后面还会看到不先量化成离散编号的生成路线。

先回到文字：除了新部分彼此接得上，生成内容还必须接住原任务。下一页看一句很顺却违背照片的描述。