刚才的视频任务给定几帧图像，再生成后续画面。条件也可以来自语言。例如一句“桌面上，红杯在梨的左边”，就给出了对象、颜色和相对位置；杯口多圆、杯柄多弯、桌面光照多亮，还没有被完全指定。

因此，两张图采用不同杯形，并不必然说明模型没听懂。先看它们是否都保持了红杯与梨的左右关系，再问杯形是否属于本次允许变化的部分。这回到了开篇的多解问题：条件可以排除一些结果，却不一定选定唯一结果。

把方向反过来，同一张照片也可以成为输入，模型输出文字。“红杯在梨左边”和“梨的左边放着一个红杯”可以描述同一关系。图像里具体的反光、阴影没有全部进入文字，说明描述本身也在选择哪些信息与当前问题有关。图生文与文生图交换了条件和结果的角色，并不因此成为互相精确可逆的操作。

“先看图写一句话，再由这句话生成图，为什么不能恢复原图？”因为那句话通常丢掉了许多原图细节。另一张符合文字的图可能是合格生成，却不是原图的重建。若任务要求恢复同一张图，就需要更多条件，并使用相应证据检查。

文字还可以继续作为声音生成的条件。例如“杯子放到桌上的清脆碰撞声”规定了声音事件，却没有指定唯一波形。但这里应分清研究对象：UniDiffuser 探索图像和文字之间的联合及条件生成；AudioLDM 是文字到音频的另一条研究路线。把两种入口放在同一页，是比较条件关系，不是宣称一篇论文中的同一个系统已经完成图像、文字、声音的一切转换。

统一网络和训练接口，不保证每个方向的能力或质量相同，仍需分别评价。

不同模态甚至可以处于不同的信息完整度：图像条件很清楚，文字部分尚待恢复；或文字给定，图像从不确定状态生成。此处的扰动等级表示信息受损程度，不是图像、文字或声音在现实中发生的先后时间。理解多模态首先要问“哪一部分已知、哪一部分要生成”，再研究具体网络。接下来只保留语言一端：既然图像能通过破坏再恢复学习，能不能把词藏起来，主动制造语言训练题？