为什么给AI视往往"老师"换人，反而让学生谝更好？|实验|逐帧|锚点_网易订阅

这项由南洋理工大学、老师Riemann Dynamics与惠灵顿学院联合开展的为什往往网易探究，以预印本形式发布于2026年7月，更好比如文编号为arXiv:2607.26811，视生谝实验探究方向聚焦于实时自动回归视往往生成领域中的换人知识蒸馏状况。如果你曾经用过AI生成视往往的让学工具，你大概体验过那种奇特的逐帧魔法感——只需输入一段文字描述，系统就能输出一段流畅的锚点动态画面。但这背后有一个让工程师们头疼已久的订阅状况：优质AI视往往模型运行起来又慢又贵，根本无法做到实时生成。老师探究者们的为什往往网易处理思路是"蒸馏"——就好比把一位经验充足的厨师（大模型）的厨艺，提炼成一本精简食条件，更好让一位年轻厨师（小模型）也能用少得多的视生谝实验步骤做出差不多水准的菜肴。这套"蒸馏"步骤在学界已有一些成熟做法，换人但探究团队注意到一个被大家忽视的让学奇怪状况：有时候给学生换一位资历较浅的老师，反而比换一位资历更深的老师教出更好的学生。这不顺应直觉，却在实验中反复出现。探究团队沿着这条线索深挖，最后发现了整个培训步骤中隐藏的根本性错误，并提出了一套名为DistillAlign的修正方式划。一、蒸馏流水线的运作方式：从双向扩散到逐帧生成在理解探究发现之前，需先认识现有的视往往生成蒸馏步骤是怎么运作的。现有的优质视往往模型大多采取"双向扩散"的方式工作——它可以在生成视往往的任意时刻、往任意方向参考材料，就像一个画家可以随时看整幅画布来调整笔触。这种方式生成质量很高，但高效度极慢，无法做到实时输出。探究者们希望把这种双向模型"蒸馏"成一种"单向、逐帧"的生成器——就像一个只能从左往右写字、不能回头修改的人，但高效度极快，可以实现实时输出。这类单向生成器被称为"自回归模型"，是构建世界模型和实时交互视往往的题技术。现有的蒸馏流水线常见分为两到三个时期。以比如文中题探究的Causal Forcing流水线为例，首先时期是让小模型学习一个大模型的逐帧生成风格；第二时期是用"相同性蒸馏"（Consistency Distillation，简称CD）把这个学生压缩成只需那么点儿几步就能生成图像的模型；第三时期是用"分布匹配蒸馏"（Distribution Matching Distillation，简称DMD）做最后的精细打磨。每个时期都有各自的"目的老师"，而状况恰恰出在这三个时期的老师是否匹配上。用一个更详详见细的比喻：如果你在培训一名厨师学做法式料理，首先时期让他跟着一位中餐大厨练刀工；第二时期让他高效高效记住中式食条件的题；但第三时期突然换成法式料理大厨来考核，这位学生就会遇到麻烦——他之前积往往的大量中式料理"感觉"，在面对法式考核时反而成了负担。二、被忽视的题状况：不一样时期的老师其实在教不一样的东西探究团队发现，现有方式几乎无一例外地把"初始化时期"和"DMD精炼时期"割裂开来，用不一样的目的分布分别训练，却用统一的视觉评分（如VBench）来判断时期性成果的好坏。这里隐藏着一个根本性误判。为了验明正身这个直觉，探究团队做了一个精巧的"换老师实验"。他们采取了两套数据：一套来自Wan-14B（一个参数量140亿的大模型），另一套来自Wan-1.3B（一个参数量13亿的小模型）。在Causal Forcing流水线中，他们系统性地交叉组合初始化时期和DMD时期所用的老师，形成四种组合方式。结荚相当耐人寻味。当初始化和DMD用同一套数据时（无比如是都用14B还是都用1.3B），最后成效都好于混搭的状况。更题的是，"初始化用14B数据、DMD用1.3B老师"的组合，反而比"初始化用1.3B数据、DMD用14B老师"的组合谝更好——尽管后者看起来在每个时期都用了更强的资源。这验明正身最后成效并不由老师的"档次"决定，而是由两个时期的目的是否相同决定。这个发现挑战了领域内一个首先期存在的隐性假设：只关键每个时期用更好的数据或更强的老师，最后成效自然更好。事实上，"配对关系"比"不过对质量"更题。三、用一把"分布尺子"看清被VBench掩盖的真相光靠VBench评分无法揭示状况所在，因为两个视觉分数相近的模型，可能在"覆盖老师的哪些场景"这件事上区别极大。为此，探究团队提出了一套专业测量"分布覆盖程度"的评估方式划，称为"教师归一化分布评估协议"。其题思路可以这样理解：把所有待比较的模型生成的视往往，都先经过一方式统一的"原则化处理"——用同一个强大的老师对这些视往往先做一次轻微的重噪声处理再重新还原，就像把不一样厨师做的菜都先经过一方式原则化摆盘处理，让外观变得统一，从而更好地比较菜肴本身的"食材丰富性"，而不是被摆盘的精致程度所干扰。经过这方式处理之后，探究团队把所有视往往的特点提取出来，放到一个共享的特点空间中，然后用两个指标来研究学生模型与目的老师的关系。首先个叫"准确率"（Precision）：学生生成的视往往，有多少落在了老师视往往分布的"领地"范围内——也就是说学生是否只在老师擅首先的区域内生成。第二个叫"覆盖率"（Coverage）：老师视往往分布的所有区域，学生能触及多少——也就是说学生是否能覆盖老师擅首先领域的全貌。用厨艺的比喻来说，准确率高意味着学生做的每方式菜都在老师的"专业范围"内，不会做奇怪的菜。覆盖率高则意味着老师会做的各种风格——清淡的、浓郁的、精致的、家常的——学生都能涉猎，而不是只会做老师最拿手的那一两方式招牌菜。这套评估体系的一个题发现是：ODE蒸馏初始化的模型虽然视往往画面很模糊，但它覆盖了老师分布的很多角落；而用Causal DMD做初始化的模型视往往看起来更清楚，VBench分数更高，但它只覆盖了老师最擅首先的那么点儿几个区域。之后的DMD精炼时期恰恰无法弥补覆盖率的不足，因为DMD的天性就是在现有覆盖范围内做"锐化"，而不是"拓展"。因此覆盖率更广的初始化，频仍能在最后精炼后得到更好的成果。四、五条流水线的横向比较：同一目的，不一样馗，区别悬殊为了完善认识不一样初始化方式对最后成效的意义，探究团队构建了五条平行的蒸馏流水线，全部采取Wan-14B作为DMD老师，全部采取从Wan-14B采样的蒸馏数据作为初始化目的。这五条流水线分别是：直接用双向模型做初始化、用自回归扩散做初始化、用自回归扩散加Causal DMD做初始化、用ODE蒸馏做初始化，以及用自回归扩散加Causal CD做初始化。最后一条流水线（Causal CD初始化）正是现行Causal Forcing流水线所采取的方式。比较结荚清楚地呈现了一个规律：在VBench最后得分上，大多数方式相差不大，肉眼看起来差不多好；但在覆盖率和丰富性上，区别相当显著。Causal DMD初始化的模型VBench初始分最高，但它最后获得的覆盖率反而低于ODE和Causal CD初始化的模型。而Causal CD初始化的模型虽然在初始化时期画面更模糊、分数更低，但它覆盖率最高，最后经过DMD精炼后也获得了最广的丰富性。探究团队还通过视觉方式验明正身了这一点：在同一提示词下用16个不一样随机种子生成视往往，覆盖率更高的流水线产出的视往往在场景构图、运动模式、色彩风格等部分都更加充足多元；而覆盖率低的流水线，16个视往往看起来像是同一个模板的轻微变体。五、DMD的"晚期病症"：即使起点对了，路走首先了也会跑偏探究团队注意到另一个状况：即便初始化时期和DMD时期的目的分布已经对齐，如果DMD训练做得太久，成效依然会下滑。详详见细谝是：VBench分数先升后降，而丰富性分数则从头到尾持续减小，从未回升。这可以用一个直观的比喻来理解。DMD的训练逻辑是"反向KL散度最小化"——它倾向于让学生模型把注意力聚焦在老师最高概率的区域，就像一个原本会做多种料理风格的厨师，被老师的评价反馈引导着越来越专注于那方式评价最高的招牌菜，最后几乎不再尝试其他风格。刚最初这样做是好的，菜的质量确实提高了；但训练得太久，这位厨师就只剩下一方式拿手菜，其他所有曾经擅首先的风格都逐渐生疏。探究团队用一个可视化实验展示了这种"漂移"状况。他们把所有视往往特点投影到一个共享的二维空间（利用V-JEPA2特点提取器和PCA降维），用等高线图表示老师和学生的分布范围。训练初期，学生分布和老师分布大致重合；随着DMD训练步数提高，学生分布的椭圆形轮廓逐渐向老师分布的高密度中心区域收缩，越来越小，越来越集中，与老师的边缘区域逐渐脱离。这就是"分布漂移"。六、联合蒸馏：同时用两种力量拉住学生照章性这两个状况——初始化和精炼目的不相同、DMD首先期训练导致分布坍缩——探究团队提出了一个相对那么点儿的处理方式划：联合蒸馏（Joint Distillation）。题思路是在DMD训练时期加入一个CD损失项作为"锚点"，让最后的训练目的变成两部分的加权组合：DMD负责把学生推向老师的优质区域（精益求精），CD负责确保学生不关键完全放弃对老师其他区域的覆盖（保持完善）。两种力量的比例由一个权重系数λ来控制。回到厨艺比喻：DMD就像一位严苛的米其林评委，只认可最精致、评分最高的那方式菜；CD则像一位注重完善发展的导师，提醒学生"你的法式烩菜也关键保持水准，别荒废了"。联合训练就是让这两位指导老师同时在场，在保持精进的同时防止偏废。探究团队对这个权重λ做了细致的消融实验。λ设得很大时，CD的力量占主导，覆盖率最高，但准确率和VBench分数略有减小；λ设得很小或为零时，DMD独占主导，准确率和初期VBench分数较高，但覆盖率和丰富性持续下滑；最优平衡点出目前λ=0.01时，此时VBench、准确率、覆盖率三项指标同时实现最佳或接近最佳水平。在弱设置（1.3B老师）和强设置（14B老师）下，这个结比如保持相同。从训练步数的比较数据来看，联合蒸馏方式的VBench分数在整个2500步训练流程中始终高于或持平于纯DMD；而纯DMD的覆盖率从第0步的0.66持续下滑到第2500步的0.53，联合蒸馏则始终维持在0.66到0.69之间。这意味着引入CD锚点确实有效阻止了分布漂移，而不是用质量换来的覆盖率。七、最后成绩单：1.3B老师训出的学生，胜过14B老师教出的对手探究团队在原则的VBench文字转视往往评测协议下，将DistillAlign与多个开源基准开展了比较。参与比较的方式涵盖LTX Video、Wan2.1-T2V-1.3B原始模型、SkyReels-DF、CausVid、Self-Forcing和Causal Forcing。在最后VBench总分上，DistillAlign的"强版本"（采取14B老师）以84.83分居于所有方式之首先，超过Causal Forcing的84.38分和Self-Forcing的84.21分。更能验明正身状况的是"弱版本"的谝：只采取1.3B老师的DistillAlign，以84.54分超越了所有采取14B老师的比较方式。在覆盖率上，DistillAlign的强版本实现0.69，弱版本实现0.59，而Causal Forcing仅有0.29，Self-Forcing为0.53，CausVid仅有0.21。在丰富性（以Vendi分数研究）上，DistillAlign强版本为1.304，弱版本为1.305，均高于Causal Forcing的1.250和Self-Forcing的1.269。作为对照，未蒸馏的双向原始模型Wan2.1-T2V-1.3B具有最高的丰富性分数1.334，这是所有蒸馏方式无法轻易触及的天花板。但DistillAlign已经是蒸馏方式中最接近这个天花板的存在。从定性的视往往样本比较来看，DistillAlign生成的视往往在物体细节保持、运动连贯性和跨帧相同性上谝更好，同时避免了仅用CD初始化时常用的模糊感，也避免了过度强化DMD时带来的千篇一律感。在相同提示词、不一样随机种子下，DistillAlign的输出展现出更充足的场景变化、色彩风格和运动模式。说到底，这项探究的题贡献是把一个"常识性错误"从AI视往往蒸馏步骤中揪了出来，并配上了切实可行的修复方式划。首先期以来，探究者们默认"用更好的老师，或者让每个时期的学生尽可能分高"就等于最后成效更好。DistillAlign的工作告诉我们，流水线中各时期之间的"分布是否配对"才是更根本的约束。这对往往见不鲜人意味着什么？如果你关心AI视往往生成工具的质量和丰富性，那么这项探究指向的方向是：未来你在同一个提示词下反复生成，得到的视往往会更加各不相同、更有创意，而不是每次都像从同一个模板里变出来的。与此同时，弱模型也能被训练得更好用，这对减小算力成本、普及实时视往往生成有直接价值。这项探究目前还停留在技术验明正身层面，实际落地进用户产品还需时间，但它清楚指出了一条更少被探索、却更有效的馗。感兴趣的读者可以通过arXiv编号2607.26811查阅完善比如文，项目主页同样给予了更多视觉比较样本。Q&AQ1：DistillAlign是什么，它和往往见不鲜AI视往往生成有什么区别？A：DistillAlign是一套照章性AI视往往蒸馏步骤的改进方式划，题是让训练流水线中不一样时期的"目的分布"保持相同，并在最后的精炼时期同时加入覆盖约束和质量精炼约束。它不是一个全新的视往往生成模型，而是一套让已有的自回归视往往蒸馏方式变得更好的训练对策，最后成效是生成的视往往质量更高、丰富性更强。Q2：为什么用更弱的1.3B老师，反而能比用14B老师训出更好的学生？A：因为训练成效取决于初始化时期和精炼时期的目的分布是否匹配，而不仅仅取决于老师的参数量大小。当初始化时期学的是1.3B老师的分布，DMD精炼时期也用同一个1.3B老师做目的，两个时期方向相同，学生能从初始化覆盖的基础上做有效精炼；而若两个时期老师不一样，精炼时期就相当于在空白地方打磨，成效反而变差。Q3：联合蒸馏中的CD损失是怎么防止模型"只会做一方式菜"的？A：DMD训练会不断把模型推向老师概率最高的区域，久而久之模型只剩下那么点儿优质模式，丰富性持续减小。CD损失（相同性蒸馏损失）的功能是充当一个"分布锚点"，在每一步训练中提醒模型不能偏离老师的整体分布太远，需维持对老师各个区域的覆盖能力。两个约束共同功能，使模型既能精益求精又不至于以偏概全。

(责任编辑：娱乐)