AI 视频越来越逼真，生成它的算力却并不便宜。复杂的动作、连贯的镜头和细腻的画面，背后都需要大量计算。一旦进入批量制作，反复生成、修改和重试的开销便会累积，成为创作者与视频平台必须考虑的成本。
Agnes 开源的音视频生成模型 Agnes-Video-2.0-MoE 正是一次针对推理效率的技术探索：单张 H200 GPU 约 30 秒生成 5 秒视频，推理速度较稠密（Dense）模型提升约 20%，较同类 MoE 模型快 2 倍以上。
其做法是把 Dense 模型改造成 MoE 将容量做大，再以专家剪枝把实际计算做小。这为视频生成走向规模化生产趟出了一条降本的新路。
（MoE 模型案例）
要让视频表现更复杂的场景、动作和时序关系，模型需要更大的学习与表达容量。但如果只是把原有模型做大，通常也会增加每次生成视频所需的计算量。Agnes 选择从已有模型入手，通过 MoE 改造，探索扩大容量与控制计算规模的另一种路径。
MoE，也就是混合专家架构。可以把其中的“专家”理解为模型内部可供选择的处理网络：由路由机制将待处理的信息分配给不同专家，让模型在扩大容量的同时，控制实际计算规模。
在 Agnes 的研究中，团队以约 153 亿参数的 DaVinci-MagiHuman 预训练音视频生成模型为基础。这是一个 Dense 模型。改造前，模型中的相关计算模块各只有一个网络，负责处理分配给它的信息。
研究团队保留模型的大部分结构，把 40 层网络中间 32 层的部分计算模块，各自扩展成包含三个专家网络的模块。三个专家各有自己的参数，可以在训练中形成不同的处理方式，为学习场景、运动规律和时序关系提供更大的空间。处理信息时，路由机制只从三个专家中选择一个参与计算。这就像一家诊所把一位全科医生扩充成三位各有所长的专科医生，诊所整体的“潜力”由此变大。
——
本文节选自 品玩 的《Dense 改 MoE、剪枝再提速：Agnes 开源 287 亿参数音视频生成模型》，原文链接：https://www.pingwest.com/a/318306
