13.8倍吞吐提升！浙大上海AI Lab等提出视觉生成新范式

摘要：来自浙大、上海AI Lab等机构的研究人员提出了一种全新的视觉生成范式——邻近自回归建模（Neighboring Autoregressive Modeling, NAR）。与传统的“下一个token预测”不同，NAR模型采用了“下一个邻域预测”的机制，将视觉

NAR团队投稿

在图像/视频生成任务中，传统的“下一个token预测”方法正面临严重的效率瓶颈。

怎么办？

来自浙大、上海AI Lab等机构的研究人员提出了一种全新的视觉生成范式——邻近自回归建模（Neighboring Autoregressive Modeling, NAR）。与传统的“下一个token预测”不同，NAR模型采用了“下一个邻域预测”的机制，将视觉生成过程视为一种逐步扩展的“外绘”过程。

具体来说，NAR模型从初始token开始，按照与初始token的曼哈顿距离从小到大依次生成token。这种生成顺序不仅保留了视觉内容的空间和时间局部性，还允许模型在生成过程中并行预测多个相邻的token。

为了实现这一点，研究人员引入了维度导向的解码头，每个头负责在空间或时间的一个正交维度上预测下一个token。

通过这种方式，NAR模型能够在每一步中并行生成多个token，从而大幅减少了生成所需的模型前向计算步骤。

下面具体来看。

在当今的AI领域，视觉生成任务（如图像和视频生成）正变得越来越重要。无论是生成逼真的图像，还是创造连贯的视频，AI模型的表现都在不断提升。

然而，现有的视觉生成模型，尤其是基于自回归（Autoregressive, AR）的模型，面临着严重的效率瓶颈。

传统的自回归模型通常采用“下一个token预测”的范式，即按照光栅顺序逐个生成图像或视频的token。这种方法虽然简单直观，但在生成高分辨率图像或长视频时，模型需要进行数千次甚至数万次的前向计算，导致生成速度极其缓慢。

更糟糕的是，现有的加速方法往往以牺牲生成质量为代价。

例如，一些方法尝试通过并行生成多个token来提高效率，但由于邻近图像token之间的强相关性以及上下文信息的缺失，这种方法容易导致生成质量下降。

因此，如何在保持高质量生成的同时，大幅提升生成效率，成为了视觉生成领域的一个关键挑战。

为了解决上述问题，研究人员提出了邻近自回归建模（NAR）。

正如一开头提到的，通过引入维度导向的解码头，使每个头负责在空间或时间的一个正交维度上预测下一个token，最终让NAR模型能够在每一步中并行生成多个token，从而大幅减少了生成所需的模型前向计算步骤。

值得一提的是，维度导向的解码头设计非常灵活，能够轻松扩展到更高维的视觉内容生成。

例如，在视频生成任务中，视频可以被视为三维数据（时间、行、列），NAR模型只需增加一个时间维度的解码头，即可在时间、行、列三个正交维度上并行生成token。

对于由 t×n×n 个token表示的视频，NAR模型仅需 2n+t−2 步即可完成生成过程，远远少于传统“下一个token预测”模型所需的 tn2 步。

这一显著的效率提升使得NAR模型在处理高分辨率视频生成任务时具有极大的优势。

研究人员在多个视觉生成任务上对NAR模型进行了全面评估，实验结果令人振奋：

1、类别图像生成

在ImageNet 256×256数据集上，拥有372M参数的NAR-L取得了比拥有1.4B参数的LlamaGen-XXL更低的FID（3.06 vs. 3.09），同时将生成步数减少了87.8%并带来了13.8倍的吞吐提升(195.4 images/s vs. 14.1 images/s)。

与VAR-d16模型相比，NAR-M取得了更低的FID的同时（3.27 vs. 3.30），能带来92%的吞吐提升（248.5 images/s vs. 129.3 images/s）。

这说明与现有的自回归生成方法相比，NAR模型在生成效率和质量上均取得了显著提升。

2、类别视频生成

在UCF-101数据集上，NAR模型相比基于“下一个词预测”（next-token prediction）的自回归模型在生成步骤上减少了97.3%。

相比并行解码方法PAR，NAR在FVD更低的同时将吞吐提升了8.6倍。

这得益于NAR模型在时间维度上的并行生成能力，确保了视频帧之间的连贯性和高质量生成。

3、文本到图像生成

在GenEval基准测试中，NAR模型仅使用了0.4%的训练数据（6M）便获得了和Stable Diffusion v1.5相持平的综合得分。

与参数量更大且拥有1.4B训练数据的Chameleon-7B模型相比，NAR的综合得分更高（0.43 vs. 0.39）且将吞吐率提高了166倍。