声明本文基于对论文《DiViCo: Disentangled Visual Token Compression for Efficient Large Vision-Language Model》Xin Wang, Zirui Pan, Hong Chen, Wenwu Zhu, IEEE Transactions on Circuits and Systems for Video Technology, 2025的完整阅读与个人理解撰写。文中所有解读均为笔者个人观点不保证与原文完全一致如有差异以原始论文为准。https://mn.cs.tsinghua.edu.cn/xinwang/PDF/papers/2025_DiViCo%20Disentangled%20Visual%20Token%20Compression%20for%20Efficient%20Large%20Vision%20Language%20Model.pdf摘要翻译大型视觉-语言模型LVLM通常使用大量视觉令牌来表示输入图像其中大多数令牌对最终性能贡献甚微却显著增加了计算开销。现有工作主要移除较不重要的视觉令牌或插入可训练层直接压缩视觉令牌导致丢失大量有用信息并削弱泛化能力。在本文中我们提出了一种新颖的DiViCo模块它首先基于平均注意力分数选择最重要的视觉令牌然后以解耦且变分的范式压缩隐藏在剩余令牌中的信息。DiViCo能够大幅减少视觉令牌数量同时将LVLM的性能保持在相当高的水平。我们进行了大量实验包括消融研究和可视化涉及多个骨干网络和各种真实世界数据集与多个最先进的基线进行比较以验证DiViCo的有效性。1 引言翻译大型视觉-语言模型LVLM在视觉理解任务中取得了显著进展例如视觉问答VQA、图像描述和视觉推理。这些模型通常将输入图像分割成多个视觉令牌并将它们与文本令牌一起馈入大型语言模型LLM进行跨模态理解。然而这种设计带来了巨大的计算开销因为视觉令牌的数量通常远多于文本令牌。例如LLaVA-v1.5将输入图像分割成576个视觉令牌而典型的文本输入仅包含几十个令牌。这种不平衡导致视觉令牌占据了大部分计算资源成为LVLM推理的瓶颈。为了缓解这一问题现有工作主要采用两种策略1令牌剪枝根据注意力分数或其他重要性度量移除较不重要的视觉令牌2令牌压缩通过可训练层如线性投影或池化减少视觉令牌的数量。然而这些方法存在明显缺陷令牌剪枝直接丢弃大量视觉信息而令牌压缩则将所有令牌混合在一起导致信息混淆和泛化能力下降。在本文中我们提出DiViCo解耦视觉令牌压缩一种新颖的模块旨在高效压缩视觉令牌同时最大限度地保留有用信息。DiViCo的核心思想是解耦重要令牌和剩余令牌的信息并采用变分编码器对剩余令牌进行压缩。具体而言DiViCo首先基于平均注意力分数选择最重要的视觉令牌然后使用变分编码器压缩剩余令牌中的信息最后将压缩后的信息与重要令牌拼接作为LLM的输入。这种方法不仅减少了视觉令牌的数量还保留了原始视觉信号中的丰富信息。我们的主要贡献如下我们提出DiViCo一种新颖的视觉令牌压缩模块它通过解耦重要令牌和剩余令牌的信息并采用变分编码器进行压缩实现了高效且有效的视觉令牌压缩。我们设计了自适应视觉令牌选择机制基于平均注意力分数动态选择最重要的视觉令牌确保关键信息不被丢失。我们引入解耦变分编码器将剩余令牌中的信息压缩为低维潜在表示并通过KL散度损失确保潜在空间的解耦性。我们在多个真实世界数据集上进行了广泛的实验包括TextVQA、Pope、MMBench、MME等结果表明DiViCo在保持高准确率的同时显著减少了计算开销。我们提供了详细的消融研究和可视化分析验证了DiViCo各组件的重要性及其在噪声鲁棒性、解耦性和注意力分布方面的优势。2 相关工作翻译2.1 大型视觉-语言模型大型视觉-语言模型LVLM通过将视觉编码器如CLIP、ViT与大型语言模型LLM结合实现了强大的跨模态理解能力。代表性工作包括LLaVA、BLIP-2、Flamingo、Qwen-VL等。这些模型通常将输入图像分割成多个视觉令牌并通过投影层将视觉特征对齐到文本嵌入空间。然而视觉令牌的数量通常远多于文本令牌导致计算开销巨大。例如LLaVA-v1.5使用CLIP-ViT-L/14将输入图像编码为576个视觉令牌而典型的文本输入仅包含几十个令牌。这种不平衡使得视觉令牌成为LVLM推理的主要瓶颈。2.2 变分编码器变分自编码器VAE是一种生成模型通过学习数据的潜在分布来实现高效的数据表示。VAE由编码器和解码器组成编码器将输入数据映射到潜在空间的均值和方差解码器从潜在分布中采样并重构输入数据。VAE通过KL散度损失鼓励潜在分布接近标准高斯分布从而实现解耦表示。在本文中我们借鉴VAE的思想设计了解耦变分编码器用于压缩剩余视觉令牌中的信息。与传统的VAE不同我们的编码器仅用于压缩而不进行重构因为我们不需要重构原始视觉令牌而是希望将压缩后的信息传递给LLM。2.3 视觉-语言模型的视觉压缩现有工作主要采用两种策略压缩视觉令牌令牌剪枝和令牌压缩。令牌剪枝方法根据注意力分数或其他重要性度量移除较不重要的视觉令牌。例如FastV根据先前层的注意力分数对视觉令牌排序之后注意力分数较低的令牌在后续解码器层中被丢弃。ToMe基于视觉令牌和文本之间的相关性进行令牌剪枝并通过二分软匹配算法融合两种模态。这两个是令牌缩减的开创性工作。最近SparseVLM利用文本令牌的指导自适应地根据解码器层间的相关性剪枝视觉令牌。尽管它采用了令牌回收策略从删除池中检索令牌但相关性较低的令牌仍然会被毫无疑问地丢弃。对于后者DeCo利用平均池化层在图像块级别对输入视觉信号进行下采样并重新训练线性投影器使压缩信息适应LLM。LLaVA-Prumerge基于与类别令牌的相关性采样重要的视觉令牌然后通过k近邻围绕某些中心进行聚类得到压缩表示。Llama-vid使用平均池化和线性投影器压缩视觉信号并进一步在文本域的指导下聚合压缩信息。可以看出它们采用的压缩策略可能会引入大量不可逆的信息损失许多视觉令牌被直接丢弃或间接压缩。此外不同的视觉信号如图像或视频在这些压缩策略下可能变得无法区分因为它们本质上是高维空间到低维空间的投影从而降低了LVLM的泛化性。3 所提出的DiViCo模块翻译在本节中我们首先介绍一些预备知识即注意力机制、KL散度和LVLM的基本知识然后描述所提出的DiViCo模块的具体实现细节包括自适应令牌选择和解耦压缩。我们进一步提供了完整的训练流程和理论复杂度分析。DiViCo的整体框架及其在LVLM中的集成如图2所示。3.1 预备知识3.1.1 LVLM中的注意力机制典型LVLM中的Transformer层采用因果自注意力设计。对于单头实现使用查询和键计算注意力矩阵其中和分别表示所有令牌的数量和维度。之后值矩阵将使用中的相应权重进行聚合形式化地对于自注意力它接受相同的嵌入EE作为输入然后通过线性投影将其转换为三个矩阵并输入到注意力层如下所示其中投影矩阵、和可以使注意力机制更加灵活。在DiViCo中我们利用现有的自注意力矩阵来发现最重要的视觉令牌即那些获得最高平均注意力分数的令牌。【解读】注意力机制本质上是计算每个令牌与其他令牌的相关性权重然后加权求和。DiViCo直接使用现成的注意力权重无需额外计算。3.1.2 KL散度损失KL散度损失是统计学中一种度量以比特为单位量化概率分布与模型分布之间的接近程度形式化地是非负的当且仅当两个分布完全相同时。KL散度损失广泛用于变分自编码器VAE。特别地如果我们选择满足的先验则惩罚散度将鼓励中各维度即之间的解耦。【解读】散度在这里充当“审查官”强制压缩后的信息各维度独立避免冗余提高信息密度。3.1.3 大型视觉-语言模型LVLM大型视觉-语言模型近年来兴起并在复杂多模态任务中取得了巨大成功。当前方法通常采用预训练-微调-预测范式即LVLM首先在大规模图像-文本或视频-文本对上进行预训练并进一步针对视觉问答等特定任务进行微调以学习视觉信号与文本之间的相关性。对于典型的LVLM视觉信号和文本将被分别编码为一组令牌I和然后拼接在一起馈入相应的LLM后者通常采用仅解码器架构。DiViCo模块将被插入解码器中以缓解大量视觉令牌带来的计算开销。3.2 自适应令牌选择翻译我们将令牌在LLM自注意力机制中能够贡献的注意力程度也可称为贡献注意力视为该令牌的重要性。因此贡献注意力越高表示对应令牌在影响后续前向过程中的重要性越大。更具体地说我们选取最后一个令牌并计算它从任何其他视觉令牌处接收到的、跨所有头部的平均注意力权重。然而如图1所示随着解码器层逐渐加深令牌的平均贡献注意力分布会从分散分布转变为更集中的分布。因此我们可以得出结论LLM逐渐更多地关注某些锚点视觉令牌这启发我们放松对剩余视觉令牌的控制以提高效率。具体地假设所有令牌构成一个集合其中、和分别表示系统令牌、视觉令牌和文本令牌的集合dd表示隐藏维度、和是相应的令牌数量。然后我们利用LLM在第K−1K−1层计算出的现有自注意力矩阵以免带来任何不必要的计算开销其中表示令牌总数HH表示多头注意力中的头数。然后我们为每个视觉令牌计算平均注意力分数stst如下其中ah,−1,tah,−1,t表示多头注意力中第hh个头内第tt个视觉令牌与最后一个令牌之间的注意力分数。然后我们选择平均注意力分数最高的前τ%τ%个视觉令牌作为即其中。我们注意到剩余平均注意力分数较低的视觉令牌记为不会被直接丢弃。鉴于vrvr通常包含的信息少得多我们执行平均池化得到其中这样能够浓缩信息以提高效率。【解读】为什么选“最后一个令牌”因为它是开始生成回答的标记汇聚了前面所有信息。用它来判断哪个图像碎片重要最贴近模型最终决策。这一步骤的关键是“复用”注意力矩阵不增加额外计算。3.3 解耦压缩翻译在第3.2节中我们得到了最重要的视觉令牌其余令牌记为。我们注意到尽管包含了大部分信息但与原始视觉信号之间仍存在信息差距。忽略这一差距可能导致某些细节信息丢失从而损害模型的细粒度理解能力。因此我们提出利用解耦编码基于较不重要的令牌即来预测信息差距。具体而言对于任意选定的我们首先将其与拼接得到一个新令牌维度从加倍到。我们利用一个变分编码器它是一个浅层神经网络用于建模压缩后的后验分布其中′表示对应于的压缩信息差距θ表示可学习参数。最后我们将加回到vs(t)vs(t)上得到最终的压缩视觉令牌。我们假设服从一个dd维多元高斯分布。因此我们使用预测其均值μ和方差并从高斯分布中采样。我们使用简单的重参数化技巧引入随机变量以确保训练过程中梯度能够平滑反向传播因为建模的多元高斯分布是不可积的。在推理阶段我们使用预测的均值作为。我们注意到建模分布而非单个值将增强模型的鲁棒性提高其对未见数据的泛化性。我们认为当输入的视觉信号即图像或视频受到噪声干扰时我们提出的模型仍将表现良好见图5和表2。由于我们将与拼接作为输入并捕获v与原始视觉信号之间的信息差距因此期望vc(t)′vc(t)′包含vpvp中与vs(t)vs(t)最相关的信息。形式化地整个过程可总结如下其中和。我们进一步提出KL散度损失来确保压缩视觉令牌的解耦性提高其信息量其中p(vc(t)′)p(vc(t)′)是一个先验分布满足即各维度相互独立。因此通过优化DKLDKL我们能够最小化其与独立分布的距离增强各维度内的解耦从而迫使压缩视觉令牌包含尽可能多的信息。另一方面LVLM的原始训练目标将学习重建真实文本令牌这与我们从压缩令牌重建原始视觉信号的目标一致。因此通过将添加到原始损失中我们可以同时确保压缩视觉令牌在潜在空间中解耦并且可相对于原始视觉信号重建。在实际实现中我们将设计为双层多层感知机MLP并将设为dd维独立标准高斯分布。【解读】这一步是核心创新。“拼接”操作将全局摘要附给每个主干令牌变分编码器预测补差分布而非固定值补差加回主干加法而非替换KL散度确保解耦。这样既保留了主干又用概率方法补充了细节鲁棒性更强。3.4 实现细节翻译3.4.1 训练阶段我们为LVLM配备DiViCo模块并利用现有的预训练LVLM权重对模块进行微调。我们强调DiViCo模块是与基础LLM模型作为整体一起微调而不是单独训练。否则LLM可能无法理解DiViCo中提出的压缩策略从而无法从新压缩的视觉令牌中挖掘有用信息。具体地对于LLaVA-v1.5我们采用视觉指令微调技术同时微调DiViCo模块和Vicuna LLM。我们在LLM的解码器层添加LoRA层并在保持原始层权重固定的同时微调这些LoRA层。此外我们添加一个超参数β来控制KL散度损失的权重如下所示详细的训练流程见算法1。【解读】端到端微调使模型适应新的压缩格式只调LoRA不动原始权重省显存且不破坏通用能力。3.4.2 推理阶段在推理时我们使用的众数均值作为选定的重要视觉令牌与原始视觉信号之间的预测信息差距。我们通过调节超参数来控制压缩率。较大的ττ表示较小的压缩率使模型能达到相对较高的准确率但效率较低而较小的ττ表示较大的压缩率导致更快的推理速度。整体推理流程如图3所示其中模型被要求描述给定视觉图像的主要内容。我们展示了配备DiViCo模块的LLaVA-v1.5-13B在不同压缩率即下的响应。从结果可以看出配备DiViCo的LLaVA-v1.5-13B在较大压缩率下表现相当好生成的答案与未压缩版本几乎相同而未压缩版本的推理速度要慢得多。算法1DiViCo训练流程1:输入: K,τ,β,数据{(图像,文本)}2:参数: θ{DiViCo的参数,LLM的LoRA参数}3:函数DISENTANGLEDENCODING4: μ,σ←gθ5:维度d6:7:返回′8:结束函数开始主函数:9: 初始化H,N,d分别为多头注意力头数、令牌总数和令牌维度。10:重复11: 前向传播一批数据{(图像,文本)}12: 选择LLM解码器第KK层的输入视觉令牌设为视觉令牌数量。13: 利用现有的自注意力矩阵14:对于t ← 0到i执行15: 计算16:结束循环17:18:19:20:21:22:23: 将LVLM解码器第KK层的输入视觉令牌更新为vcvc24: 计算损失25: 更新θ26:直到收敛3.5 复杂度分析翻译在本节中我们从理论上分析DiViCo模块的复杂度以及配备DiViCo的LVLM在FLOPs每秒浮点运算次数方面的效率增益。对于典型的Transformer层我们考虑其计算开销主要来自多头注意力层MHA和前馈网络FFN中的操作。假设FFN中间层的维度为mm我们可以计算单个Transformer层的FLOPs如下当配备DiViCo模块插入解码器第KK层之前时视觉令牌数量将从NiNi减少到对应FLOPs也按相同比例减少。我们还注意到DiViCo模块会引入一些额外的计算开销这些开销来自解耦压缩。理论上DiViCo模块减少的总FLOPs可计算如下其中LL表示LLM中Transformer层的总数。在实际中我们选择的(K,τ)远小于(L,1)通常分别约为(2,11.1%)因此计算出的ΔFLOPs可近似为因此配备DiViCo模块后的FLOPs理论缩减率可通过以下方程近似其近似等于1−τ%。因此我们可以安全地使用1−τ%来表示整体压缩率。【解读】推导表明压缩率几乎就等于速度提升率。实验也证实减少多少令牌后续计算量就减少多少且额外开销很小。4 实验翻译在本节中我们通过在真实世界数据集上对多个最先进的基线进行定量实验实证评估我们提出的DiViCo模块的性能。我们还进行了一系列消融研究其中我们测试了DiViCo中一些核心组件的有效性并研究了超参数KK对模型性能的影响。此外我们提供了一些可视化实验和效率分析以进一步验证DiViCo模块的有效性。4.1 实验设置翻译4.1.1 数据集与基线我们在以下几个真实世界数据集上进行了广泛的定量实验TextVQA该基准通过包含丰富文本信息的挑战性视觉问答任务评估模型的推理能力。它包含28,408张图像上的45,336个问题需要推理文本以获得正确答案。Pope该基准使用三种采样策略来评估模型的幻觉程度要求模型回答关于图像中物体是否存在的一系列二值问题。在每种采样策略下计算召回率、精确率和F1F1等指标。在本工作中我们采用平均F1F1分数作为最终得分。MMBench该基准在多个层次维度上全面评估模型性能顶层包括感知与识别底层包含20个具体能力维度。MME该基准同样全面评估模型的感知和识别能力包含14个子任务每个子任务精心设计了简洁的指令-答案对从而有效避免数据泄露实现LVLM的公平比较。VQAv2该基准通过开放式问题评估视觉感知能力包含超过260,000张图像涵盖大量真实世界物体。每个问题由人工标注提供十个真实答案。Vizwiz该基准包含来自视力障碍群体的31,000多个视觉问题每位用户用手机拍摄照片并记录关于该照片的口述问题每个视觉问题有10个众包答案。GQA该基准包含场景图、问题和图像三部分评估模型理解视觉场景的能力。它开发了一个强大且鲁棒的问题引擎利用Visual Genome场景图结构创建了2,200万个多样化的推理问题。TGIF该基准将图像问答任务扩展到视频领域包含超过160,000个视频-问题对评估模型理解给定视频细节的能力。MSVD该基准基于现有的Microsoft搜索视频描述数据集包含近2,000个视频片段及相应的问题-答案对。由于其数据量大且问题多样广泛用于视频问答任务。此外问题主要分为五类即What、Who、How、When和Where。MSRVTT该基准提出复杂的理解任务要求模型有效理解和推理视频中的空间和时间信息。与MSVD类似MSRVTT中的问题也分为五类。我们采用两个最新且强大的基线方法进行比较FastV和DeCo它们分别代表训练无关和基于微调两种范式的代表性工作。具体而言FastV根据计算的注意力分数对视觉令牌排序而DeCo添加额外的平均池化层对原始视觉令牌下采样并学习新的投影器将下采样的视觉令牌适应到LLM。4.1.2 实现细节在训练中我们将超参数KK和ββ分别设为2和0.02τ%∈{6.7%,11.1%,16.7%}。用于微调DiViCo和相应LLM的数据与LLaVA-v1.5一致。我们在4块NVIDIA A100 80G GPU上训练1个epoch。推理阶段分别遵循LLaVA-v1.5、Qwen-VL和VideoLLaVA建立的评估设置。所有实验均在单块A100 80G GPU上进行。4.2 主要结果翻译及完整表格数据在主实验中我们将骨干模型LLaVA-v1.5-7b、LLaVA-v1.5-13b和Qwen-VL分别配备提出的DiViCo模块以及基线模型FastV和DeCo。我们在不同压缩率下测试这些模型的性能结果如表1所示其中我们额外计算了DiViCo相对于最佳基线的相对提升。从结果可以看出在不同压缩率即83.3%、88.9%和93.3%下DiViCo在各种数据集上的性能始终优于FastV和DeCo。总体而言压缩率越大DiViCo相对其他基线的优势越明显。具体而言在压缩率为93.3%时DiViCo在LLaVA-13b的TextVQA上获得超过7.3%的准确率增益在Qwen-VL的Pope上获得6.08%的F1F1增益在LLaVA-7b的MME上获得5.10%的分数增益。这些结果证明了我们提出的DiViCo强大的理解能力及其泛化性。性能提升可能归因于DiViCo中提出的策略即我们充分利用了较不重要的视觉令牌并采用了解耦压缩方法以最小化信息损失。表1多个骨干网络配备DiViCo与基线方法的性能比较【解读】表格数据显示DiViCo在几乎所有压缩率和数据集上均优于FastV和DeCo。特别是在高压缩率93.3%下提升幅度更为明显说明其“补差”策略在极端压缩时更具优势。4.3 视频域上的性能翻译我们提出的DiViCo模块可以通过将视频视为多个帧轻松应用于视频领域的LVLM。因此我们在三个视频理解基准上验证DiViCo的有效性。具体地我们选择Video-LLaVA作为骨干模型并在不同压缩率下比较DiViCo与FastV的性能。注意由于ChatGPT的稀缺性和不可复制性我们使用LLaVA-v1.5-13b辅助评估。结果如图4所示其中我们将未进行任何压缩的基线标记为水平红色线表示性能的上界。我们可以清楚看到DiViCo在所有数据集和压缩率下均优于FastV展示了其在图像和视频各种压缩场景下的优越性。【解读】视频本质上是帧序列DiViCo可逐帧压缩实验结果证实其通用性不仅限于静态图像。4.4 可视化翻译我们进行了若干可视化实验以验证所提方法在鲁棒性、解耦性和注意力分数方面的有效性。4.4.1 鲁棒性DiViCo以解耦方式压缩较不重要的视觉令牌因此对未见数据具有更强的泛化性。此外由于我们建模的是分布而非单个点DiViCo在输入数据受到随机噪声干扰时往往更加鲁棒。为验证这一点我们选取TextVQA中的前500个样本为LLaVA-v1.5-7b配备DiViCo和FastV。在压缩率为88.9%时我们对输入图像添加相同的高斯噪声并观察扰动后下一个预测令牌分布的变化。我们使用t-SNE将概率分布降维并在图5中可视化。从结果可以看出1DiViCo预测的下一个令牌分布在扰动后几乎保持不变而2FastV的分布变化剧烈。此外我们在相同噪声设置下定量比较DiViCo与FastV的性能其结果如表2所示。噪声扰动后DiViCo的性能下降显著小于FastV。具体而言DiViCo的平均性能下降为2.315%而FastV为5.19%超过两倍这进一步验证了DiViCo的鲁棒性和泛化性。表2LLaVA-v1.5-13b配备DiViCo和FastV在添加随机高斯噪声时的性能比较方法TextVQAPopeMMBenchMMEFastV56.09%72.90%54.7%1668.36FastV噪声55.67% (↓0.75%)70.7% (↓3.02%)50.5% (↓7.68%)1512.9 (↓9.32%)DiViCo57.32%73.3%61.14%1696.16DiViCo噪声57.10% (↓0.38%)72.58% (↓0.98%)58.7% (↓3.99%)1629.80 (↓3.91%)【解读】DiViCo对噪声的抵抗力明显更强因为它学的是分布均值和方差而非固定点。即使输入被干扰补差也不会剧烈偏移。4.4.2 解耦性此外我们基于独立性水平LLLL测量vcvc各维度内的解耦程度定义如下其中corri,jcorri,j是vcvc第ii维和第jj维之间的相关系数。图7显示了配备DiViCo的LLaVA-v1.5-7b和LLaVA-v1.5-13b在不同训练步骤中压缩视觉令牌的解耦程度。我们观察到DiViCo在训练过程中能够逐渐达到较高的解耦程度这可能归功于KL散度损失即在潜在空间中最小化目标分布与dd维独立标准高斯分布之间的距离。我们认为高解耦度将带来高信息量这对LVLM压缩尤其有利。【解读】解耦度越高各维度携带的信息越独立冗余越少。图7证实KL损失确实起了作用。4.4.3 注意力分数我们从TextVQA中选取几个示例并在图6中可视化DiViCo选出的视觉令牌每组左侧和底部分别显示原始图像和问题。我们遵循第4.1节的实验设置设τ%为11.1%。尽管压缩率较大我们观察到DiViCo成功保留了大多数有助于LVLM正确回答问题的关键视觉信息。以第一行右侧图片为例DiViCo捕获了最重要的信息即“尿布台上的考拉”这正是问题的正确答案。因此在这种情况下忽略其他视觉令牌不会损害模型性能。然而在大多数情况下不可能捕获所有关键信息。以第一行左侧图片为例只有显示器上的部分文字“birth”被捕获。因此有必要利用那些较不重要的令牌以免丢弃有用信息。此外我们想指出我们提出的解耦编码方法旨在压缩选定的τ%τ%重要视觉令牌与原始视觉信号之间的信息差距从而提高LVLM的准确性和效率。【解读】可视化直观显示重要令牌集中在问题相关的物体上但有时会遗漏部分细节如文字这正好解释了为什么需要“补差”机制。4.5 消融研究翻译我们进行了若干消融研究以验证所提出的DiViCo模块中每个组件的有效性以及超参数选择的合理性。4.5.1 DiViCo的组件我们训练了DiViCo的两个变体每个变体去除了完整DiViCo模块的某些组件。我们在四个数据集TextVQA、Pope、MMBench和MME上定量比较这两个变体与DiViCo的性能。两个变体的详细描述如下变体-a记为w/o. Disentangled Compression在变体-a中我们不执行解耦压缩仅进行自适应视觉令牌选择即丢弃那些较不重要的视觉令牌。然后将这些选定的视觉令牌直接馈入LLM并微调LLM本身。变体-b记为w/o. Disentangled Encoding在变体-b中我们将gθ(⋅)gθ(⋅)从我们提出的解耦编码器改为普通编码器直接处理压缩后的视觉令牌估计一个点而非分布且不使用KL散度损失。然后我们同时微调编码器和LLM。我们分别使用LLaVA-v1.5-7b和LLaVA-v1.5-13b作为骨干架构设τ%τ%为11.1%。结果如图8(a)和图8(b)所示。可以看出与完整DiViCo模块灰色柱相比两个变体红色柱和蓝色柱在所有数据集和两个骨干上均表现较差。一方面变体-a的准确率在没有解耦压缩的情况下大幅下降。另一方面添加KL散度损失确实以明显幅度提高了准确率。该消融研究验证了我们的主张即充分利用较不重要的令牌是必要的并且使用带有KL散度损失的解耦编码器是有益的。【解读】变体-a证明“只选主干丢弃其余”会导致性能崩盘变体-b证明“不用KL散度、不用变分分布”也会明显变差。这两项共同支撑了DiViCo设计的必要性。4.5.2 超参数K我们讨论了超参数KK的选择它决定我们在LLM解码器的哪一层插入DiViCo模块。具体地我们从{2,7,19}中选择KK并在骨干架构LLaVA-v1.5-13b上以压缩率88.9%在全部四个数据集上进行实验其结果如图8(c)所示。我们观察到当K2时不同的KK在四个数据集上产生相似的性能。具体地代表K2、7和19的三个四边形在图8(c)中几乎不可区分。原因可能在于在解码器的第2层视觉令牌所能贡献的平均注意力分布已从分散分布转变为更集中的分布如图1所示。因此在第2层中那些平均注意力分数较低的剩余令牌所承载的原始视觉信号中值得注意的信息比例相对较小。因此在第2层过滤并压缩它们足以使模型达到一定的压缩率同时最大限度地减少信息损失。对于更大的KK我们凭经验表明在此层压缩视觉令牌不会显著提高准确率。然而根据公式(11)较大的KK会降低所提出的DiViCo模块带来的效率增益。另一方面对于K≤2模型仍在处理全部视觉令牌无法正确判断每个视觉令牌的重要性因此在此阶段进行过滤和压缩将导致较大的性能下降。因此我们选择K2以保持合理的权衡在此设置下我们能够获得极大的效率增益因为K2仍远小于典型LLM解码器的总层数同时保持相对较高的准确率。【解读】K2是一个经验选择因为第2层之后注意力已经集中过早K2无法判断重要性过晚K2会减少节省的计算量。这是一个工程上的平衡。4.6 效率分析翻译及完整表格我们定量分析了所提出的DiViCo模块带来的效率增益并与两种基线方法FastV和DeCo进行比较。我们选择LLaVA-v1.5-7b作为骨干架构并在TextVQA数据集上进行效率实验。结果以准确率(↑)、FLOPs (↓)、GPU内存(↓)和CUDA时间(↓)表示如表3所示。每种方法相对于原始LLaVA-v1.5-7b的相对提升在相应的ΔΔ Ratio行中显示DiViCo相对于最佳基线的总体提升显示在最下面一行。表3LLaVA-v1.5-7b配备DiViCo和基线方法在TextVQA上的效率分析模型准确率(↑)FLOPs(T)(↓)GPU内存(GB)(↓)CUDA时间(ms)(↓)LLaVA-v1.5-7b (原始)58.21%4.99515.66325FastV (83.3%)55.16%2.17113.11283Δ Ratio5.23%↓56.5%↓16.2%↓12.9%↓DeCo (83.3%)54.10%1.82311.90275Δ Ratio7.06%↓63.5%↓24.0%↓15.4%↓DiViCo (88.9%)55.64%1.61210.95157Δ Ratio4.42%↓67.7%↓30.1%↓51.7%↓Overall Improvement-0.81%↑4.2%↓6.1%↓36.3%↓从表3可以看出在更大的压缩率下DiViCo相比基线方法获得了更好的准确率分数同时DiViCo消耗的FLOPs、GPU内存和CUDA时间最少。具体而言DiViCo在压缩率为88.9%时能够保持原始模型准确率的95.6%超过了FastV和DeCo在更小压缩率83.3%下分别达到的94.8%和93.0%的未压缩准确率。此外DiViCo相对于最佳基线DeCo在CUDA时间上的总体提升为36.3%。我们认为这种改进可能归功于DiViCo能够有效利用所有注意力分数较低的剩余视觉令牌从而能够将更多信息包含到压缩视觉令牌中。此外我们注意到配备DiViCo的LLaVA-v1.5-7b显著减少了67.7%的原始FLOPs、30.1%的原始GPU内存和51.7%的原始CUDA时间同时保持了95.6%的原始准确率。在其他骨干上也有类似结果。【解读】效率数据最具说服力速度提升一倍准确率几乎无损。对比来看DiViCo在压缩率更高88.9% vs 83.3%的情况下准确率反而高于FastV和DeCo且时间节省最多51.7%综合优势明显。5 讨论翻译尽管DiViCo设计为充分捕获较不重要的视觉令牌中的信息但在小压缩率下其效果可能不如在大压缩率下那么显著。这主要是因为在小压缩率下被丢弃的视觉令牌数量太少以至于几乎不携带任何有用信息。因此压缩这些令牌很少对LVLM有益。在这种情况下压缩操作本身会带来额外的计算开销并且压缩后的信息可能干扰LVLM的决策因为它可能使模型偏离主要值得注意的对象。解决方案是在小压缩率如10%到20%下停止压缩那些较不重要的令牌因为选定的τ%τ%重要令牌本身就足以用于LVLM的推理。然而我们也注意到小压缩率几乎无助于效率提升而我们提出的DiViCo模块在非常大的压缩率下仍能保持相当高的准确率。【解读】当只压缩少量令牌时收益很小反而增加额外计算。因此DiViCo最适合需要大幅压缩的场景。6 局限性翻译DiViCo的一个可能的局限性以及大多数基于微调的压缩方法共有的局限性是我们可能需要在每个给定的压缩率下重新训练我们的模型包括变分编码器和LLM的LoRA版本。一个可行的解决方案可能是复制解耦变分编码器三次分别用于大、中、小压缩率然后采用混合专家MoE机制来混合三个变分编码器的输出供LLM使用。理想情况下无论选择何种压缩率相应的变分编码器都将起主要作用。由于本工作主要关注视觉令牌的压缩策略我们将其留待未来工作研究。【解读】目前每次换压缩率都要重新训练不够灵活。作者提出了MoE的改进方向但尚未实现。7 结论翻译当前的大型视觉-语言模型通常使用大量视觉令牌其中大多数对最终性能贡献甚微却显著增加了计算开销。现有工作主要移除较不重要的视觉令牌或插入可训练层直接压缩视觉令牌导致丢失大量有用信息并削弱泛化能力。在本文中我们提出了一种新颖的DiViCo模块它首先基于平均注意力分数选择最重要的视觉令牌然后以解耦且变分的范式压缩隐藏在剩余令牌中的信息。DiViCo能够大幅减少视觉令牌数量同时将LVLM的性能保持在相当高的水平。我们进行了大量实验包括消融研究和可视化涉及多个骨干网络和各种真实世界数据集与多个最先进的基线进行比较以验证DiViCo的有效性。
DiViCo 完整解读：面向大型视觉-语言模型的解耦视觉令牌压缩机制（翻译与解读）
声明本文基于对论文《DiViCo: Disentangled Visual Token Compression for Efficient Large Vision-Language Model》Xin Wang, Zirui Pan, Hong Chen, Wenwu Zhu, IEEE Transactions on Circuits and Systems for Video Technology, 2025的完整阅读与个人理解撰写。文中所有解读均为笔者个人观点不保证与原文完全一致如有差异以原始论文为准。https://mn.cs.tsinghua.edu.cn/xinwang/PDF/papers/2025_DiViCo%20Disentangled%20Visual%20Token%20Compression%20for%20Efficient%20Large%20Vision%20Language%20Model.pdf摘要翻译大型视觉-语言模型LVLM通常使用大量视觉令牌来表示输入图像其中大多数令牌对最终性能贡献甚微却显著增加了计算开销。现有工作主要移除较不重要的视觉令牌或插入可训练层直接压缩视觉令牌导致丢失大量有用信息并削弱泛化能力。在本文中我们提出了一种新颖的DiViCo模块它首先基于平均注意力分数选择最重要的视觉令牌然后以解耦且变分的范式压缩隐藏在剩余令牌中的信息。DiViCo能够大幅减少视觉令牌数量同时将LVLM的性能保持在相当高的水平。我们进行了大量实验包括消融研究和可视化涉及多个骨干网络和各种真实世界数据集与多个最先进的基线进行比较以验证DiViCo的有效性。1 引言翻译大型视觉-语言模型LVLM在视觉理解任务中取得了显著进展例如视觉问答VQA、图像描述和视觉推理。这些模型通常将输入图像分割成多个视觉令牌并将它们与文本令牌一起馈入大型语言模型LLM进行跨模态理解。然而这种设计带来了巨大的计算开销因为视觉令牌的数量通常远多于文本令牌。例如LLaVA-v1.5将输入图像分割成576个视觉令牌而典型的文本输入仅包含几十个令牌。这种不平衡导致视觉令牌占据了大部分计算资源成为LVLM推理的瓶颈。为了缓解这一问题现有工作主要采用两种策略1令牌剪枝根据注意力分数或其他重要性度量移除较不重要的视觉令牌2令牌压缩通过可训练层如线性投影或池化减少视觉令牌的数量。然而这些方法存在明显缺陷令牌剪枝直接丢弃大量视觉信息而令牌压缩则将所有令牌混合在一起导致信息混淆和泛化能力下降。在本文中我们提出DiViCo解耦视觉令牌压缩一种新颖的模块旨在高效压缩视觉令牌同时最大限度地保留有用信息。DiViCo的核心思想是解耦重要令牌和剩余令牌的信息并采用变分编码器对剩余令牌进行压缩。具体而言DiViCo首先基于平均注意力分数选择最重要的视觉令牌然后使用变分编码器压缩剩余令牌中的信息最后将压缩后的信息与重要令牌拼接作为LLM的输入。这种方法不仅减少了视觉令牌的数量还保留了原始视觉信号中的丰富信息。我们的主要贡献如下我们提出DiViCo一种新颖的视觉令牌压缩模块它通过解耦重要令牌和剩余令牌的信息并采用变分编码器进行压缩实现了高效且有效的视觉令牌压缩。我们设计了自适应视觉令牌选择机制基于平均注意力分数动态选择最重要的视觉令牌确保关键信息不被丢失。我们引入解耦变分编码器将剩余令牌中的信息压缩为低维潜在表示并通过KL散度损失确保潜在空间的解耦性。我们在多个真实世界数据集上进行了广泛的实验包括TextVQA、Pope、MMBench、MME等结果表明DiViCo在保持高准确率的同时显著减少了计算开销。我们提供了详细的消融研究和可视化分析验证了DiViCo各组件的重要性及其在噪声鲁棒性、解耦性和注意力分布方面的优势。2 相关工作翻译2.1 大型视觉-语言模型大型视觉-语言模型LVLM通过将视觉编码器如CLIP、ViT与大型语言模型LLM结合实现了强大的跨模态理解能力。代表性工作包括LLaVA、BLIP-2、Flamingo、Qwen-VL等。这些模型通常将输入图像分割成多个视觉令牌并通过投影层将视觉特征对齐到文本嵌入空间。然而视觉令牌的数量通常远多于文本令牌导致计算开销巨大。例如LLaVA-v1.5使用CLIP-ViT-L/14将输入图像编码为576个视觉令牌而典型的文本输入仅包含几十个令牌。这种不平衡使得视觉令牌成为LVLM推理的主要瓶颈。2.2 变分编码器变分自编码器VAE是一种生成模型通过学习数据的潜在分布来实现高效的数据表示。VAE由编码器和解码器组成编码器将输入数据映射到潜在空间的均值和方差解码器从潜在分布中采样并重构输入数据。VAE通过KL散度损失鼓励潜在分布接近标准高斯分布从而实现解耦表示。在本文中我们借鉴VAE的思想设计了解耦变分编码器用于压缩剩余视觉令牌中的信息。与传统的VAE不同我们的编码器仅用于压缩而不进行重构因为我们不需要重构原始视觉令牌而是希望将压缩后的信息传递给LLM。2.3 视觉-语言模型的视觉压缩现有工作主要采用两种策略压缩视觉令牌令牌剪枝和令牌压缩。令牌剪枝方法根据注意力分数或其他重要性度量移除较不重要的视觉令牌。例如FastV根据先前层的注意力分数对视觉令牌排序之后注意力分数较低的令牌在后续解码器层中被丢弃。ToMe基于视觉令牌和文本之间的相关性进行令牌剪枝并通过二分软匹配算法融合两种模态。这两个是令牌缩减的开创性工作。最近SparseVLM利用文本令牌的指导自适应地根据解码器层间的相关性剪枝视觉令牌。尽管它采用了令牌回收策略从删除池中检索令牌但相关性较低的令牌仍然会被毫无疑问地丢弃。对于后者DeCo利用平均池化层在图像块级别对输入视觉信号进行下采样并重新训练线性投影器使压缩信息适应LLM。LLaVA-Prumerge基于与类别令牌的相关性采样重要的视觉令牌然后通过k近邻围绕某些中心进行聚类得到压缩表示。Llama-vid使用平均池化和线性投影器压缩视觉信号并进一步在文本域的指导下聚合压缩信息。可以看出它们采用的压缩策略可能会引入大量不可逆的信息损失许多视觉令牌被直接丢弃或间接压缩。此外不同的视觉信号如图像或视频在这些压缩策略下可能变得无法区分因为它们本质上是高维空间到低维空间的投影从而降低了LVLM的泛化性。3 所提出的DiViCo模块翻译在本节中我们首先介绍一些预备知识即注意力机制、KL散度和LVLM的基本知识然后描述所提出的DiViCo模块的具体实现细节包括自适应令牌选择和解耦压缩。我们进一步提供了完整的训练流程和理论复杂度分析。DiViCo的整体框架及其在LVLM中的集成如图2所示。3.1 预备知识3.1.1 LVLM中的注意力机制典型LVLM中的Transformer层采用因果自注意力设计。对于单头实现使用查询和键计算注意力矩阵其中和分别表示所有令牌的数量和维度。之后值矩阵将使用中的相应权重进行聚合形式化地对于自注意力它接受相同的嵌入EE作为输入然后通过线性投影将其转换为三个矩阵并输入到注意力层如下所示其中投影矩阵、和可以使注意力机制更加灵活。在DiViCo中我们利用现有的自注意力矩阵来发现最重要的视觉令牌即那些获得最高平均注意力分数的令牌。【解读】注意力机制本质上是计算每个令牌与其他令牌的相关性权重然后加权求和。DiViCo直接使用现成的注意力权重无需额外计算。3.1.2 KL散度损失KL散度损失是统计学中一种度量以比特为单位量化概率分布与模型分布之间的接近程度形式化地是非负的当且仅当两个分布完全相同时。KL散度损失广泛用于变分自编码器VAE。特别地如果我们选择满足的先验则惩罚散度将鼓励中各维度即之间的解耦。【解读】散度在这里充当“审查官”强制压缩后的信息各维度独立避免冗余提高信息密度。3.1.3 大型视觉-语言模型LVLM大型视觉-语言模型近年来兴起并在复杂多模态任务中取得了巨大成功。当前方法通常采用预训练-微调-预测范式即LVLM首先在大规模图像-文本或视频-文本对上进行预训练并进一步针对视觉问答等特定任务进行微调以学习视觉信号与文本之间的相关性。对于典型的LVLM视觉信号和文本将被分别编码为一组令牌I和然后拼接在一起馈入相应的LLM后者通常采用仅解码器架构。DiViCo模块将被插入解码器中以缓解大量视觉令牌带来的计算开销。3.2 自适应令牌选择翻译我们将令牌在LLM自注意力机制中能够贡献的注意力程度也可称为贡献注意力视为该令牌的重要性。因此贡献注意力越高表示对应令牌在影响后续前向过程中的重要性越大。更具体地说我们选取最后一个令牌并计算它从任何其他视觉令牌处接收到的、跨所有头部的平均注意力权重。然而如图1所示随着解码器层逐渐加深令牌的平均贡献注意力分布会从分散分布转变为更集中的分布。因此我们可以得出结论LLM逐渐更多地关注某些锚点视觉令牌这启发我们放松对剩余视觉令牌的控制以提高效率。具体地假设所有令牌构成一个集合其中、和分别表示系统令牌、视觉令牌和文本令牌的集合dd表示隐藏维度、和是相应的令牌数量。然后我们利用LLM在第K−1K−1层计算出的现有自注意力矩阵以免带来任何不必要的计算开销其中表示令牌总数HH表示多头注意力中的头数。然后我们为每个视觉令牌计算平均注意力分数stst如下其中ah,−1,tah,−1,t表示多头注意力中第hh个头内第tt个视觉令牌与最后一个令牌之间的注意力分数。然后我们选择平均注意力分数最高的前τ%τ%个视觉令牌作为即其中。我们注意到剩余平均注意力分数较低的视觉令牌记为不会被直接丢弃。鉴于vrvr通常包含的信息少得多我们执行平均池化得到其中这样能够浓缩信息以提高效率。【解读】为什么选“最后一个令牌”因为它是开始生成回答的标记汇聚了前面所有信息。用它来判断哪个图像碎片重要最贴近模型最终决策。这一步骤的关键是“复用”注意力矩阵不增加额外计算。3.3 解耦压缩翻译在第3.2节中我们得到了最重要的视觉令牌其余令牌记为。我们注意到尽管包含了大部分信息但与原始视觉信号之间仍存在信息差距。忽略这一差距可能导致某些细节信息丢失从而损害模型的细粒度理解能力。因此我们提出利用解耦编码基于较不重要的令牌即来预测信息差距。具体而言对于任意选定的我们首先将其与拼接得到一个新令牌维度从加倍到。我们利用一个变分编码器它是一个浅层神经网络用于建模压缩后的后验分布其中′表示对应于的压缩信息差距θ表示可学习参数。最后我们将加回到vs(t)vs(t)上得到最终的压缩视觉令牌。我们假设服从一个dd维多元高斯分布。因此我们使用预测其均值μ和方差并从高斯分布中采样。我们使用简单的重参数化技巧引入随机变量以确保训练过程中梯度能够平滑反向传播因为建模的多元高斯分布是不可积的。在推理阶段我们使用预测的均值作为。我们注意到建模分布而非单个值将增强模型的鲁棒性提高其对未见数据的泛化性。我们认为当输入的视觉信号即图像或视频受到噪声干扰时我们提出的模型仍将表现良好见图5和表2。由于我们将与拼接作为输入并捕获v与原始视觉信号之间的信息差距因此期望vc(t)′vc(t)′包含vpvp中与vs(t)vs(t)最相关的信息。形式化地整个过程可总结如下其中和。我们进一步提出KL散度损失来确保压缩视觉令牌的解耦性提高其信息量其中p(vc(t)′)p(vc(t)′)是一个先验分布满足即各维度相互独立。因此通过优化DKLDKL我们能够最小化其与独立分布的距离增强各维度内的解耦从而迫使压缩视觉令牌包含尽可能多的信息。另一方面LVLM的原始训练目标将学习重建真实文本令牌这与我们从压缩令牌重建原始视觉信号的目标一致。因此通过将添加到原始损失中我们可以同时确保压缩视觉令牌在潜在空间中解耦并且可相对于原始视觉信号重建。在实际实现中我们将设计为双层多层感知机MLP并将设为dd维独立标准高斯分布。【解读】这一步是核心创新。“拼接”操作将全局摘要附给每个主干令牌变分编码器预测补差分布而非固定值补差加回主干加法而非替换KL散度确保解耦。这样既保留了主干又用概率方法补充了细节鲁棒性更强。3.4 实现细节翻译3.4.1 训练阶段我们为LVLM配备DiViCo模块并利用现有的预训练LVLM权重对模块进行微调。我们强调DiViCo模块是与基础LLM模型作为整体一起微调而不是单独训练。否则LLM可能无法理解DiViCo中提出的压缩策略从而无法从新压缩的视觉令牌中挖掘有用信息。具体地对于LLaVA-v1.5我们采用视觉指令微调技术同时微调DiViCo模块和Vicuna LLM。我们在LLM的解码器层添加LoRA层并在保持原始层权重固定的同时微调这些LoRA层。此外我们添加一个超参数β来控制KL散度损失的权重如下所示详细的训练流程见算法1。【解读】端到端微调使模型适应新的压缩格式只调LoRA不动原始权重省显存且不破坏通用能力。3.4.2 推理阶段在推理时我们使用的众数均值作为选定的重要视觉令牌与原始视觉信号之间的预测信息差距。我们通过调节超参数来控制压缩率。较大的ττ表示较小的压缩率使模型能达到相对较高的准确率但效率较低而较小的ττ表示较大的压缩率导致更快的推理速度。整体推理流程如图3所示其中模型被要求描述给定视觉图像的主要内容。我们展示了配备DiViCo模块的LLaVA-v1.5-13B在不同压缩率即下的响应。从结果可以看出配备DiViCo的LLaVA-v1.5-13B在较大压缩率下表现相当好生成的答案与未压缩版本几乎相同而未压缩版本的推理速度要慢得多。算法1DiViCo训练流程1:输入: K,τ,β,数据{(图像,文本)}2:参数: θ{DiViCo的参数,LLM的LoRA参数}3:函数DISENTANGLEDENCODING4: μ,σ←gθ5:维度d6:7:返回′8:结束函数开始主函数:9: 初始化H,N,d分别为多头注意力头数、令牌总数和令牌维度。10:重复11: 前向传播一批数据{(图像,文本)}12: 选择LLM解码器第KK层的输入视觉令牌设为视觉令牌数量。13: 利用现有的自注意力矩阵14:对于t ← 0到i执行15: 计算16:结束循环17:18:19:20:21:22:23: 将LVLM解码器第KK层的输入视觉令牌更新为vcvc24: 计算损失25: 更新θ26:直到收敛3.5 复杂度分析翻译在本节中我们从理论上分析DiViCo模块的复杂度以及配备DiViCo的LVLM在FLOPs每秒浮点运算次数方面的效率增益。对于典型的Transformer层我们考虑其计算开销主要来自多头注意力层MHA和前馈网络FFN中的操作。假设FFN中间层的维度为mm我们可以计算单个Transformer层的FLOPs如下当配备DiViCo模块插入解码器第KK层之前时视觉令牌数量将从NiNi减少到对应FLOPs也按相同比例减少。我们还注意到DiViCo模块会引入一些额外的计算开销这些开销来自解耦压缩。理论上DiViCo模块减少的总FLOPs可计算如下其中LL表示LLM中Transformer层的总数。在实际中我们选择的(K,τ)远小于(L,1)通常分别约为(2,11.1%)因此计算出的ΔFLOPs可近似为因此配备DiViCo模块后的FLOPs理论缩减率可通过以下方程近似其近似等于1−τ%。因此我们可以安全地使用1−τ%来表示整体压缩率。【解读】推导表明压缩率几乎就等于速度提升率。实验也证实减少多少令牌后续计算量就减少多少且额外开销很小。4 实验翻译在本节中我们通过在真实世界数据集上对多个最先进的基线进行定量实验实证评估我们提出的DiViCo模块的性能。我们还进行了一系列消融研究其中我们测试了DiViCo中一些核心组件的有效性并研究了超参数KK对模型性能的影响。此外我们提供了一些可视化实验和效率分析以进一步验证DiViCo模块的有效性。4.1 实验设置翻译4.1.1 数据集与基线我们在以下几个真实世界数据集上进行了广泛的定量实验TextVQA该基准通过包含丰富文本信息的挑战性视觉问答任务评估模型的推理能力。它包含28,408张图像上的45,336个问题需要推理文本以获得正确答案。Pope该基准使用三种采样策略来评估模型的幻觉程度要求模型回答关于图像中物体是否存在的一系列二值问题。在每种采样策略下计算召回率、精确率和F1F1等指标。在本工作中我们采用平均F1F1分数作为最终得分。MMBench该基准在多个层次维度上全面评估模型性能顶层包括感知与识别底层包含20个具体能力维度。MME该基准同样全面评估模型的感知和识别能力包含14个子任务每个子任务精心设计了简洁的指令-答案对从而有效避免数据泄露实现LVLM的公平比较。VQAv2该基准通过开放式问题评估视觉感知能力包含超过260,000张图像涵盖大量真实世界物体。每个问题由人工标注提供十个真实答案。Vizwiz该基准包含来自视力障碍群体的31,000多个视觉问题每位用户用手机拍摄照片并记录关于该照片的口述问题每个视觉问题有10个众包答案。GQA该基准包含场景图、问题和图像三部分评估模型理解视觉场景的能力。它开发了一个强大且鲁棒的问题引擎利用Visual Genome场景图结构创建了2,200万个多样化的推理问题。TGIF该基准将图像问答任务扩展到视频领域包含超过160,000个视频-问题对评估模型理解给定视频细节的能力。MSVD该基准基于现有的Microsoft搜索视频描述数据集包含近2,000个视频片段及相应的问题-答案对。由于其数据量大且问题多样广泛用于视频问答任务。此外问题主要分为五类即What、Who、How、When和Where。MSRVTT该基准提出复杂的理解任务要求模型有效理解和推理视频中的空间和时间信息。与MSVD类似MSRVTT中的问题也分为五类。我们采用两个最新且强大的基线方法进行比较FastV和DeCo它们分别代表训练无关和基于微调两种范式的代表性工作。具体而言FastV根据计算的注意力分数对视觉令牌排序而DeCo添加额外的平均池化层对原始视觉令牌下采样并学习新的投影器将下采样的视觉令牌适应到LLM。4.1.2 实现细节在训练中我们将超参数KK和ββ分别设为2和0.02τ%∈{6.7%,11.1%,16.7%}。用于微调DiViCo和相应LLM的数据与LLaVA-v1.5一致。我们在4块NVIDIA A100 80G GPU上训练1个epoch。推理阶段分别遵循LLaVA-v1.5、Qwen-VL和VideoLLaVA建立的评估设置。所有实验均在单块A100 80G GPU上进行。4.2 主要结果翻译及完整表格数据在主实验中我们将骨干模型LLaVA-v1.5-7b、LLaVA-v1.5-13b和Qwen-VL分别配备提出的DiViCo模块以及基线模型FastV和DeCo。我们在不同压缩率下测试这些模型的性能结果如表1所示其中我们额外计算了DiViCo相对于最佳基线的相对提升。从结果可以看出在不同压缩率即83.3%、88.9%和93.3%下DiViCo在各种数据集上的性能始终优于FastV和DeCo。总体而言压缩率越大DiViCo相对其他基线的优势越明显。具体而言在压缩率为93.3%时DiViCo在LLaVA-13b的TextVQA上获得超过7.3%的准确率增益在Qwen-VL的Pope上获得6.08%的F1F1增益在LLaVA-7b的MME上获得5.10%的分数增益。这些结果证明了我们提出的DiViCo强大的理解能力及其泛化性。性能提升可能归因于DiViCo中提出的策略即我们充分利用了较不重要的视觉令牌并采用了解耦压缩方法以最小化信息损失。表1多个骨干网络配备DiViCo与基线方法的性能比较【解读】表格数据显示DiViCo在几乎所有压缩率和数据集上均优于FastV和DeCo。特别是在高压缩率93.3%下提升幅度更为明显说明其“补差”策略在极端压缩时更具优势。4.3 视频域上的性能翻译我们提出的DiViCo模块可以通过将视频视为多个帧轻松应用于视频领域的LVLM。因此我们在三个视频理解基准上验证DiViCo的有效性。具体地我们选择Video-LLaVA作为骨干模型并在不同压缩率下比较DiViCo与FastV的性能。注意由于ChatGPT的稀缺性和不可复制性我们使用LLaVA-v1.5-13b辅助评估。结果如图4所示其中我们将未进行任何压缩的基线标记为水平红色线表示性能的上界。我们可以清楚看到DiViCo在所有数据集和压缩率下均优于FastV展示了其在图像和视频各种压缩场景下的优越性。【解读】视频本质上是帧序列DiViCo可逐帧压缩实验结果证实其通用性不仅限于静态图像。4.4 可视化翻译我们进行了若干可视化实验以验证所提方法在鲁棒性、解耦性和注意力分数方面的有效性。4.4.1 鲁棒性DiViCo以解耦方式压缩较不重要的视觉令牌因此对未见数据具有更强的泛化性。此外由于我们建模的是分布而非单个点DiViCo在输入数据受到随机噪声干扰时往往更加鲁棒。为验证这一点我们选取TextVQA中的前500个样本为LLaVA-v1.5-7b配备DiViCo和FastV。在压缩率为88.9%时我们对输入图像添加相同的高斯噪声并观察扰动后下一个预测令牌分布的变化。我们使用t-SNE将概率分布降维并在图5中可视化。从结果可以看出1DiViCo预测的下一个令牌分布在扰动后几乎保持不变而2FastV的分布变化剧烈。此外我们在相同噪声设置下定量比较DiViCo与FastV的性能其结果如表2所示。噪声扰动后DiViCo的性能下降显著小于FastV。具体而言DiViCo的平均性能下降为2.315%而FastV为5.19%超过两倍这进一步验证了DiViCo的鲁棒性和泛化性。表2LLaVA-v1.5-13b配备DiViCo和FastV在添加随机高斯噪声时的性能比较方法TextVQAPopeMMBenchMMEFastV56.09%72.90%54.7%1668.36FastV噪声55.67% (↓0.75%)70.7% (↓3.02%)50.5% (↓7.68%)1512.9 (↓9.32%)DiViCo57.32%73.3%61.14%1696.16DiViCo噪声57.10% (↓0.38%)72.58% (↓0.98%)58.7% (↓3.99%)1629.80 (↓3.91%)【解读】DiViCo对噪声的抵抗力明显更强因为它学的是分布均值和方差而非固定点。即使输入被干扰补差也不会剧烈偏移。4.4.2 解耦性此外我们基于独立性水平LLLL测量vcvc各维度内的解耦程度定义如下其中corri,jcorri,j是vcvc第ii维和第jj维之间的相关系数。图7显示了配备DiViCo的LLaVA-v1.5-7b和LLaVA-v1.5-13b在不同训练步骤中压缩视觉令牌的解耦程度。我们观察到DiViCo在训练过程中能够逐渐达到较高的解耦程度这可能归功于KL散度损失即在潜在空间中最小化目标分布与dd维独立标准高斯分布之间的距离。我们认为高解耦度将带来高信息量这对LVLM压缩尤其有利。【解读】解耦度越高各维度携带的信息越独立冗余越少。图7证实KL损失确实起了作用。4.4.3 注意力分数我们从TextVQA中选取几个示例并在图6中可视化DiViCo选出的视觉令牌每组左侧和底部分别显示原始图像和问题。我们遵循第4.1节的实验设置设τ%为11.1%。尽管压缩率较大我们观察到DiViCo成功保留了大多数有助于LVLM正确回答问题的关键视觉信息。以第一行右侧图片为例DiViCo捕获了最重要的信息即“尿布台上的考拉”这正是问题的正确答案。因此在这种情况下忽略其他视觉令牌不会损害模型性能。然而在大多数情况下不可能捕获所有关键信息。以第一行左侧图片为例只有显示器上的部分文字“birth”被捕获。因此有必要利用那些较不重要的令牌以免丢弃有用信息。此外我们想指出我们提出的解耦编码方法旨在压缩选定的τ%τ%重要视觉令牌与原始视觉信号之间的信息差距从而提高LVLM的准确性和效率。【解读】可视化直观显示重要令牌集中在问题相关的物体上但有时会遗漏部分细节如文字这正好解释了为什么需要“补差”机制。4.5 消融研究翻译我们进行了若干消融研究以验证所提出的DiViCo模块中每个组件的有效性以及超参数选择的合理性。4.5.1 DiViCo的组件我们训练了DiViCo的两个变体每个变体去除了完整DiViCo模块的某些组件。我们在四个数据集TextVQA、Pope、MMBench和MME上定量比较这两个变体与DiViCo的性能。两个变体的详细描述如下变体-a记为w/o. Disentangled Compression在变体-a中我们不执行解耦压缩仅进行自适应视觉令牌选择即丢弃那些较不重要的视觉令牌。然后将这些选定的视觉令牌直接馈入LLM并微调LLM本身。变体-b记为w/o. Disentangled Encoding在变体-b中我们将gθ(⋅)gθ(⋅)从我们提出的解耦编码器改为普通编码器直接处理压缩后的视觉令牌估计一个点而非分布且不使用KL散度损失。然后我们同时微调编码器和LLM。我们分别使用LLaVA-v1.5-7b和LLaVA-v1.5-13b作为骨干架构设τ%τ%为11.1%。结果如图8(a)和图8(b)所示。可以看出与完整DiViCo模块灰色柱相比两个变体红色柱和蓝色柱在所有数据集和两个骨干上均表现较差。一方面变体-a的准确率在没有解耦压缩的情况下大幅下降。另一方面添加KL散度损失确实以明显幅度提高了准确率。该消融研究验证了我们的主张即充分利用较不重要的令牌是必要的并且使用带有KL散度损失的解耦编码器是有益的。【解读】变体-a证明“只选主干丢弃其余”会导致性能崩盘变体-b证明“不用KL散度、不用变分分布”也会明显变差。这两项共同支撑了DiViCo设计的必要性。4.5.2 超参数K我们讨论了超参数KK的选择它决定我们在LLM解码器的哪一层插入DiViCo模块。具体地我们从{2,7,19}中选择KK并在骨干架构LLaVA-v1.5-13b上以压缩率88.9%在全部四个数据集上进行实验其结果如图8(c)所示。我们观察到当K2时不同的KK在四个数据集上产生相似的性能。具体地代表K2、7和19的三个四边形在图8(c)中几乎不可区分。原因可能在于在解码器的第2层视觉令牌所能贡献的平均注意力分布已从分散分布转变为更集中的分布如图1所示。因此在第2层中那些平均注意力分数较低的剩余令牌所承载的原始视觉信号中值得注意的信息比例相对较小。因此在第2层过滤并压缩它们足以使模型达到一定的压缩率同时最大限度地减少信息损失。对于更大的KK我们凭经验表明在此层压缩视觉令牌不会显著提高准确率。然而根据公式(11)较大的KK会降低所提出的DiViCo模块带来的效率增益。另一方面对于K≤2模型仍在处理全部视觉令牌无法正确判断每个视觉令牌的重要性因此在此阶段进行过滤和压缩将导致较大的性能下降。因此我们选择K2以保持合理的权衡在此设置下我们能够获得极大的效率增益因为K2仍远小于典型LLM解码器的总层数同时保持相对较高的准确率。【解读】K2是一个经验选择因为第2层之后注意力已经集中过早K2无法判断重要性过晚K2会减少节省的计算量。这是一个工程上的平衡。4.6 效率分析翻译及完整表格我们定量分析了所提出的DiViCo模块带来的效率增益并与两种基线方法FastV和DeCo进行比较。我们选择LLaVA-v1.5-7b作为骨干架构并在TextVQA数据集上进行效率实验。结果以准确率(↑)、FLOPs (↓)、GPU内存(↓)和CUDA时间(↓)表示如表3所示。每种方法相对于原始LLaVA-v1.5-7b的相对提升在相应的ΔΔ Ratio行中显示DiViCo相对于最佳基线的总体提升显示在最下面一行。表3LLaVA-v1.5-7b配备DiViCo和基线方法在TextVQA上的效率分析模型准确率(↑)FLOPs(T)(↓)GPU内存(GB)(↓)CUDA时间(ms)(↓)LLaVA-v1.5-7b (原始)58.21%4.99515.66325FastV (83.3%)55.16%2.17113.11283Δ Ratio5.23%↓56.5%↓16.2%↓12.9%↓DeCo (83.3%)54.10%1.82311.90275Δ Ratio7.06%↓63.5%↓24.0%↓15.4%↓DiViCo (88.9%)55.64%1.61210.95157Δ Ratio4.42%↓67.7%↓30.1%↓51.7%↓Overall Improvement-0.81%↑4.2%↓6.1%↓36.3%↓从表3可以看出在更大的压缩率下DiViCo相比基线方法获得了更好的准确率分数同时DiViCo消耗的FLOPs、GPU内存和CUDA时间最少。具体而言DiViCo在压缩率为88.9%时能够保持原始模型准确率的95.6%超过了FastV和DeCo在更小压缩率83.3%下分别达到的94.8%和93.0%的未压缩准确率。此外DiViCo相对于最佳基线DeCo在CUDA时间上的总体提升为36.3%。我们认为这种改进可能归功于DiViCo能够有效利用所有注意力分数较低的剩余视觉令牌从而能够将更多信息包含到压缩视觉令牌中。此外我们注意到配备DiViCo的LLaVA-v1.5-7b显著减少了67.7%的原始FLOPs、30.1%的原始GPU内存和51.7%的原始CUDA时间同时保持了95.6%的原始准确率。在其他骨干上也有类似结果。【解读】效率数据最具说服力速度提升一倍准确率几乎无损。对比来看DiViCo在压缩率更高88.9% vs 83.3%的情况下准确率反而高于FastV和DeCo且时间节省最多51.7%综合优势明显。5 讨论翻译尽管DiViCo设计为充分捕获较不重要的视觉令牌中的信息但在小压缩率下其效果可能不如在大压缩率下那么显著。这主要是因为在小压缩率下被丢弃的视觉令牌数量太少以至于几乎不携带任何有用信息。因此压缩这些令牌很少对LVLM有益。在这种情况下压缩操作本身会带来额外的计算开销并且压缩后的信息可能干扰LVLM的决策因为它可能使模型偏离主要值得注意的对象。解决方案是在小压缩率如10%到20%下停止压缩那些较不重要的令牌因为选定的τ%τ%重要令牌本身就足以用于LVLM的推理。然而我们也注意到小压缩率几乎无助于效率提升而我们提出的DiViCo模块在非常大的压缩率下仍能保持相当高的准确率。【解读】当只压缩少量令牌时收益很小反而增加额外计算。因此DiViCo最适合需要大幅压缩的场景。6 局限性翻译DiViCo的一个可能的局限性以及大多数基于微调的压缩方法共有的局限性是我们可能需要在每个给定的压缩率下重新训练我们的模型包括变分编码器和LLM的LoRA版本。一个可行的解决方案可能是复制解耦变分编码器三次分别用于大、中、小压缩率然后采用混合专家MoE机制来混合三个变分编码器的输出供LLM使用。理想情况下无论选择何种压缩率相应的变分编码器都将起主要作用。由于本工作主要关注视觉令牌的压缩策略我们将其留待未来工作研究。【解读】目前每次换压缩率都要重新训练不够灵活。作者提出了MoE的改进方向但尚未实现。7 结论翻译当前的大型视觉-语言模型通常使用大量视觉令牌其中大多数对最终性能贡献甚微却显著增加了计算开销。现有工作主要移除较不重要的视觉令牌或插入可训练层直接压缩视觉令牌导致丢失大量有用信息并削弱泛化能力。在本文中我们提出了一种新颖的DiViCo模块它首先基于平均注意力分数选择最重要的视觉令牌然后以解耦且变分的范式压缩隐藏在剩余令牌中的信息。DiViCo能够大幅减少视觉令牌数量同时将LVLM的性能保持在相当高的水平。我们进行了大量实验包括消融研究和可视化涉及多个骨干网络和各种真实世界数据集与多个最先进的基线进行比较以验证DiViCo的有效性。
