企业官网建设流程全解析

文章主要内容和创新点

主要内容

本文针对多模态大型语言模型（MLLMs）在视觉-语言任务（如图像描述）中存在的“物体幻觉”问题（即描述图像中不存在的物体），提出了一种名为LISA（Layer-wise Integration and Suppression Approach，分层整合与抑制方法）的解决方案。

LISA的核心思路是利用MLLMs的层级功能划分：浅层网络提供视觉接地（visual grounding），中层网络编码语义信息，深层网络则容易放大虚假信号。基于此，LISA通过两项关键技术实现幻觉缓解：

1. 区域特定光谱调制：抑制深层网络中过度放大的激活信号，同时保留浅层网络中的视觉对齐线索，稳定注意力机制；
2. 基于锚点的跨层融合：通过token级锚点选择和软logit融合，自适应整合选定层的token级输出，提升解码时的一致性。

LISA是完全即插即用的，无需重新训练或修改模型架构，可无缝集成到现有MLLMs（如Qwen2.5-VL）中。实验表明，在多个基准测试中，LISA最多能减少53.6%的幻觉（CHAIR₁指标），并将POPE F1分数提升4.5%，在不同模型和任务中表现出强泛化性。

创新点

1. 揭示现有方法的局限：指出现有解码阶段的幻觉缓解方法忽视了Transformer层的功能分层，导致层间表征整合不佳，无法有效调制光谱不稳定性；
2. 提出分层功能利用策略