FlexAC: Towards Flexible Control of Associative Reasoning in Multimodal Large Language Models
2026/9/6 23:48:28
网站建设
项目流程
该文章提出了FlexAC框架,旨在解决多模态大型语言模型(MLLMs)在事实准确性与创造力间的固有权衡问题,实现对关联推理强度的灵活控制,同时还引入了新基准并通过实验验证了框架有效性。
一、文章主要内容
- 研究背景
- MLLMs在不同任务中需不同程度的关联推理,但现有方法缺乏调节推理强度的灵活性,在事实类和创意类场景中适应性受限。例如,现有幻觉缓解技术虽提升准确性,却会抑制关联推理能力,导致创意任务表现不佳。
- 受认知科学中发散思维与聚合思维启发,MLLMs需灵活调节关联推理强度以兼顾事实推理与创意生成。
- 核心发现
- 中间层是塑造模型关联倾向的关键,该层中事实性响应与幻觉性响应的表征可清晰区分。
- 修改中间层表征能有效改变关联推理的强度与方向。
- 幻觉性表征的方向可激发关联推理能力,可作为调节的控制信号。
- FlexAC框架
- 离线控制向量构建阶段:先收集事实-幻觉响应对,提取中间层隐藏特征并计算差异以编码关联方向;再筛选关联偏移最大的Top-K样本对,平均差异得到可靠引导向量;最后结合GPT-4o生成的特定任务高关联样本,构建任务特定关联向量。
- 推理时控制阶段:将通用关联向量与任务特定关联向量注入中间层特征,同时引入引导强度校准机制,根据当前表征与关联方向的对