FlexAC: Towards Flexible Control of Associative Reasoning in Multimodal Large Language Models
2026/9/6 23:48:28 网站建设 项目流程

该文章提出了FlexAC框架,旨在解决多模态大型语言模型(MLLMs)在事实准确性与创造力间的固有权衡问题,实现对关联推理强度的灵活控制,同时还引入了新基准并通过实验验证了框架有效性。

一、文章主要内容

  1. 研究背景
    • MLLMs在不同任务中需不同程度的关联推理,但现有方法缺乏调节推理强度的灵活性,在事实类和创意类场景中适应性受限。例如,现有幻觉缓解技术虽提升准确性,却会抑制关联推理能力,导致创意任务表现不佳。
    • 受认知科学中发散思维与聚合思维启发,MLLMs需灵活调节关联推理强度以兼顾事实推理与创意生成。
  2. 核心发现
    • 中间层是塑造模型关联倾向的关键,该层中事实性响应与幻觉性响应的表征可清晰区分。
    • 修改中间层表征能有效改变关联推理的强度与方向。
    • 幻觉性表征的方向可激发关联推理能力,可作为调节的控制信号。
  3. FlexAC框架
    • 离线控制向量构建阶段:先收集事实-幻觉响应对,提取中间层隐藏特征并计算差异以编码关联方向;再筛选关联偏移最大的Top-K样本对,平均差异得到可靠引导向量;最后结合GPT-4o生成的特定任务高关联样本,构建任务特定关联向量。
    • 推理时控制阶段:将通用关联向量与任务特定关联向量注入中间层特征,同时引入引导强度校准机制,根据当前表征与关联方向的对

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询