企业官网建设流程全解析

论文总结与翻译

一、主要内容

该论文针对大型语言模型（LLMs）在推理任务中存在的模型规模庞大、计算成本高、推理 latency 长等问题，提出了一种可组合的大语言模型推理框架Comp-LLM。其核心思路是通过子查询分解、跨专家协作和并行执行优化，在提升推理准确性的同时，降低模型内存占用和推理延迟。

核心组件

1. 子查询生成器（Sub-query Generator）：将复杂查询分解为简单子查询，识别子查询间的依赖关系，通过嵌入相似度将子查询分配给合适的领域专家，并构建有向无环图（DAG）形式的依赖图。
2. 查询执行器（Query Executor）：基于依赖图的拓扑顺序处理子查询，集成运行时调度器，在满足数据依赖和资源约束的前提下识别并行执行机会，降低推理延迟；专家模型基于基础LLM通过领域数据微调得到。
3. 响应聚合器（Response Aggregator）：将专家对各子查询的响应整合为连贯、全面的最终答案，仅聚焦依赖图中叶节点的响应（其他节点响应已作为上下文参与中间计算）。

实验与结果

• 基准测试：在MultiExpertQA-P（无依赖子查询）和MultiExpertQA-All（含依赖子查询）基准上验证，涵盖化学、生物、数学等领域。
• 核心性能：与同规模单体LLM相比，准确率提升高达11.01%；与家族中最大