企业官网建设流程全解析

文章主要内容总结

该论文针对基于大语言模型（LLMs）的函数调用（Function Calling）存在高延迟的问题，提出了一种名为ODIA（Oriented Distillation for Inline Acceleration，面向内联加速的定向蒸馏）的新方法。其核心是利用在线用户交互数据加速函数调用，具体包括：

• 核心思路：通过自动识别生产流量中的“简单查询”，将大模型的函数调用能力蒸馏到小模型中，再通过双模型架构根据查询复杂度路由至小模型或大模型，在保证准确性的同时降低延迟。
• 关键流程：
  • 离线管道：从生产数据中自动筛选“简单查询”（语义相似且函数调用一致的查询集群），训练意图路由模型（判断查询是否由小模型处理）和参数生成模型（小模型生成函数调用结果）。
  • 在线服务：通过意图路由模型将约60%的“简单查询”路由至小模型处理，复杂查询则由大模型处理。
• 实验效果：在音乐应用中部署后，小模型处理60%流量时，预期延迟减少45%（从1600ms降至870ms），中位数延迟减少78%（从1600ms降至350ms），且准确性几乎无损失，同时降低了计算资源需求。

文章创新点

1. 提出了自动识别生产流量中“简单查询”的方法，这些查询可由小模型可靠处理，无需大量人工标注。
2. 设计了知识蒸馏框架，将大模型的函数调用能力转移到小模型，实现能力迁移。
3. 构建双模型