企业官网建设流程全解析

1. 为什么我要花两周时间重读这三年多模态论文

2024 到 2026 这三年，多模态领域的变化速度已经不能用"快"来形容了，用"换赛道"更贴切。我自己是从 2023 年底开始系统跟进多模态方向的，当时还在纠结 CLIP 的对比学习损失怎么调、BLIP-2 的 Q-Former 到底该插几层，结果一转眼，整个社区的重心已经从"怎么把图像特征对齐到语言空间"跳到了"怎么让模型在视觉环境里做多步推理、甚至预测未来状态"。这个跨度大到什么程度？我身边好几个做传统多模态融合的朋友，2025 年上半年还在调 concat fusion 和 attention fusion 的消融实验，下半年就被 Reasoning Agent 和 World Model 这两个词砸懵了。

所以这篇东西不是一篇"综述翻译"，也不是把 arXiv 上的 abstract 拼一拼。它是我自己从 2024 年初到 2026 年初这段时间，按时间线把多模态这条脉络重新捋了一遍之后的笔记整理。核心想回答三个问题：Fusion 阶段到底留下了什么遗产、Reasoning Agent 是怎么从多模态里长出来的、World Model 又为什么成了 2026 年的关键词。如果你是从业者，想快速建立这三年的全局认知；或者你是研究生，正准备选多模态方向的开题；又或者你是工程侧，想知道现在落地该用哪套方案——这篇应该都能给你一个相对清晰的坐标系。

我尽量不写成教科书，而是按"我当时是怎么理解的、踩过哪些坑、哪些论文值得反复读"这个路子来。涉及到的模型名、方法名、关键参数，我会尽量给到可复现的细节，但不会堆砌公式，因为公式你去看原文更准，我这里更想讲清楚"为什么这么设计"。

2. 2024 年的多模态 Fusion：从拼接走向真正的交互

2.1 Fusion 到底在融合什么：三种粒度的本质区别

很多人一上来就问"Fusion 用 concat 还是 attention"，这个问题本身就问偏了。Fusion 的核心不是算子选择，而是你在哪个粒度上做交互。2024 年主流的多模态融合，按粒度可以分成三层：

• 特征级融合（early fusion）：在编码器输出之后立刻拼接或加权。典型代表是早期的 LLaVA 系列，把 CLIP ViT 的 patch 特征直接投影到 LLM 的 embedding 空间。优点是简单、训练成本低；缺点是视觉和语言在浅层就混在一起，模态间的语义鸿沟没被处理，模型容易学到"表面共现"而不是"真正理解"。
• 中间层融合（mid fusion）：在 Transformer 的中间层插入跨模态注意力。Flamingo 的 gated cross-attention 是这一类的经典，2024 年很多工作沿着这条路走，比如在 LLM 的每 N 层插入一个 cross-attention block，让视觉 token 和文本 token 在深层交互。这个方案的效果明显好于 early fusion，但代价是训练时显存爆炸，因为 cross-attention 的 KV 要同时维护两套。
• 决策级融合（late fusion）：各模态独立编码、独立推理，最后在输出层做加权或投票。传统多模态情感分析、多模态目标识别里用得很多，但在 MLLM 时代反而退居二线，因为 LLM 本身就是一个强大的决策器，你不太需要外挂一个融合层。

我自己的经验是：2024 年上半年，mid fusion 是性价比最高的选择。当时我复现过一个基于 Qwen-VL 的改进版，把 cross-attention 从"每层都插"改成"每 4 层插一次"，在 VQA 任务上只掉了 0.8 个点，但训练速度提升了将近 40%。这个 trade-off 在工程落地时非常关键，因为大部分团队根本没有 64 卡 A100 的预算。

2.2 2024 年值得反复读的几篇 Fusion 工作

如果只让我推荐三篇 2024 年的 Fusion 相关论文，我会选这几类：

第一类是对齐效率方向的。2024 年初有一批工作专门研究"视觉 token 压缩"，因为大家发现 LLaVA 那种把 576 个 patch 全塞进 LLM 的做法太浪费。代表性思路是用 Perceiver Resampler 或者 Q-Former 把视觉 token 压到 32 或 64 个，同时保持性能不掉。我实测下来，压缩到 64 个 token 时，在 OCR 类任务上会有明显退化，但在通用 VQA 上几乎无损。所以如果你的场景是文档理解，别压太狠；如果是自然图像问答，压到 64 完全够用。

第二类是融合位置方向的。有一批消融实验非常扎实的工作，系统对比了"视觉 token 放前面""放后面""交错插入"三种排布。结论是：交错插入在需要细粒度 grounding 的任务上最好，但训练不稳定；放前面最稳，适合大多数场景。这个结论我后来在自己的项目里验证过，确实如此。

第三类是模态缺失鲁棒性方向的。2024 年有个被低估的问题：真实场景里经常只有单模态输入，比如只有图没有文，或者只有文没有图。早期 Fusion 模型遇到这种情况会直接崩，后来有一批工作专门做"模态 dropout 训练"，在训练时随机丢掉一个模态，让模型学会在缺失情况下也能推理。这个技巧现在已经是标配了，但在 2024 年初还算新鲜。

2.3 Fusion 阶段的三个坑，我踩过两个

第一个坑是过度依赖视觉编码器的质量。我早期做的一个项目，直接拿 CLIP ViT-L/14 当视觉塔，结果在细粒度分类上一直上不去。后来换成 SigLIP，同样的融合结构，准确率直接涨了 3 个点。教训是：Fusion 结构再花哨，也救不了一个弱的视觉编码器。2024 年下半年开始，大家普遍转向 SigLIP 或 InternViT，这不是跟风，是实测出来的。

第二个坑是忽略文本侧的分词粒度。多模态任务里，文本往往包含大量专有名词、数字、单位，如果分词器把这些切碎了，融合时对齐会非常困难。我当时处理一批工业质检报告，里面全是"Φ12mm±0.05"这种，标准 tokenizer 直接切成七八个 token，模型根本学不会。后来我加了一个领域词典做预分词，效果立竿见影。

第三个坑是训练数据的模态不平衡。如果你的数据里 90% 是"图+短文本"，10% 是"图+长文本"，模型会严重偏向短文本。解决办法不是简单上采样，而是在 loss 里对长文本样本加权，或者用 curriculum learning，先短后长。这个细节很多论文不会写，但实际做的时候不注意就会翻车。

3. 2025 年：Reasoning Agent 是怎么从多模态里长出来的

3.1 从"看图说话"到"看图做事"的范式转变

2024 年的多模态模型，本质上还是"输入图+文，输出文"，是一个映射函数。2025 年最大的变化是，大家开始把多模态模型当成一个策略，它不只是回答问题，而是要决定"下一步看哪里、下一步做什么"。这个转变的标志性事件，是 2025 年初一批工作把 Chain-of-Thought 引入多模态，让模型在给出答案前先输出一段推理过程，而且这段推理里可以包含"我需要再仔细看左上角"这种主动感知的动作。

这个变化为什么重要？因为它把多模态从"感知问题"变成了"决策问题"。传统 VQA 是给定图像，预测答案；Reasoning Agent 是给定图像和一个目标，模型要自己决定看哪些区域、调用哪些工具、做几步推理，最后给出答案或执行动作。这就自然引出了 Agent 的概念——多模态模型不再是一个被动回答器，而是一个能规划、能调用工具、能反思的智能体。

我 2025 年做过一个基于多模态 Agent 的文档审核原型，流程是这样的：模型先看整页文档，判断哪些区域可疑；然后放大可疑区域，做 OCR；如果 OCR 结果和结构化字段对不上，再调用一个计算工具做校验；最后输出审核结论。整个过程模型自己决定"下一步看哪里"，而不是我预先写死 pipeline。这个体验和传统 CV pipeline 完全不同，它更像是在和一个实习生协作，而不是在跑一个固定程序。

3.2 Reasoning Agent 的三个核心组件

拆开来看，2025 年的多模态 Reasoning Agent 基本都包含这三个部分：

第一是感知-行动循环（perception-action loop）。模型每一步要么输出一个"思考"（thought），要么输出一个"动作"（action），动作可以是"裁剪图像某区域""调用 OCR 工具""查询数据库"等。这个循环的终止条件是模型输出最终答案。这个设计直接借鉴了语言 Agent 的 ReAct 框架，但多模态的难点在于动作空间是连续的——裁剪区域是一个连续坐标，不像文本 Agent 那样动作是离散的。

第二是工具调用接口。2025 年主流做法是给模型一套预定义工具，比如 crop、zoom、ocr、detect、calculate，模型通过特殊 token 调用。这里有个工程细节很关键：工具的返回结果怎么塞回上下文。如果是图像裁剪，返回的是一张新图，你得决定是重新编码成视觉 token 还是转成文本描述。我试过两种，重新编码效果好但显存吃紧，转文本省资源但丢信息。最后我的方案是：关键区域重新编码，非关键区域转文本摘要。

第三是反思机制（reflection）。模型在给出答案后，可以选择"我再检查一遍"。这个机制在数学推理里已经被验证有效，多模态里同样管用，尤其是在计数、空间关系这类容易出错的任务上。我实测下来，加一层反思能让计数任务的准确率提升 5 到 8 个点，代价是推理时间翻倍。所以是否开反思，取决于你的场景对延迟的容忍度。

3.3 训练 Reasoning Agent 的数据从哪来

这是 2025 年最实际的问题。Reasoning Agent 需要的是带推理轨迹的数据，但互联网上没有现成的"看图推理步骤"数据。2025 年主流的做法有三条路：

• 用强模型蒸馏：拿 GPT-4V 级别的模型，对一批图像生成推理轨迹，然后拿来训练小模型。这条路成本高但见效快，缺点是蒸馏出来的轨迹风格单一，模型容易学成"复读机"。
• 规则合成：针对特定任务（比如图表问答、文档审核），用程序生成推理轨迹。比如图表问答，你可以用代码解析图表数据，然后反向生成"先看坐标轴、再看图例、最后读数值"的轨迹。这条路数据质量高，但覆盖面窄。
• 拒绝采样 + 强化学习：让模型自己生成多条轨迹，用最终答案对不对做奖励，筛选出正确轨迹再训练。这条路 2025 年下半年开始流行，效果最好但工程复杂度最高。

我自己的经验是：起步阶段用规则合成，中期用蒸馏扩量，后期用拒绝采样精调。直接上强化学习容易崩，因为多模态的奖励信号比纯文本噪声大得多。

3.4 一个具体的 Reasoning Agent 实现拆解

拿一个我实际做过的"多模态商品审核 Agent"举例，流程拆解如下：

输入是一张商品主图加一段商品描述，任务是判断图文是否一致、是否有违规内容。Agent 的推理过程是这样的：

1. 全局扫描：模型先看整图，输出一个初步判断"图中是一件红色连衣裙，描述说是蓝色，可能不一致"。
2. 局部放大：模型决定裁剪裙子区域，放大后再看，确认颜色。
3. 工具调用：调用一个颜色识别工具，返回 RGB 值，确认是红色。
4. 交叉验证：再看描述文本，提取颜色词，确认是"蓝色"。
5. 结论：图文不一致，标记为可疑。

这个流程里，第 2 步和第 3 步是 Agent 自己决定的，不是我写死的。实现上，我用的是一个 7B 的多模态模型做基座，外挂三个工具，训练数据是 5000 条人工标注的推理轨迹。训练用了 LoRA，单卡 A100 跑了大概 18 小时。上线后，在测试集上的准确率是 91%，比不带 Agent 的 baseline 高了 12 个点。

这里有个细节值得说：工具调用的成功率比模型本身的推理能力更影响最终效果。我一开始颜色识别工具用的是开源模型，准确率只有 85%，导致整个 Agent 的准确率被拖累。后来换成一个专门微调过的颜色分类器，准确率到 97%，Agent 整体准确率立刻上去了。所以做 Agent 不要只盯着基座模型，工具的质量同样关键。

4. 2026 年：World Model 为什么成了多模态的新关键词

4.1 World Model 和多模态的交集在哪

World Model 这个概念本身不新，强化学习里早就有，指的是一个能预测环境下一状态的模型。但 2026 年它和多模态结合，产生了一个新的含义：模型不只要理解当前的多模态输入，还要能预测"如果采取某个动作，下一时刻的多模态观测会是什么"。

举个例子，你给模型一张厨房的照片，问它"如果我把水杯推到桌子边缘，接下来会发生什么"。传统多模态模型只能描述当前图像，而 World Model 要能生成"水杯掉落、水洒出来"的预测，甚至生成对应的未来帧。这个能力对机器人、自动驾驶、具身智能至关重要，因为智能体必须能在脑子里模拟行动后果，才能做出安全决策。

2026 年这个方向火起来，直接原因是视频生成模型的成熟。当模型能生成高质量、时序一致的视频时，它天然就具备了一个"视觉世界模拟器"的雏形。多模态在这里的角色是提供条件——文本描述目标、图像提供初始状态、动作序列提供干预，模型输出未来的多模态观测。

4.2 World Model 的三个技术支柱

拆开来看，2026 年的多模态 World Model 依赖三个技术：

第一是时序一致的多模态表征。你不能每一帧独立编码，那样预测出来的未来帧会闪烁。主流做法是用一个时序 Transformer，把连续帧的视觉 token 和文本 token 一起建模，保持跨帧的一致性。这里的关键参数是时间窗口长度，太短学不到长程依赖，太长显存扛不住。我看到的多数工作用的是 16 到 32 帧的窗口。

第二是动作条件化。World Model 必须能接受"动作"作为输入，否则它只是一个视频预测器。动作可以是离散的（比如"左转""抓取"），也可以是连续的（比如关节角度）。多模态在这里的作用是把动作和视觉、语言对齐，让模型理解"抓取"这个动作在视觉上对应什么。

第三是长程 rollout 的稳定性。预测一步容易，预测一百步难，因为误差会累积。2026 年有一批工作专门研究这个问题，思路包括：在训练时加入噪声增强、用多步预测损失、引入一个"不确定性估计"模块，当模型不确定时主动停止 rollout。这个方向目前还没完全解决，是 2026 年最活跃的研究点之一。

4.3 从 Reasoning Agent 到 World Model 的演进逻辑

这两者不是替代关系，而是递进关系。Reasoning Agent 解决的是"当前状态下该做什么"，World Model 解决的是"做了之后会怎样"。一个完整的具身智能体，应该是Agent 负责决策，World Model 负责模拟，两者配合。

我 2026 年初做过一个小实验，把这两个模块拼起来：Agent 提出一个动作，World Model 模拟这个动作的后果，如果后果是"撞到障碍物"，Agent 就换一个动作。这个"提议-模拟-修正"的循环，在简单的 2D 导航任务上效果很好，成功率比纯 Agent 高了 20 多个点。当然，这个实验规模很小，离真实机器人还有距离，但它验证了World Model 作为 Agent 的"安全网"是可行的。

从工程角度看，这个组合的代价是推理成本翻倍甚至三倍，因为每一步都要跑一次 World Model。所以短期内它更适合对安全性要求高、对延迟不敏感的场景，比如工业机器人、医疗辅助，而不是实时对话。

5. 三年脉络的横向对比与选型建议

5.1 三个阶段的核心差异

把 2024 到 2026 这三个阶段放在一起对比，差异非常清晰：

这张表我自己在选型时经常拿出来看。如果你的任务是标准的图文理解，2024 年的 Fusion 方案已经足够，没必要上 Agent；如果你的任务需要多步决策、调用外部工具，那 Agent 是必须的；如果你要做具身智能、机器人控制，那 World Model 是绕不开的，但要做好长期投入的准备。

5.2 不同场景的选型建议

场景一：电商图文审核。这类任务的核心是"判断图文是否一致"，属于感知+浅推理。我的建议是用 2024 年的 Fusion 方案加一个轻量 Agent，不需要 World Model。基座选 7B 级别的多模态模型，视觉塔用 SigLIP，融合用交错插入，工具挂一个 OCR 和一个属性识别。这套方案单卡就能跑，成本可控。

场景二：工业质检。这类任务对细粒度要求极高，而且往往需要多步推理（先定位缺陷、再分类、再判断严重程度）。建议用 Agent 方案，工具挂检测模型和分类模型。注意工业场景的数据分布和自然图像差异很大，基座模型一定要在自己的数据上微调，否则效果会很差。

场景三：具身智能/机器人。这类任务必须上 World Model，而且要接受它目前不成熟的事实。建议先用仿真环境做验证，别直接上真机。World Model 的训练数据可以从仿真里大量生成，成本比真机采集低得多。

场景四：多模态 RAG。这类任务的核心是检索+生成，Agent 的价值在于"决定检索什么"。建议用 Agent 方案，但工具主要是检索器，不需要 World Model。这里有个坑：检索器的召回率直接决定 Agent 的上限，所以别在检索上省钱。

5.3 一个容易被忽略的工程问题：推理延迟

不管哪个阶段，推理延迟都是落地的硬约束。我实测过几组数据，供参考：

• 纯 Fusion 模型（7B），单张 A100，处理一张图+一段文本，延迟约 0.8 秒。
• 加 Agent（平均 3 步推理），延迟涨到 2.5 秒。
• 加 World Model（rollout 10 步），延迟涨到 8 秒以上。

这个数据说明什么？Agent 和 World Model 的延迟是数量级增长，不是线性增长。所以如果你的场景要求实时响应（比如 1 秒内），那基本只能停留在 Fusion 阶段。要上 Agent，得先想清楚延迟预算。

6. 实操中的常见问题与排查技巧

6.1 多模态模型训练不收敛怎么办

这是我最常被问到的问题。排查顺序建议如下：

1. 先检查视觉塔是否冻结。如果视觉塔在训练，而学习率又设得和 LLM 一样大，很容易把预训练好的视觉表征训崩。我的经验是视觉塔学习率设为 LLM 的 1/10，或者干脆冻结前几层。
2. 检查投影层的初始化。视觉 token 投影到语言空间的那个 MLP，初始化不好会导致训练初期 loss 爆炸。建议用较小的初始化方差，或者先单独训投影层几个 epoch。
3. 检查数据里的模态比例。如果某个模态占比过低，模型会忽略它。建议做模态平衡采样。
4. 检查 batch size 和梯度累积。多模态模型对 batch size 敏感，太小会导致梯度噪声大。如果显存不够，用梯度累积，但要注意BN 层（如果有）在累积时统计量会不准。

6.2 Agent 工具调用失败怎么排查

工具调用失败通常有三类原因：

• 格式错误：模型输出的工具调用格式不对，比如 JSON 少了个括号。解决办法是在训练数据里加入格式错误的负样本，让模型学会避免。
• 参数错误：格式对了但参数不对，比如裁剪坐标超出图像范围。解决办法是在工具侧加参数校验，越界时返回错误信息让模型重试。
• 工具本身失败：比如 OCR 服务超时。解决办法是加超时重试，并在重试失败后让模型走降级路径。

我自己的做法是给每个工具写一个"错误信息模板"，当工具失败时返回结构化的错误描述，模型看到后能理解发生了什么并调整策略。这个细节看起来小，但能显著提升 Agent 的鲁棒性。

6.3 World Model 预测发散怎么处理

World Model 最头疼的问题是长程 rollout 发散。我试过几个办法：

• 加噪声增强：训练时给输入加噪声，让模型学会在噪声下保持稳定。这个办法简单有效，但噪声强度要调，太大会影响正常预测。
• 多步预测损失：不只用一步预测的 loss，而是用未来 K 步的 loss 加权求和。这样模型会学到长程一致性。
• 不确定性估计：让模型输出一个不确定性分数，当分数超过阈值时停止 rollout。这个办法能避免"越预测越离谱"，但需要额外训练一个不确定性头。

实测下来，多步预测损失 + 不确定性估计的组合效果最好，但训练成本也最高。如果资源有限，先上噪声增强，能解决 60% 的发散问题。

6.4 常见问题速查表

7. 我个人在这三年里最深的几点体会

第一点，多模态的进步不是线性的，是跳跃的。2024 年大家还在卷融合结构，2025 年突然就跳到 Agent，2026 年又跳到 World Model。这意味着你如果只盯着当前热点，很容易在下一个跳跃点被甩下。我的做法是保持对相邻领域的关注，比如视频生成、强化学习、机器人，因为这些领域的进展往往会在一两年后渗透到多模态里。

第二点，工程能力比论文复现能力更重要。我见过太多人能把论文复现到 95% 的指标，但一落地就崩，因为真实数据的分布、延迟要求、成本约束，论文里都不会写。能跑通 demo 和能上线之间，隔着十万八千里。

第三点，别迷信大模型。7B 的模型在特定任务上微调后，往往能打过 70B 的通用模型。我自己的商品审核 Agent 就是 7B 基座，效果比直接调 API 好得多，成本还低一个数量级。关键是你的数据和你的工具，才是真正的护城河。

最后分享一个我最近在用的技巧：在做 Agent 时，把"思考"和"动作"分开训练。先让模型学会生成高质量的思考（用蒸馏数据），再让它学会根据思考选择动作（用强化学习）。分两阶段训练比端到端训练稳定得多，而且每一阶段都容易调试。这个技巧我在三个项目里验证过，都有效。