企业官网建设流程全解析

pdf版下载链：https://pan.quark.cn/s/9cc742e9c2a8

12 多模态大模型：CLIP、视觉语言模型与多模态 RAG

更新： 2026-10-12

时效说明：模型/API 格局截至 2026-10；模型 ID、输入限制和 preview/GA 状态应在上线时重新核对官方模型页。本文不转述缺少模型卡与评测协议的跑分。

📋 目录

• 多模态基础与评估
• CLIP、BLIP/BLIP-2、LLaVA
• 多模态检索与 RAG
• 2026 模型格局与生成式多模态

一、多模态基础

Q1: 什么是多模态学习？为什么重要？

多模态模型联合处理文本、图像、音频、视频、PDF、传感器或 UI 状态。核心问题：

• Representation：各模态如何编码。
• Alignment：不同模态的语义如何对齐。
• Fusion：何时、在哪一层交互。
• Generation：输出文本、图像、音频或动作。
• Grounding：答案能否绑定到 bbox、页码、时间戳或 UI 元素。

常见架构：

• 双塔：图像和文本独立编码，在共享空间比较，适合检索。
• 视觉编码器 + projector/resampler + LLM：常见 VLM。
• 原生多模态 Transformer / MoE：多模态 token 更深度联合。
• Omni/Realtime：同时建模音频、视频和文本时间关系，可流式输入输出。

Q2: 如何评估多模态模型？

按能力分开：

• 通用视觉推理：MMMU / MMMU-Pro。
• 数学与图表：MathVista、ChartQA。
• 文档/OCR：DocVQA、TextVQA、OCRBench。
• 视频：Video-MME、MVBench 等。
• 音频/语音：ASR WER、说话人/事件理解、端到端任务成功。
• Grounding：bbox IoU、pointing、时间定位。
• 多模态 Agent：UI 任务成功率、错误动作率和副作用。

评测陷阱：

• 同一图片 resize、tile、帧采样和 token budget 不同，结果不可直接横比。
• 题目可仅靠文本答对，不能证明使用了视觉。
• OCR 泄漏、benchmark contamination 和 judge 偏差。
• 只报总分掩盖文档、图表、空间、视频等子域短板。
• 图片中的 prompt injection 必须加入安全测试。

推荐保存 image/video hash、预处理参数、prompt、模型 snapshot、sampling 和逐样本输出。

二、CLIP 模型

Q3: CLIP 的核心思想是什么？如何训练？

CLIP 使用图像编码器和文本编码器，把配对图文映射到同一向量空间。对一个 batch 的 N 对样本：

image_emb = normalize(image_encoder(images)) text_emb = normalize(text_encoder(texts)) logits = image_emb @ text_emb.T / temperature loss = (CE(logits, diagonal) + CE(logits.T, diagonal)) / 2

对角线是正样本，batch 内其他组合是负样本。大 batch 提供更多负样本，但并非“固定 N=32768 才有效”。

能力边界：

• 适合开放词表分类、图文检索和 embedding。
• 单一全局向量对细粒度关系、计数、OCR 和空间推理有限。
• 相似度不是概率，也不直接生成自然语言。

Q4: CLIP 如何做 Zero-shot 分类？为什么有效？

把类别变成文本 prompt：

"a photo of a {class}" "a blurry photo of a {class}" ...

对每类多个模板编码并聚合，再与图像向量算相似度。它利用图文预训练把分类标签转为自然语言概念。

可靠做法：

• 在验证集选择模板，不在测试集调参。
• 处理类别别名、上下位词和语言。
• 校准温度和类先验。
• 与线性 probe/fine-tuning baseline 比较。

三、BLIP 与视觉语言桥接

Q5: BLIP 和 CLIP 有什么区别？为什么需要 BLIP？

• CLIP 是双编码器，目标主要是对比学习，擅长检索/分类。
• BLIP 同时使用图文对比、图文匹配和语言建模，可做检索、caption、VQA。
• BLIP 的 captioning/filtering 思路用于清洗带噪网页图文对。

不能简单说 BLIP “全面优于” CLIP。检索吞吐、生成能力和任务适配不同。

Q6: BLIP-2 有什么改进？Q-Former 是什么？

BLIP-2 在冻结图像编码器与冻结 LLM 之间加入 Querying Transformer：

• 一组可学习 query 从视觉特征提取固定数量的信息。
• Q-Former 通过 cross-attention 访问图像特征。
• 其输出映射到 LLM embedding 空间。

两阶段思想：

1. 学习视觉—语言表示与对齐。
2. 学习让冻结 LLM 根据视觉表示生成。

价值是降低端到端训练所有大组件的成本；限制是固定 query bottleneck 可能丢细节，后续模型使用更灵活的 resampler/projector 或原生多模态训练。

四、应用实战

Q7: 如何用多模态模型做图文检索系统？

基本流水线：

ingest → decode/normalize → OCR/caption/object/metadata → image/text embeddings → vector + sparse indexes → hybrid retrieval → multimodal reranker → grounded result

两种索引：

• 同空间 embedding：文本查图、图查图、图查文。
• 分模态索引：OCR/BM25、caption dense、image dense 分路召回后融合。

关键评测：

• Recall@k、nDCG@k、跨模态 query 分桶。
• OCR、细粒度属性、相似图去重。
• 图片版权/ACL 与缩略图泄漏。
• embedding 模型升级时的双写、回填和版本隔离。

Q8: 如何评估和优化多模态 RAG？

分解评估：

• 解析：页、图、表、bbox、reading order 是否正确。
• 检索：相关页面/区域是否召回。
• 生成：陈述是否由具体区域支持。
• 引用：页码、bbox、timestamp 是否正确。
• 安全：文档内注入能否触发越权工具。

优化路线：

• 页面截图 + OCR/layout 双表示。
• 按文档结构 chunk，不把表格与表头分离。
• 文本 sparse/dense 与页面图像 embedding 混合召回。
• 用 VLM 对候选页面/区域重排。
• 回答时要求 region-level evidence。

五、VLM 架构与多模态 RAG

Q9: LLaVA 如何工作？视觉 Encoder 如何连接 LLM？

经典 LLaVA：

image → CLIP ViT → visual tokens → projector → LLM token space text → tokenizer ------------------------------→ LLM

训练通常包含：

• 特征对齐：冻结较多组件，训练 projector。
• 多模态 instruction tuning：训练 projector，并按配置解冻 LLM/vision tower。

需要纠正的旧说法：

• 不是所有版本都固定 256 个 patch token。
• Vision token 有空间/位置编码；不能说“CLIP patch 没位置信息”。
• decoder-only LLM 通常仍使用 causal attention；视觉 token 作为前缀可彼此/被后续文本访问，具体 mask 由实现决定，不能概括成“文本输入双向”。
• “8×A100 训练 4/12 小时”属于特定论文/实现条件，不能当通用工程估算。

Q10: 多模态 RAG 如何实现图文混合检索？

推荐三路：

query ├─ BM25/OCR/layout text ├─ text↔image shared embedding └─ caption/summary dense embedding → fusion → VLM rerank → grounded answer

若 query 本身有图片，再加入 image-to-image 和 image-to-text 路径。文档表格可单独结构化为 HTML/CSV，并保留 page/bbox。

不要把所有模态强塞一个向量：

• 单向量便宜、易 ANN，但丢局部信息。
• 多向量/patch/token late interaction 更细粒度，但存储和计算高。
• 实践常用单向量首召 + 多模态 cross-encoder/VLM 重排。

六、截至 2026-10 的真实模型格局

截至 2026-10，先按“输入/输出模态、部署方式”分，而不是只列品牌：

托管通用模型

• OpenAI：将 GPT-6 Astra / GPT-6.1 Sol / GPT-6 Luna 作为主力层级；通用模型支持文本与图像输入、文本输出。图像/音频/实时能力需看专用模型/endpoint，不能把“GPT-6”泛称为所有模态均原生输出。
• Anthropic： 列出 Fable 5.1、Opus 5、Sonnet 5、Haiku 4.5；均支持文本和图像输入、文本输出与 tool use。其核心 API 是 Messages。
• Google： 支持文本、图像、视频、音频、PDF 输入和文本输出；Gemini 3.8 Live面向低延迟音频交互，支持文本/图像/音频/视频输入与文本/音频输出。

开放权重 / 自托管

• Gemma 4 model card开放权重，多种 dense/MoE 尺寸；文本和图像输入，部分尺寸支持音频，文本输出。
• Qwen2.5-VL：开放权重视觉语言模型，覆盖文档、图表、视频和视觉 Agent；它仍是可验证的开源基线，但部署时应再查 Qwen 当前模型卡。
• Qwen2.5-Omni：开放的端到端 omni 路线，文本/图像/音频/视频输入并流式输出文本和语音。
• LLaVA/InternVL 等研究与开源家族仍有价值，但版本、许可证、训练数据和 serving 支持需逐模型卡核对。

格局判断：

• “能看图”不等于会 OCR、视频、audio 或图像生成。
• “多模态”必须列清输入和输出模态。
• 闭源模型看数据条款、region、snapshot；开权重看许可证、显存、量化和 serving。
• 跑分必须来自同一评测版本和预处理；官方 model card 也不能替代自有数据评测。

Q11: Gemma 4 有哪些架构与部署要点？

旧文把“Gemma 4 2026-04 发布”写成未证实未来信息；截至 2026-10，官方 Gemma 4 model 已可核验。

官方说明的重点：

• 开放权重，含预训练和 instruction-tuned variants。
• 文本/图像输入；E2B、E4B、12B 还支持音频。
• 包含 dense 与 MoE 尺寸，覆盖端侧到服务器。
• 最长 context 与具体输入限制按尺寸不同，应查模型卡，不概括成单一数字。
• Google 提供 QAT checkpoints，适合移动/本地量化部署评估。

选型仍需实测 OCR、中文、长图、音频、tool use、量化后质量和目标硬件；“端侧重大突破”是评价，不是可验收指标。

七、高频追问：AI 生图方向

Q12: 生图子 Agent 用什么模型？原理是什么？

主流仍以 diffusion / flow matching 路线为核心：

1. 文本/图像条件编码。
2. 在像素或 latent 空间从噪声/简单分布逐步生成。
3. VAE/decoder 还原图像。
4. safety、watermark/provenance、upscale/edit 等后处理。

模型选择看：

• 文生图、图生图、局部编辑、角色一致性、文字渲染。
• 商用许可与训练数据政策。
• API 延迟/价格或自托管显存。
• 安全过滤、内容凭证和可追溯性。

Agent 只负责把需求结构化、选择工具、迭代和验收；不要让它绕过生成服务的安全策略。

Q13: 生图多样性由预设规则还是 LLM 判断？

两层都要：

• 硬规则：尺寸、数量、seed、风格 allowlist、品牌色、禁用内容。
• LLM/VLM：语义理解、构图差异、与 brief 一致性。
• embedding/感知指标：候选间相似度，检测重复。
• 人类：品牌、高风险和主观审美最终确认。

多样性与准确性冲突。可以对 prompt/seed/layout 做受控变体，再用 VLM rubric 筛选，而不是让模型无边界“自由发挥”。

Q14: 如何评估生图准确性？

按维度：

• Prompt adherence：对象、数量、属性、关系、文字。
• Composition/aesthetics：构图、可读性、品牌规范。
• Identity/consistency：人物、角色、商品跨图一致。
• Safety/legal：敏感内容、商标、肖像、版权风险。
• Diversity：候选间语义/视觉距离。
• Human preference：盲测 pairwise，报告分歧。

CLIPScore 只衡量粗粒度图文相似，不擅长计数、否定和空间关系。应组合：

• VLM 按结构化 rubric 判断并给 bbox/证据。
• OCR 检查文字。
• detector/segmenter 检查对象与数量。
• 人工抽检校准 VLM judge。

八、多模态生产优化

• 图片预处理：限制像素/页数，按任务 tile/crop；缓存内容 hash。
• 视频：先镜头/关键帧采样，再对疑难片段高帧率复核。
• 音频：VAD、说话人、时间戳与噪声处理。
• 批处理：同尺寸/同模态分桶，避免 padding 浪费。
• Serving：检查模型在 vLLM/SGLang/TensorRT-LLM 的当前多模态支持，不假设文本模型功能完全可用。
• 缓存：多模态 prefix/cache key 必须包含媒体内容 hash 和预处理版本。
• 安全：文件解码 sandbox、SSRF 防护、OCR 注入和跨租户缓存隔离。

📝 速记卡片

• CLIP 双塔适合检索；BLIP 可生成；BLIP-2 用 Q-Former 桥接冻结视觉与 LLM。
• VLM 常见结构是 vision encoder + projector/resampler + LLM。
• 多模态 RAG 要保存 page/bbox/timestamp 证据。
• “多模态”必须明确输入、输出、实时性和工具能力。
• 2026 格局同时包含 GPT-6、Claude 5、Gemini 3.8，以及 Gemma 4/Qwen 等开放路线。
• 模型卡跑分只作线索，最终以统一预处理和私有测试集决策。