企业官网建设流程全解析

• 大模型
• 多模态
• 基础模型
• 模型量化
• 本地部署
• 计算机视觉
• openBMB

MiniCPM-V-4.7-35B-A3B-GPTQ 是 MiniCPM-V 4.7 视觉多模态 MoE 大模型的 GPTQ（W4A16）量化版本。本文整理该模型的完整参数配置清单：包括官方推荐的采样参数（temperature、top_p、top_k 等）默认值与调优建议、apply_chat_template的高级参数，以及 GPTQ 量化方案的完整解读，帮你快速完成推理配置。

模型概况：35B 总参数、3B 激活的 MoE 多模态模型

MiniCPM-V 4.7 是 MiniCPM-V 系列的首个 MoE 架构模型，支持单图、多图与视频理解。仓库中的关键信息：

💡 由于 MoE 的稀疏激活特性，该模型在 iPhone 17 Pro Max 上可跑出 13+ tokens/s 的解码速度（约 3 GB 内存），这也是"35B-A3B"命名的由来。

配置文件清单：仓库里有哪些关键文件

推荐采样参数清单：官方 instruct 模式参数表

官方在 README.md 中给出的 instruct 模式推荐采样参数如下，直接照抄即可：

⚠️ 注意 generation_config.json 中的默认值是temperature=1.0、top_k=20、top_p=0.95（见 generation_config.json#L3-L10）。默认配置更"随机保守"，而官方推荐值（temperature=0.7、top_k=100）在问答与视觉理解任务上表现更好。建议在generate()中显式传入上表参数覆盖默认值。

最小可运行的推理片段

generated_ids = model.generate( **inputs, downsample_mode="16x", # 必须与 apply_chat_template 保持一致 max_new_tokens=512, # 官方推荐 instruct 模式采样参数 do_sample=True, temperature=0.7, top_p=0.95, top_k=100, min_p=0.0, presence_penalty=0, repetition_penalty=1.03, )

高级参数调优：图像与视频处理参数

除采样参数外，README.md 提供了 5 个高级参数，全部通过apply_chat_template传入，用于在"视觉细节"与"推理成本"之间权衡：

默认值可在 processor_config.json 中核对，例如downsample_mode="16x"、max_slice_nums=9、max_num_frames=128、stack_frames=1、use_image_id=true。

按场景的参数组合（速查）

• 🔍OCR / 文档 / 小目标识别：downsample_mode="4x"+max_slice_nums=36+use_image_id=True，牺牲速度换细节。
• 🖼️常规图像问答：downsample_mode="16x"+max_slice_nums=9（默认）即可。
• 🎬长视频理解：max_slice_nums=1+max_num_frames=128+use_image_id=False；动作快的视频把stack_frames提到3或5，max_new_tokens相应放大到 2048。
• ⚡端侧 / 低显存：保持16x压缩 + 适度降低max_num_frames，配合 GPTQ 4 位权重可显著降低内存占用。

📌 常见坑：downsample_mode只传给apply_chat_template而没传给generate()，会导致占位 token 数量与视觉编码器输出不匹配而报错。

GPTQ 量化配置详解：recipe.yaml 与 config.json

本仓库是 W4A16 GPTQ 量化版本，量化方案由 recipe.yaml 定义（llm-compressor 的GPTQModifier）：

量化后的完整配置记录在 config.json 的quantization_config字段（quant_method: compressed-tensors，format: pack-quantized）。

🧠解读：只对专家路由的专家矩阵做 4 位量化，注意力、门控、视觉编码器保留全精度——这既省显存，又保住了 MoE 路由精度与视觉质量，是端侧流畅推理的关键设计之一。

架构参数速查：text_config 关键项

以下为 config.jsontext_config中值得了解的结构参数（一般无需改动，供排查问题与估算显存时参考）：

视觉侧（vision_config）：27 层 ViT、hidden_size=1152、patch_size=14，原始输入分辨率 980、缩放基准 448，并通过merge_kernel_size=[2,2]+merger_times=1做视觉 token 合并。

常见问题速答

Q1：为什么建议用官方推荐参数而不是 generation_config 默认值？默认temperature=1.0 + top_k=20适合探索性生成；官方推荐的temperature=0.7 + top_k=100 + top_p=0.95是在图像/视频问答基准上验证过的 instruct 模式最优组合，回答更准确稳定。

Q2：4 位量化会明显掉点吗？本仓库采用"W4 权重 + BF16 激活 + 关键模块不量化"的策略，配合block_size=128细粒度分组，精度损失远小于整层粗粒度量化，官方也将其定位为性能-效率帕累托前沿方案。

Q3：显存不够怎么办？依次尝试：downsample_mode="16x"（已是高压缩）、降低max_slice_nums、视频降低max_num_frames、单卡改为device_map="auto"多卡分片。

总结

配置 MiniCPM-V-4.7-35B-A3B-GPTQ 的核心就三件事：

1. 采样参数：temperature=0.7, top_p=0.95, top_k=100, min_p=0.0, presence_penalty=0, repetition_penalty=1.03；
2. 视觉参数：按任务在4x/16x压缩与max_slice_nums之间权衡，图像 36 / 视频 1；
3. 量化参数：无需干预，recipe.yaml已定义好 W4A16、block_size=128、静态 actorder 的 GPTQ 方案。

照着本文清单配置，即可在图像、视频、OCR 等不同场景下快速获得稳定输出。

• 大模型
• 多模态
• 基础模型
• 模型量化
• 本地部署
• 计算机视觉
• openBMB