企业官网建设流程全解析

QMedia 纯本地多模态模型实战：CLIP、BGE 与 Ollama LLM 全离线部署，私有数据零外泄

【免费下载链接】QmediaAn open-source AI content search engine designed specifically for content creators. Supports extraction of text, images, and short videos. Allows full local deployment (web app, RAG server, LLM server). Supports multi-modal RAG content Q&A.项目地址: https://gitcode.com/gh_mirrors/qm/Qmedia

QMedia 是一款面向内容创作者的开源 AI 内容搜索引擎，支持图文与短视频的内容抽取和多模态 RAG 问答。本文带你完成 QMedia 纯本地多模态模型实战：CLIP 图片嵌入、BGE 文本嵌入与 Ollama 本地 LLM 全离线部署，让你的私有素材始终留在本机，实现私有数据零外泄。

为什么要选"纯本地"多模态搜索引擎？🔒

当你想对自己的图片、图文笔记、短视频做语义搜索和 AI 问答时，调用云端大模型 API 意味着素材要离开本机——对个人创作隐私和商业素材都是风险。QMedia 的解决方案是把整条链路搬回本地：

• CLIP 图片嵌入模型：把图片和文字映射到同一向量空间，实现"以文搜图"
• BGE 文本嵌入模型：对文本内容做语义向量化，支撑语义检索
• Ollama 本地 LLM：承担视频摘要、RAG 问答等语言任务
• 本地 OCR + Faster Whisper：图片文字识别、视频语音转写，全程离线

检索和问答完全基于本地库，答案还会通过内容卡片标注素材来源，方便回溯：

QMedia 架构速览：三件套各司其职

QMedia 拆成三个可独立部署的服务，按需组合、灵活伸缩：

这种分层设计的妙处在于：模型层与 RAG 应用层解耦，换模型只需改配置，不用动业务代码；资源紧张时也可以只跑mm_server，把它当作一个独立的图片编码、文本编码、视频转写、OCR 的 API 服务嵌入你自己的系统。

全离线部署四步走 🚀

第一步：一键克隆 QMedia 项目

git clone https://gitcode.com/gh_mirrors/qm/Qmedia

第二步：Ollama 本地 LLM 部署步骤

先安装 Ollama，然后拉取一个本地 LLM。个人电脑推荐轻量的 8B 量化版，性能略有损失但足够日常问答：

ollama run llama3:8b-instruct-q4_0

如果你有独立显卡的服务器，可以上llama3:70b-instruct获得更强的问答质量（记得同步修改mmrag_server/config.py中的model_name）。

第三步：配置 CLIP 与 BGE 模型并启动 mm_server

用 conda 建一个干净的虚拟环境，安装依赖后启动：

conda create -n qllm python==3.11 source activate qllm cd mm_server pip install -r requirements.txt cp config.py.local config.py python main.py

config.py中几个核心配置项决定了"纯本地多模态"的能力边界：

模型初始化逻辑分别在mm_server/services/clip_service.py（CLIP）和mm_server/services/llm_service.py（BGE）中，都封装成了带缓存的服务，首次调用时加载、到期自动释放。

第四步：启动 RAG 服务与 Web 端

# 内容搜索与 RAG 问答服务 cd mmrag_server python main.py # Web 前端 cd qmedia_web pnpm dev

启动时mmrag_server会自动读取assets/medias里的演示素材，调用mm_server抽取结构化信息并存入本地数据库。如果你偏好容器化，仓库根目录的docker-compose.yml一键拉起全部三个服务。

CLIP、BGE 与 Ollama LLM 分别负责什么？

理解分工后，你就知道每一步数据都发生了什么：

1. CLIP（图片嵌入）：把图片编码成向量，同时把你的搜索词也编码成同空间向量——"搜图"本质上变成了向量相似度计算。
2. BGE（文本嵌入）：对图文正文、笔记做语义向量化，支撑关键词之外的"意思相近"检索。
3. Ollama LLM（语言任务）：基于视频转写做内容摘要，并作为 RAG 问答的最终生成器，回答时引用检索到的素材。
4. OCR / Faster Whisper（信息抽取）：图片里的文字、视频里的语音，先被"翻译"成文本，才能被上面的模型理解。

RAG 服务侧的模型接线逻辑在mmrag_server/services/llm/ollama_embedding.py中，嵌入模型与 Ollama LLM 的组合在这里统一装配。

keep_alive 参数：管好本地模型的内存 💾

本地部署最怕"模型加载完就占着显存不放手"。QMedia 对每个模型都做了生命周期管理：

• mm_server 侧：每个模型配置都有独立的keep_alive（单位秒），闲置超时后自动释放，下次调用再加载。
• Ollama 侧：默认 5 分钟不自动释放，也可以用keep_alive精细控制——-1常驻内存、0响应完立即卸载、3600保持 1 小时。

小显存机器可以把video_keep_alive设为1（转完立刻释放），大模型按需加载，互不挤占。

部署验证：API 文档与 Web 体验 ✅

启动后访问以下地址，确认服务全部就绪：

• mm_server模型服务文档：http://localhost:50110/docs
• mmrag_server检索问答文档：http://localhost:8001/docs

mm_server 的 API 文档页面展示了图片、视频、嵌入等分组接口：

浏览器打开 Web 端（端口 50112），就能用自然语言检索演示素材并发起多模态问答了。

换成你的私有数据：素材目录配置 🗂️

想让搜索引擎真正服务于自己的内容库？只需两步：

assets ├── mm_pseudo_data.json # 内容卡片数据（可替换为自有数据） └── medias # 图片/视频文件（替换为自有素材）

将assets/medias里的示例素材替换成你自己的图片和视频，再删除历史生成的db文件后重启服务，模型会自动重新抽取信息、建立向量索引。示例素材长这样（仓库自带）：

从此，你的素材库既支持语义搜索，也支持 AI 问答，而所有数据从头到尾没有离开过你的机器。

常见问题 FAQ

Q：没有独立显卡能跑吗？可以。CLIP ViT-B/32、BGE-small、Faster Whisper small 和 llama3:8b 量化版都能在 CPU 上运行，只是速度较慢。

Q：想换更强的嵌入模型怎么办？直接修改mm_server/config.py里的clip_model_name/hf_embedding_model_name即可，模型层与业务层是解耦的。

Q：能只当 API 服务用吗？可以。单独启动mm_server后，它就是一个独立的图片编码、文本编码、视频转写、OCR 服务，任何项目都能通过 API 接入。

总结 🎯

QMedia 把CLIP 图片嵌入 + BGE 文本嵌入 + Ollama 本地 LLM + 本地 OCR/Whisper组装成了一套完整的多模态内容搜索引擎：四步部署即可全离线上线，素材零上传、答案有来源、模型可热换。对于手握大量私有图文与短视频素材的创作者来说，这是一条兼顾隐私与实用性的 AI 内容检索路径。

【免费下载链接】QmediaAn open-source AI content search engine designed specifically for content creators. Supports extraction of text, images, and short videos. Allows full local deployment (web app, RAG server, LLM server). Supports multi-modal RAG content Q&A.项目地址: https://gitcode.com/gh_mirrors/qm/Qmedia