企业官网建设流程全解析

2026 年，几乎每家公司都在做 AI 知识库。老板一句话：“把内部文档接上大模型，下周能用吗？”

然后技术负责人打开 GitHub，当场傻眼——向量数据库有 Milvus、Qdrant、Weaviate、pgvector、Chroma、FAISS，文档解析有 Docling、MinerU、Unstructured，Embedding 模型有 BGE、Qwen3、Jina、OpenAI，更别提 RAG 框架、全文检索、Reranker……30 多个开源组件，排列组合上百种。

最常见的踩坑姿势是什么？过度投资检索层优化，却低估了解析层的误差传播。Embedding 模型换了三版、Reranker 参数调了两个月，检索质量还是差。最后定位到：PDF 解析把表格拆成了碎片，双栏文档把左右栏混在一起了。文档解析质量是检索效果的上界，向量库只是逼近这个上界的手段。

这篇文章给你三套方案，按文档量对号入座，每套方案说清楚：用什么、为什么、什么时候不该用。

🗣️ 说人话：知识库不是搭乐高，你不需要从 30 个零件开始选。但技术组件之间存在接口依赖（Embedding 维度必须匹配向量库字段定义、解析输出格式必须对接切分工具），选定的零件要能拼接到一起。按你的文档量找到对应的那套方案，微调就行。

先看清全貌：知识库的 8 层技术栈

一个能用的企业知识库，至少涉及 8 层技术：

1对象存储：文档存哪？MinIO、OSS、Ceph

2文档解析：PDF/Word/PPT/扫描件怎么变成可检索的文本？Docling、MinerU、Unstructured

3文本切分：长文档怎么切才能不把语义切断？LlamaIndex、Semantic Chunker

4向量化（Embedding）：文本怎么变成向量？BGE-M3、Qwen3-Embedding、Jina

5向量存储与检索：向量存哪、怎么搜？Milvus、Qdrant、pgvector、Elasticsearch

6全文检索：关键词匹配怎么搞？Elasticsearch、Meilisearch、OpenSearch

7重排序（Rerank）：粗召回怎么精排？BGE-Reranker-v2、Qwen3-Reranker

8RAG 框架 + LLM：检索结果怎么喂给大模型？LlamaIndex、Dify、LangChain

每一层都有 3-5 个主流选择。但你不需要每一层都做独立选型——按文档规模，很多层的答案已经锁死了。

核心决策变量：不是功能，是文档量

功能对比网上到处都是。真正决定架构的变量只有三个：

1文档量（最关键的）：几千条和几千万条，架构完全不同

2文档类型：纯 Markdown/文本 vs 扫描件/表格/PPT 混合——决定解析那层的复杂度

3检索模式：纯语义搜索 vs 混合检索（向量+关键词+过滤条件）——决定要不要引入独立检索引擎

团队规模和合规需求也会影响 LLM 那层选云端还是私有部署，但那是最后一步，先把骨架搭对。

🗣️ 说人话：文档量决定架构层级，文档类型决定解析方案，检索需求决定要不要上检索引擎。其他维度都是在这三个变量确定之后的微调。

方案一：轻量级（<10 万文档，小团队）

适用场景：初创公司、团队内部 wiki、产品文档问答、合同摘要检索。

推荐技术栈

1存储：MinIO — S3 兼容，Docker 一条命令启动，社区版免费够用

2文档解析：Docling — 一个库覆盖 PDF/Word/PPT/Excel/HTML，支持 OCR，MIT 协议

3向量库 + 业务数据库：PostgreSQL + pgvector — 你没看错，不引入独立向量库。在常规测试条件下（768 维向量、HNSW 索引），pgvector 在百万级文档以下的召回率与专用向量库差距在个位数百分比以内，但运维成本几乎为零

4全文检索：PostgreSQL 内置全文索引（tsvector）或 Meilisearch — 前者零成本零运维，后者 50ms 内返回、自带中文分词

5Embedding：BGE-M3 — 智源出品，开源，中文能力一线，8192 token 上下文，支持稠密+稀疏双路召回

6RAG 框架：LlamaIndex — 文档加载、切分、索引、检索一条龙，比 LangChain 轻且专注

7LLM：云端 GPT-5.5 或 Qwen3-72B API — 数据不敏感直接用云端，成本最低

为什么这么选

这套方案的核心逻辑是少引依赖。PostgreSQL 一把梭，向量、全文、业务数据全在一个库里，不需要维护额外的向量数据库集群、搜索引擎集群。三台机器（App + PostgreSQL + MinIO）就能跑起来，运维负担跟一个普通 Web 应用差不多。

什么时候不该用这套

当你的文档超过 10 万级别，或者检索延迟要求 <100ms，pgvector 的 ANN 索引（IVFFlat/HNSW）在大数据量下性能会明显下降。这时候需要引入专用向量库。另外，如果需要复杂的全文检索（同义词、拼写纠错、分面搜索），PostgreSQL 内置全文检索也不够用。

大概成本

服务器 3 台（16C/32G），月费约 3000-5000 元。如果用云端 LLM API，按日活 100 人算，月费约 2000-5000 元。总成本控制在月均 1 万元以内。

方案二：中量级（10 万-500 万文档，中型企业）

适用场景：客服知识库、企业文档中台、研发内部问答系统、合规文档检索。

推荐技术栈

1存储：MinIO — 同上，规模化后加 Ceph

2文档解析：Docling + MinerU + PaddleOCR — 每个工具各司其职。Docling 做通用文档（Word/PPT/Excel），MinerU 专攻复杂 PDF（双栏排版、表格、公式），PaddleOCR 补扫描件和图片文字。三件套覆盖 95% 的企业文档场景

3文本切分：LlamaIndex 内置 Semantic Chunker — 按语义边界切分，比固定窗口好一个档次

4Embedding：Qwen3-Embedding-4B — 阿里通义出品，MTEB 多语言榜前排，中文能力顶流，支持 Matryoshka 灵活维度裁剪

5向量库：Qdrant（单机百万级）或 Milvus Standalone（千万级）— 独立部署，支持过滤+向量混合查询，性能比 pgvector 高一档

6全文检索：Elasticsearch — 关键词检索+同义词+拼音搜索+过滤条件，混合检索标配

7Rerank：BGE-Reranker-v2 — 粗召回 100 条 → Rerank 精排 Top 10，准确率提升 15%-30%

8RAG 框架：LlamaIndex 或 Dify — Dify 自带可视化编排、API 管理和对话界面，非技术团队也能上手

9LLM：Qwen3-72B 私有部署或 GPT-5.5 API — 建议用私有部署，文档数据不出内网

为什么这么选

这套方案的分水岭是引入了独立向量库 + 独立检索引擎 + Reranker。这三个组件是从"能用"到"好用"的关键跳跃。

为什么不是 pgvector？百万级向量以上，pgvector 的 HNSW 索引构建时间以小时计，查询延迟波动大。专用向量库在索引算法、内存管理、并发查询上做了大量优化，同样是 HNSW，Qdrant 和 Milvus 在大数据量下延迟更稳定。

为什么一定要 Reranker？Embedding 模型是把文本压缩成几百维向量，压缩过程中信息必然损失——召回阶段可能漏掉关键片段。Embedding 做粗筛（召回如 50-100 条），Reranker 用原始文本逐条计算相关性，在粗召回结果集上重新校准排序。前提是粗召回的结果集必须包含正确答案，否则 Reranker 只是对不相关的片段做精美排序。在召回率有保障的前提下，这是目前性价比最高的检索范式。

什么时候不该用这套

文档量一下冲到千万级，单机向量库扛不住，需要上 Milvus 分布式集群。另外，如果有严格的权限隔离需求（不同部门只能搜自己的文档），需要接入 Keycloak 或 LDAP。

大概成本

服务器 8-12 台（含 ES 集群 3 台、向量库 2 台、解析服务 2 台、应用服务 2 台），月费约 1.5-3 万元。Qwen3-72B 私有部署需 A100/H100 级别 GPU，月费 1-2 万元（租用）。总成本月均 3-5 万元。

方案三：重量级（500 万-亿级文档，大型企业）

适用场景：集团级知识中台、金融机构合规库、政务文档平台、多租户 SaaS 知识库。

推荐技术栈

1存储：MinIO + Ceph — 海量文档的冷热分层，Ceph 做冷数据归档

2文档解析：Docling + MinerU + LibreOffice + PaddleOCR 全链路 — 加 LibreOffice 是为了处理老旧的 .doc/.xls/.ppt 格式和政府公文

3Embedding：Qwen3-Embedding-8B — MTEB 多语言榜首（70.58 分），100+ 语言，32K 上下文

4向量库：Milvus 分布式集群 — K8s 原生，水平扩展，十亿级向量在内存充足、索引预加载条件下可达到毫秒级延迟；实际生产环境中延迟通常在十到百毫秒级，支持流式增量更新

5全文检索：Elasticsearch 集群 — 选 ES 而不是 Meilisearch/TypeSense 的原因：生态最完整、分布式成熟度最高、运维团队最好招人

6Rerank：BGE-Reranker-v2 或 Qwen3-Reranker-8B — 双路精排可选（BGE 做召回 → Qwen3 做终排）

7RAG 框架：LlamaIndex + n8n 工作流 — LlamaIndex 做检索管线，n8n 串联审批/通知/回调等业务流程

8权限：Keycloak — 开源，支持 SSO/LDAP/SAML/OIDC，文档级权限隔离

9部署与监控：Kubernetes + Helm + Prometheus + Grafana — 全套可观测

10LLM：Qwen3-235B 或 DeepSeek-V4 私有部署 — 数据不出门

为什么这么选

到了这个量级，架构选择的核心不再是功能，是稳定性和运维闭环。分布式、高可用、监控告警、权限体系、灾备方案——这些东西比"哪个向量库快 5ms"重要 10 倍。

Milvus 在企业级向量库中生态最完整：Zilliz Cloud 提供了全托管方案、社区活跃（GitHub 30K+ Stars）、有专门的 K8s Operator、与 LlamaIndex/LangChain/Dify 全打通。这是选择它的核心理由，不是因为它比 Qdrant 快多少。

Keycloak 做权限隔离是这个量级的刚需。金融、政务场景下，不同部门、不同职级的人能搜到的文档范围不一样，没有细粒度权限，知识库根本不敢上线。

大概成本

服务器 20-50 台（含 ES 集群、Milvus 集群、解析集群、应用集群），月费 5-15 万元。GPU 集群（LLM 私有部署）月费 3-8 万元。加上运维人力（2-3 人），月均总成本 15-30 万元。

四个关键组件的选型一句话

这部分是帮你在方案内部做微调的。每个组件只给结论，不铺开对比。

向量数据库：Milvus vs Qdrant vs pgvector vs Weaviate

1pgvector：已经有 PostgreSQL 且向量量 < 100 万，选它。省运维、事务一致、零额外成本

2Qdrant：需要独立向量库但不想搞太复杂，Rust 编写性能优秀，API 设计简洁，部署五分钟搞定

3Milvus：向量量 > 500 万、需要分布式、有 K8s 运维能力，选它。企业级功能最全

4Weaviate：需要开箱即用的多租户+混合检索+自动向量化，选它。自带 Embedding 集成，但中文生态不如前三者

文档解析：Docling vs MinerU vs Unstructured

1Docling：通用场景首选。格式覆盖极广：PDF、Office 文档、Markdown、HTML、EPUB、邮件等纯文本与版式文档（不直接支持音视频等多媒体格式解析），MIT 协议，IBM 背书

2MinerU：复杂 PDF 专精。双栏排版、学术论文、多模态表格，在开源工具中版式还原能力突出。但仅支持 PDF 和图片，生产环境中仍需针对企业特有的 PDF 生成规范（如扫描件 DPI、字体嵌入策略）进行后处理适配

3Unstructured：需要一条龙服务的选它。解析+切分+清洗一条龙。核心库（unstructured）是 Apache 2.0 协议，但特定组件（如unstructured-api）采用 AGPL：作为内部工具使用通常不受影响，作为对客 SaaS 服务对外提供时需开源衍生作品或购买商业授权

🗣️ 说人话：Docling 处理你能想到的几乎所有格式，MinerU 处理最难搞的 PDF，两个一起用覆盖 99% 场景。Unstructured 适合 PoC 阶段快速验证，生产环境需确认具体组件的 License 合规性。

Embedding 模型：BGE-M3 vs Qwen3-Embedding vs Jina

1BGE-M3：中文 Embedding 的开山鼻祖，社区最成熟，参考资料最多。8192 token 上下文，支持稠密+稀疏双路。缺点是 2024 年的模型，已经不是最新

2Qwen3-Embedding：2025 年新贵，MTEB 多语言榜首（70.58），0.6B/4B/8B 三个尺寸灵活选，支持 MRL 维度裁剪和指令微调。中文场景目前最优选

3Jina Embedding：多语言均衡，API 服务做得好（Jina AI Cloud），不想自建 Embedding 服务的可以直接用

选型建议：自建选 Qwen3-Embedding（最新最强），想省事用 BGE-M3（资料最多），不想折腾用 Jina Cloud API。

全文检索：Elasticsearch vs Meilisearch

1Elasticsearch：功能最全、生态最强、运维最重。方案二和三的默认选择

2Meilisearch：Rust 重写，<50ms 返回，部署 5 分钟，中文分词开箱即用。适合中小规模、不想维护 ES 集群的团队。但和大厂生态（Kibana、Logstash、Beats）没法比

选型自检清单

回答下面 6 个问题，你就能定位到上面的方案：

1文档总量多少？ → < 10 万 → 方案一；10 万-500 万 → 方案二；> 500 万 → 方案三

2文档类型复杂吗？ → 纯文本为主 → 解析层可简化；大量扫描件/表格/PPT → 必须上 MinerU + PaddleOCR

3需要混合检索吗？ → 仅语义搜索 → 可以不要 ES；需要关键词+过滤+排序 → 必须上 ES

4有现成的 PostgreSQL 吗？ → 有且文档量 < 100 万 → pgvector 优先；没有或文档量很大 → 独立向量库

5数据能出内网吗？ → 能 → 云端 LLM API（便宜省心）；不能 → 私有部署 Qwen3/DeepSeek

6有多少运维人力？ → 1 人或没有 → 方案一 + 云端 API；有专职运维 → 方案二/三

三个最容易踩的坑

1上来就搞集群。几千条文档上了 Milvus 分布式+K8s+监控全家桶，光环境搞了三周。几千条文档，pgvector 足够，等你真的到了百万级再迁移也不晚。迁移向量库的代价远比提前过度设计小

2只调向量库，不调解析层。花了两个月优化 Embedding 和 Reranker，发现检索质量还是差。最后定位到：PDF 解析把表格拆成了碎片，双栏文档把左右栏混在一起了。垃圾进垃圾出，解析层是地基

3忽略 Reranker。Embedding 召回直接喂给 LLM，又贵又慢又不准。加一个 Reranker 通过精排减少输入 LLM 的上下文长度（通常可减少 50-80% 的 Token 消耗），在高查询量场景下，节省的 LLM 调用费用可覆盖 Reranker 的部署成本；低查询量场景下需权衡总体成本

🗣️ 说人话：别一上来就玩大的，方案一能解决 80% 的问题。剩下的 20%，等你的文档量和业务复杂度真的涨到那个程度了再升级。架构可以渐进式演进，但要注意：数据层的迁移成本高（向量导出、索引重建通常需要停机），最好在第一天就预留扩展接口。知识库的骨架搭对了，后续只是添砖加瓦。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

👇👇扫码免费领取全部内容👇👇

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2026行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

7. 资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇