你有没有被 AI 这样坑过——
你问它「咱们内部 V3 接口怎么调」,它用最自信的语气,给你编出一个根本不存在的参数,还贴心地附上一段「示例代码」。
你信了,上线翻车了。回去质问它,它依然信誓旦旦。
这真不是它坏,是它「嘴硬」——大模型只记得训练截止那天的事,之后的一切一概不知,却打死不肯承认「我不会」。
这个毛病,专业上叫幻觉(Hallucination)。而对付它的解法,今天一次讲透:RAG。
一句话看懂 RAG
RAG(Retrieval-Augmented Generation,检索增强生成) = 别让模型凭空编,让它先翻书、再开口:先查资料,查到再答,抄了还要标出处。
📌 本文地图
① 三阶段:图书馆、学霸和小抄
② 术语黑话词典(面试/评审装 X 必备)
③ 检索三兄弟:老实人、文艺青年和组合拳
④ 进阶算法变体:各路「外挂」
⑤ 怎么知道它干得好不好?
⑥ 给落地者的忠告
一、三阶段:图书馆、学霸和小抄
整个 RAG 就三步,你可以把它想象成一座图书馆:
① 索引(Indexing):管理员把一本本书拆成一页页、甚至一小段,贴好标签,按「主题相似度」摆上书架。这就是Chunking(切分)+ Embedding(向量化)+ 向量库。
② 检索(Retrieval):你抛来一个问题,管理员瞬间翻出最相关的几页,递给你Top-K条「小抄」。
③ 生成(Generation):学霸拿着小抄,结合你的问题组织语言,还顺手把「哪一页」标成引用。
二、术语黑话词典(面试/评审装 X 必备)
Chunking(文档切分)
把长文档切成小段。切太碎——学霸看不懂上下文;切太大——一段塞八百个主题,检索等于没检。这是门「切肉」的艺术,切多了怕疼,切少了怕噎。
Embedding(向量化)
把一句话变成一串数字,让语义相近的词在向量空间里当邻居。于是「猫」和「喵星人」住隔壁,「猫」和「路由器」被发配到两个星系。
Vector DB(向量数据库)
专门存向量的「高级 Excel」。你丢个向量进去,它几毫秒告诉你「谁和你最像」。Milvus、FAISS、Chroma、Qdrant,名字一个比一个科幻。
余弦相似度
衡量两个向量多「投缘」的尺子——不看长度只看夹角,夹角越小越有缘。
ANN / HNSW(近似最近邻)
向量太多时穷举比对会慢到怀疑人生。HNSW 用「图 + 跳表」的思路,牺牲 0.1% 精度换 99% 速度,典型的「差不多先生」哲学。
Top-K
一次给学霸塞几条小抄。K 太大,上下文塞爆还混入噪音;K 太小,漏掉答案。调 K 是 RAG 工程里最日常的「玄学」。
BM25 / TF-IDF
老派关键词匹配,本质是强化版Ctrl+F。不懂联想,但精确可靠,专治「专有名词、型号、编号」这类向量容易眼瞎的场景。
Rerank(重排序)
初筛可能把「关系户」排前面。于是请个更贵的评委(cross-encoder)把 Top 几十条再看一遍,把真命天子踢到最前。
Context Window(上下文窗口)
学霸一次能看多少字。塞太多小抄会「内存溢出」(其实是窗口装不下)。
三、检索三兄弟:老实人、文艺青年和组合拳
稀疏检索(BM25)——老实人
只会认字面,关键词对上了就给你,不懂言外之意——你搜「汽车」,它绝不给你「座驾」。
稠密检索(Embedding)——文艺青年
懂语义懂近义,但偶尔「想太多」——你搜精确型号「BCM-331」,它给你一筐语义相近、型号全错的东西。
混合检索(Hybrid)+ RRF——让老实人和文艺青年组队
一个管字面一个管内涵,最后由RRF(倒数排名融合)当裁判合并排名。这是生产环境的「基本盘」。
最后再来一道Rerank终审,齐活。
四、进阶算法变体:各路「外挂」
Self-RAG:模型的自我怀疑人格,自问「要不要搜?搜得准不准?要不要换个角度?」全程自纠错。
CRAG:给检索装个质检员,质检不合格直接打回,回退 Web 搜索重来。
HyDE:先让模型瞎编一个假设答案,再拿这个「假的」去搜真的——「先射箭,再画靶」,专治短查询信息量不足。
RAG-Fusion / Multi-Query:一个问题拆成好几个问法并行搜,再融合——广撒网多捞鱼。
GraphRAG:把知识建成关系网(知识图谱),专治「隔着三层关系的八卦」(A 和 B 合作、B 的老板是 C,那 A 和 C?),这种向量天然抓瞎。
RAPTOR:文档做成分层摘要树,「大事看梗概、小事看细节」。
Agentic RAG:给 RAG 装上大脑和手脚,能拆解、多步检索、调工具,自己规划自己干——当下最卷的方向。
五、怎么知道它干得好不好?
评估分「检索」和「生成」两半,先看检索端有没有把有用的小抄翻出来:
Recall@K:Top-K 里捞到了多少比例的相关文档,想「全捞到」。
MRR(平均倒数排名):第一条相关文档排在第几位,越靠前越好。
Hit Rate(命中率):Top-K 里有没有至少一条相关,只看「有/无」。
nDCG(排序质量):看整体排序质量,位置 + 相关性一起算。
生成端则是 RAGAS 框架里的RAG Triad:
Faithfulness 忠实度:答案有没有忠于检索到的原文,防「夹带私货」。
Answer Relevance 相关性:答案切不切题。
Context Relevance切题度:检索到的上下文是不是真相关。
一句话总结:检索看「抄没抄到点子上」,生成看「编没编瞎话」。
六、给落地者的忠告(少走弯路版)
① 别一上来就 GraphRAG / Agentic。先用「混合检索 + RRF + Rerank」把 90% 场景跑通,剩下再上重武器。
② 切分和 Embedding 是地基。地基歪了,后面检索再花哨也白搭。
③ 评估指标前置。没有 RAG Triad 兜底,调参就是「玄学 × 玄学」,越调越糊涂。
④ 能精确匹配的用关键词,能懂语义的用向量,两个都上最稳。
学AI大模型的正确顺序,千万不要搞错了
🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!
有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!
就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!
我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~