企业官网建设流程全解析

加载txt(TextLoader)，加载csv(CSVLoader)，加载JSON(JSONLoader)，JSONLoader使用指定的jq结构来解析JSON文件。jq是一个轻量级的命令行JSON处理器 ，可以对JSON格式的数据进行各种复杂的处理，包括数据过滤、映射、减少和转换，是处理 JSON 数据的首选工具之一 。

1 RAG简介

Retrieval直接翻译过来即“检索”，Retrieval模块包括与检索步骤相关的所有内容，例如数据的获取、切分、向量化、向量存储、向量检索等模块。

1.1 大模型的局限

(1)知识滞后
LLM训练数据有截止日期 ，无法及时反映最新的信息或动态变化。比如：难以应对诸如“请推荐当前热门影片”等时间敏感性问题。
(2)知识缺失
大型语言模型(LLM)的训练依赖于网络上海量公开的静态数据 ，而某些特定领域(如企业内部资料、专有技术文档等)或你的私有数据是缺乏的，导致模型回复时生成不准确甚至虚构的回复。
(3)幻觉
LLM在生成回答时，可能会 “胡言乱语” ，这种现象称之为 LLM的“幻觉”。“幻觉”可以体现为错误陈述、编造事实、错误的复杂推理或者复杂语境下理解能力不足等。

(3-1)幻觉问题的严重性：
大模型生成内容的不可控，尤其是在金融和医疗领域等领域， 一次金额评估的错误，一次医疗诊断的失误，哪怕只出现一次都是致命的 。但，对于非专业人士来说可能难以辨识。目前还没有能够百分