这次我们来看一个关于AI研究方向的讨论:经典AI研究是否因为对现代AI有帮助而仍在继续?这个话题在Hacker News上引发了广泛讨论,核心在于探讨在深度学习和大模型(LLM)占据主流的今天,那些非深度学习的、更“经典”的AI方法(如符号推理、搜索算法、专家系统等)是否还有价值,以及它们如何与当前的研究范式互动。
对于开发者、研究者和技术决策者来说,理解这个问题至关重要。它不仅仅是学术争论,更关系到技术选型、研究资源分配以及对AI未来发展的判断。本文将从技术实践的角度,拆解经典AI的核心能力、与现代AI(尤其是LLM)的互补关系,并通过实际场景分析其持续存在的价值。我们会重点关注经典AI方法在哪些具体问题上仍不可替代,以及如何将它们与LLM等现代技术结合,构建更强大、更可靠的系统。
1. 核心能力速览:经典AI vs. 现代AI
在深入讨论之前,我们先通过一个表格快速厘清经典AI与现代AI(以LLM为代表)的核心特征与能力边界。这有助于我们理解它们各自的“主场”。
| 能力维度 | 经典AI (符号AI、搜索、规划等) | 现代AI (深度学习/LLM) |
|---|---|---|
| 核心范式 | 基于规则、逻辑、符号推理、状态空间搜索 | 基于数据驱动、概率统计、端到端学习 |
| 可解释性 | 高。推理过程清晰,步骤可追溯。 | 低。多为“黑箱”,决策依据难以精确解释。 |
| 数据需求 | 低。依赖专家知识定义规则,无需海量数据。 | 极高。依赖大规模标注或无标注数据进行训练。 |
| 泛化能力 | 弱。严格在定义好的规则和领域内工作,泛化到新场景困难。 | 强。能从数据中学习模式,具备一定的零样本/少样本泛化能力。 |
| 逻辑与推理 | 强。擅长精确的逻辑演算、定理证明、规划步骤。 | 弱。常出现逻辑错误、事实混淆(幻觉)。 |
| 常识与知识 | 显式。知识被明确编码为规则或知识库。 | 隐式。知识隐含于模型参数中,不精确且可能矛盾。 |
| 计算特性 | 通常确定性,输入相同输出必相同。 | 通常随机性(带有温度参数),相同输入可能有不同输出。 |
| 典型技术 | 专家系统、定理证明器(如Prolog)、A*搜索、贝叶斯网络、规划算法(如STRIPS) | Transformer、CNN、RNN、扩散模型、大语言模型(GPT、LLaMA等) |
从这个对比可以看出,两者并非简单的“新旧替代”关系,而是各有所长。经典AI在需要精确性、可靠性和可解释性的场景中优势明显,而现代AI在处理模糊性、从数据中学习复杂模式方面无可匹敌。
2. 为什么经典AI研究仍在继续?
基于上述能力对比,经典AI研究持续进行的原因变得清晰。它并非“古董”,而是在现代AI生态中扮演着关键的补充和增强角色。
2.1 解决LLM的固有缺陷:幻觉与不可靠性
LLM的“幻觉”问题是其落地应用的最大障碍之一。在医疗诊断、法律分析、金融交易等高风险领域,一个错误的“编造”信息可能导致严重后果。经典AI方法,特别是基于规则的验证系统和知识图谱推理,可以用来约束和校验LLM的输出。
- 实践思路:构建一个“LLM + 知识库/规则引擎”的混合系统。LLM负责理解自然语言 query 并生成初步回答或执行计划,然后由规则引擎根据领域知识库对回答的逻辑一致性、事实正确性进行校验和修正。
- 技术栈示例:
LangChain/LlamaIndex+Neo4j(知识图谱)+ 自定义规则引擎。LLM生成Cypher查询语句从知识图谱中检索事实,再结合这些事实生成最终回答,大幅降低幻觉。
2.2 实现复杂任务规划与分解
LLM在生成连贯文本上表现出色,但在解决需要多步骤、长期规划、资源分配和回溯的复杂问题上(如机器人任务规划、游戏AI、业务流程自动化),其表现并不稳定。经典的规划算法(如PDDL规划器)在这方面更为成熟可靠。
- 实践思路:使用LLM将自然语言指令翻译成规划领域定义语言(如PDDL)描述的问题,然后交由高效的经典规划器求解,最后再将规划结果解释为可执行动作。
- 场景:家庭服务机器人收到指令“帮我做一顿番茄炒蛋”。LLM将其分解并形式化为涉及“移动、拿取、开关火、翻炒”等动作和“番茄、鸡蛋、锅、油”等对象的规划问题,规划器计算出最优动作序列。
2.3 提供可解释性与可信保障
在许多监管严格的行业(如航空、自动驾驶、医疗设备),算法的决策过程必须可审计、可解释。纯深度学习模型难以满足这一要求。将经典AI的符号推理作为系统的“白盒”组件,可以提升整体系统的可信度。
- 实践思路:在基于视觉的缺陷检测系统中,CNN负责识别潜在缺陷区域,随后一个基于规则的推理系统根据缺陷的几何特征、位置、与周围元件的关系等,依据明确的产品标准,给出最终的分类和判定理由。
2.4 数据稀缺或领域知识主导的场景
在某些垂直领域(如特定工业流程、古老文献分析),可能没有足够的数据来训练一个有效的深度学习模型。然而,该领域的专家知识却非常丰富。这时,构建一个专家系统是更可行、更经济的方案。
- 实践思路:利用
CLIPS、Drools等规则引擎,将领域专家的经验编码成IF-THEN规则。系统可以像专家一样进行诊断或推荐,且每一步推理都可追溯。
2.5 作为现代AI系统的底层组件
许多现代AI算法内部依然依赖经典算法。例如:
- 强化学习:依赖动态规划、蒙特卡洛树搜索(MCTS)等经典方法进行策略评估和探索。
- 图神经网络:其消息传递机制与传统的图算法思想一脉相承。
- 组合优化:神经网络用于预测,但最终的调度、路径规划仍需调用或结合经典的优化求解器(如OR-Tools)。
3. 混合智能系统架构实践
将经典AI与现代AI结合,构建混合智能系统,是目前最前沿也是最具实用价值的研究和应用方向。下面以一个“智能文档分析与问答系统”为例,展示如何架构这样的系统。
3.1 系统目标
用户上传一份技术合同PDF,可以用自然语言提问,如:“本合同中的争议解决条款约定的仲裁机构是什么?”、“双方的主要义务有哪些?请列出要点。” 系统需要给出准确、基于文本证据的回答。
3.2 纯LLM方案的局限性
如果直接将整个PDF文本扔给LLM(即使通过长上下文窗口),可能会面临:
- Token长度限制与成本:长文档可能超出上下文窗口,或导致极高的API成本。
- 关键信息遗漏:LLM可能无法精准定位到分散在文档各处的相关信息。
- 幻觉风险:对法律条款的总结可能偏离原文或自行编造。
3.3 混合架构设计
我们引入经典AI中的信息检索和规则提取模块。
graph TD A[用户输入自然语言问题] --> B(LLM: 问题理解与查询重写) B --> C{检索器<br/>经典AI/向量搜索} C --> D[相关文本片段] D --> E(LLM: 基于片段的答案生成) E --> F[初步答案] F --> G{规则引擎/校验器<br/>经典AI] G --> H[最终可信答案] subgraph “文档处理管道(预处理)” I[原始PDF] --> J(OCR/文本提取<br/>经典AI) J --> K[纯文本] K --> L(文本分块与索引<br/>经典AI) L --> M[向量索引<br/>元数据索引] end C -.-> M步骤拆解:
文档预处理(经典AI主导):
# 示例:使用PyPDF2或pdfplumber进行文本提取(规则明确,稳定) import pdfplumber def extract_text_from_pdf(pdf_path): with pdfplumber.open(pdf_path) as pdf: full_text = "" for page in pdf.pages: full_text += page.extract_text() + "\n" return full_text # 使用spaCy或自定义规则进行文本分块(按章节、段落) import spacy nlp = spacy.load("en_core_web_sm") def chunk_text_by_sentence(text, chunk_size=5): doc = nlp(text) sentences = [sent.text for sent in doc.sents] chunks = [' '.join(sentences[i:i+chunk_size]) for i in range(0, len(sentences), chunk_size)] return chunks索引构建(结合经典与向量):
- 经典索引:为每个文本块建立基于关键词、章节标题、段落号的元数据索引。
- 向量索引:使用Sentence-Bert等嵌入模型将文本块转换为向量,存入
FAISS或Chroma等向量数据库。
问答流程(混合智能):
- 查询理解:用户提问 -> LLM将问题重写为更利于检索的关键词或查询语句。
- 检索:结合关键词检索(经典,基于元数据索引)和语义检索(现代,基于向量索引),召回最相关的文本片段。这一步充分利用了经典检索的精确性和语义检索的泛化能力。
- 答案生成:将问题和检索到的文本片段一起提交给LLM,要求其“根据以下上下文”生成答案。这极大限制了幻觉。
- 答案校验(可选但重要):对于关键事实(如日期、金额、机构名),可以使用正则表达式(经典规则)从检索片段中直接抽取,并与LLM的生成答案进行比对校验。
3.4 技术栈选型参考
- LLM层:
OpenAI GPT-4/3.5、Anthropic Claude、开源模型如Llama 3、Qwen(本地部署)。 - 编排框架:
LangChain、LlamaIndex。它们提供了连接LLM、检索器、工具链的标准接口。 - 检索与存储:
Elasticsearch(经典全文检索)、FAISS/Chroma/Weaviate(向量数据库)、Neo4j(知识图谱)。 - 规则引擎:自定义Python逻辑、
Drools、IBM ODM。 - 文档处理:
pdfplumber/PyPDF2(PDF)、Tesseract(OCR)、spaCy/NLTK(NLP预处理)。
4. 经典AI研究的现代演进方向
经典AI并未停滞,而是在与机器学习融合中进化。以下是一些活跃的研究方向:
- 神经符号人工智能:这是核心交叉领域。旨在构建既拥有神经网络的学习能力,又具备符号系统的推理和可解释性的模型。例如,让神经网络学习如何生成符号规则,或用符号逻辑来指导神经网络的训练。
- 可微推理:将逻辑推理过程(如知识图谱推理)设计成可微分的计算模块,使其能够嵌入到深度学习模型中,进行端到端训练。
- 基于模型的强化学习:虽然RL属于现代AI,但其“模型”部分——对环境动力学进行建模——常使用经典的概率图模型或规划算法,与无模型RL结合以提高样本效率。
- 算法推理:训练神经网络来模拟经典算法的执行过程,例如学习排序、搜索或动态规划,使网络能够解决训练分布之外、更大规模的同类问题。
5. 对开发者与研究者的启示
- 不要非此即彼:现代AI(尤其是LLM)是强大的工具,但非万能。在构建生产级系统时,应首先分析问题本质:是否需要精确推理、可解释性、或在数据稀缺下工作?如果是,经典AI方法可能是更好的起点或必要补充。
- 掌握“胶水”技能:未来最有价值的技能之一,是懂得如何将不同的AI范式(神经的、符号的、搜索的)像乐高积木一样组合起来,解决复杂问题。熟悉
LangChain这类编排工具是一个好的开始。 - 重视基础:理解搜索算法(A*)、规划(STRIPS)、逻辑编程(Prolog)、知识表示等经典AI概念,不会过时。这些知识能帮助你理解混合系统的底层原理,并设计出更优雅的架构。
- 关注工具链:关注那些致力于桥接符号与子符号AI的工具和库,如
PyReason、DeepProbLog、TensorLog等。
6. 总结
回到最初的问题:“经典AI研究是否因为对现代AI有帮助而仍在继续?” 答案是肯定的,而且这种“帮助”不是边缘化的修补,而是深层次的互补与增强。
经典AI研究仍在继续,因为它解决了现代AI(特别是数据驱动的深度学习)的阿喀琉斯之踵:不可靠性、不可解释性、对数据的过度依赖以及在复杂推理上的不足。在追求通用人工智能的道路上,将神经网络的感知与学习能力,与符号系统的推理与知识能力相结合,已成为一条公认的重要路径。
对于实践者而言,这意味着技术选型时多了一个维度。下次当你面对一个难题时,可以问自己:这个问题中,哪些部分适合用LLM的模糊匹配和生成能力?哪些部分又必须依赖经典方法的精确规则和确定性逻辑?答案往往是一个混合系统。在这个混合智能的时代,最强大的系统,将是那些能巧妙融合经典与现代AI智慧的结晶。