企业官网建设流程全解析

day: 26
date: 2026-09-02
keyword_en: Attention Mechanism
keyword_zh: 注意力机制
category: 模型架构与训练
reading_time: 8

一句话说清：让模型读句子时，自己决定该多看哪几个字的方法。

1. 它到底在说什么

注意力机制（Attention Mechanism）是深度学习里一种“按需分配关注度”的计算方法。它解决的问题很朴素：当模型处理一句话里的某个字时，不应该把所有字一视同仁，而应该自动判断——此刻最该参考前面或后面的哪些字，各参考多少。

打个比方。你读“猫坐在垫子上，因为它很软”这句话，看到“它”的时候，脑子里会自动回看前文，判断“它”指的是“垫子”而不是“猫”。这种“根据当前需要，回头给相关词更高权重”的能力，就是注意力的直觉来源。区别在于，人靠常识做判断，模型靠一组可学习的数值权重做加权求和。它不神秘，本质就是“谁和当前任务更相关，就多听谁的”。

2. 为什么现在这个词很热

它从一条“补丁”长成了“地基”，时间线很清楚：

• 2014 年 9 月，Dzmitry Bahdanau、Kyunghyun Cho 与 Yosh