第 9 篇注意力机制与 Transformer从“关注重点”到大模型基础深度学习入门专栏 · 第 9 篇适合读者已经阅读前两篇内容希望继续系统学习深度学习核心方法与实践流程的初学者摘要本文介绍注意力机制和 Transformer 的核心思想解释模型如何根据 Query、Key、Value 判断哪些信息更重要。文章用“读文章划重点”的例子说明注意力权重的直观含义并比较 RNN 与 Transformer 在序列建模方式上的差异。文中通过简短代码演示 softmax 权重和加权求和帮助读者理解 Transformer 成为大模型基础的关键原因。关键词注意力机制Self-AttentionTransformerQueryKeyValue大模型1. 注意力机制的直观理解人在读文章时不会对所有词平均分配注意力。理解“这只猫因为太饿所以叫得很响”时“猫”“饿”“叫”通常比一些功能词更重要。注意力机制的目标就是让模型自动学习哪些位置更值得关注。注意力核心公式为Attention(Q,K,V)softmax(QKTdk)V Attention(Q,K,V)softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)VAttention(Q,K,V)softmax(dkQKT)V其中Q 是 QueryK 是 KeyV 是 Value。相似度越高权重越大。2. 代码示例softmax 注意力权重importnumpyasnp scoresnp.array([2.0,1.0,0.1])weightsnp.exp(scores)/np.exp(scores).sum()print(np.round(weights,3))运行结果[0.659 0.242 0.099]3. Transformer 为什么重要Transformer 由多头自注意力、前馈网络、残差连接和层归一化组成。它不依赖循环结构可以并行处理序列并直接建立远距离位置之间的联系。4. RNN 与 Transformer 的区别RNN 按时间步顺序处理序列信息需要一步步传递。Transformer 可以让任意两个位置直接计算关联因此更适合大规模并行训练。5. 代码示例Value 加权求和importnumpyasnp valuesnp.array([[1.0,0.0],[0.0,1.0],[1.0,1.0]])weightsnp.array([0.6,0.3,0.1])contextweights valuesprint(np.round(context,2))运行结果[0.7 0.4]常见误区误区一只记概念名称不理解适用场景。深度学习概念必须放回任务中理解。CNN 适合图像是因为它利用了空间局部性RNN 适合序列是因为它显式处理时间顺序Transformer 强大是因为它能直接建模全局依赖。误区二训练集结果好就认为模型好。训练集表现只能说明模型对已见样本拟合得好。真正重要的是验证集和测试集表现尤其是测试集是否独立、是否没有参与调参。误区三忽略数据质量。标注错误、样本偏差、类别不平衡和数据泄漏会直接破坏实验结论。很多项目失败不是模型不够先进而是数据基础不可靠。误区四把代码跑通等同于掌握原理。会调用框架只是第一步。能解释模型为什么有效、为什么失败、如何设计对照实验和如何分析错误样本才是真正形成能力。实践建议学习本篇内容时可以按“三步法”推进。第一步先用纸笔画出数据从输入到输出的流程确认自己知道每一步在做什么。第二步运行文中的代码并至少修改一个参数观察结果变化。第三步尝试用自己的话解释三张配图尤其要说清楚每个模块解决了什么问题。对初学者来说小实验比大工程更重要。一个能完全解释清楚的小例子往往比一个复制粘贴的大模型更能建立长期能力。本篇小结本篇围绕“注意力机制与 Transformer从“关注重点”到大模型基础”展开重点解释了相关概念为什么出现、解决什么问题以及它在深度学习完整流程中的位置。需要记住的是深度学习不是模型名称、公式和代码片段的堆叠而是数据、结构、损失、优化、评估和应用场景共同构成的系统方法。理解核心机制再通过小代码和小实验验证是最稳妥的学习方式。参考文献与推荐阅读[1] LeCun, Y.; Bengio, Y.; Hinton, G. Deep learning.Nature2015,521, 436–444. https://doi.org/10.1038/nature14539[2] Goodfellow, I.; Bengio, Y.; Courville, A.Deep Learning. MIT Press, 2016. https://www.deeplearningbook.org/[3] Nielsen, M. A.Neural Networks and Deep Learning. Determination Press, 2015. http://neuralnetworksanddeeplearning.com/[4] Géron, A.Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 3rd ed.; O’Reilly Media, 2022.[5] PyTorch Documentation. https://pytorch.org/docs/stable/index.html[6] Vaswani, A.; Shazeer, N.; Parmar, N.; et al. Attention Is All You Need.NeurIPS, 2017. https://arxiv.org/abs/1706.03762[7] Bahdanau, D.; Cho, K.; Bengio, Y. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473, 2014.
第09篇_注意力机制与Transformer
发布时间：2026/5/15 16:11:10
第 9 篇注意力机制与 Transformer从“关注重点”到大模型基础深度学习入门专栏 · 第 9 篇适合读者已经阅读前两篇内容希望继续系统学习深度学习核心方法与实践流程的初学者摘要本文介绍注意力机制和 Transformer 的核心思想解释模型如何根据 Query、Key、Value 判断哪些信息更重要。文章用“读文章划重点”的例子说明注意力权重的直观含义并比较 RNN 与 Transformer 在序列建模方式上的差异。文中通过简短代码演示 softmax 权重和加权求和帮助读者理解 Transformer 成为大模型基础的关键原因。关键词注意力机制Self-AttentionTransformerQueryKeyValue大模型1. 注意力机制的直观理解人在读文章时不会对所有词平均分配注意力。理解“这只猫因为太饿所以叫得很响”时“猫”“饿”“叫”通常比一些功能词更重要。注意力机制的目标就是让模型自动学习哪些位置更值得关注。注意力核心公式为Attention(Q,K,V)softmax(QKTdk)V Attention(Q,K,V)softmax\left(\frac{QK^T}{\sqrt{d_k}}\right)VAttention(Q,K,V)softmax(dkQKT)V其中Q 是 QueryK 是 KeyV 是 Value。相似度越高权重越大。2. 代码示例softmax 注意力权重importnumpyasnp scoresnp.array([2.0,1.0,0.1])weightsnp.exp(scores)/np.exp(scores).sum()print(np.round(weights,3))运行结果[0.659 0.242 0.099]3. Transformer 为什么重要Transformer 由多头自注意力、前馈网络、残差连接和层归一化组成。它不依赖循环结构可以并行处理序列并直接建立远距离位置之间的联系。4. RNN 与 Transformer 的区别RNN 按时间步顺序处理序列信息需要一步步传递。Transformer 可以让任意两个位置直接计算关联因此更适合大规模并行训练。5. 代码示例Value 加权求和importnumpyasnp valuesnp.array([[1.0,0.0],[0.0,1.0],[1.0,1.0]])weightsnp.array([0.6,0.3,0.1])contextweights valuesprint(np.round(context,2))运行结果[0.7 0.4]常见误区误区一只记概念名称不理解适用场景。深度学习概念必须放回任务中理解。CNN 适合图像是因为它利用了空间局部性RNN 适合序列是因为它显式处理时间顺序Transformer 强大是因为它能直接建模全局依赖。误区二训练集结果好就认为模型好。训练集表现只能说明模型对已见样本拟合得好。真正重要的是验证集和测试集表现尤其是测试集是否独立、是否没有参与调参。误区三忽略数据质量。标注错误、样本偏差、类别不平衡和数据泄漏会直接破坏实验结论。很多项目失败不是模型不够先进而是数据基础不可靠。误区四把代码跑通等同于掌握原理。会调用框架只是第一步。能解释模型为什么有效、为什么失败、如何设计对照实验和如何分析错误样本才是真正形成能力。实践建议学习本篇内容时可以按“三步法”推进。第一步先用纸笔画出数据从输入到输出的流程确认自己知道每一步在做什么。第二步运行文中的代码并至少修改一个参数观察结果变化。第三步尝试用自己的话解释三张配图尤其要说清楚每个模块解决了什么问题。对初学者来说小实验比大工程更重要。一个能完全解释清楚的小例子往往比一个复制粘贴的大模型更能建立长期能力。本篇小结本篇围绕“注意力机制与 Transformer从“关注重点”到大模型基础”展开重点解释了相关概念为什么出现、解决什么问题以及它在深度学习完整流程中的位置。需要记住的是深度学习不是模型名称、公式和代码片段的堆叠而是数据、结构、损失、优化、评估和应用场景共同构成的系统方法。理解核心机制再通过小代码和小实验验证是最稳妥的学习方式。参考文献与推荐阅读[1] LeCun, Y.; Bengio, Y.; Hinton, G. Deep learning.Nature2015,521, 436–444. https://doi.org/10.1038/nature14539[2] Goodfellow, I.; Bengio, Y.; Courville, A.Deep Learning. MIT Press, 2016. https://www.deeplearningbook.org/[3] Nielsen, M. A.Neural Networks and Deep Learning. Determination Press, 2015. http://neuralnetworksanddeeplearning.com/[4] Géron, A.Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 3rd ed.; O’Reilly Media, 2022.[5] PyTorch Documentation. https://pytorch.org/docs/stable/index.html[6] Vaswani, A.; Shazeer, N.; Parmar, N.; et al. Attention Is All You Need.NeurIPS, 2017. https://arxiv.org/abs/1706.03762[7] Bahdanau, D.; Cho, K.; Bengio, Y. Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473, 2014.
