Seq2Seq 科普漫画从编码器解码器到大语言模型的起源大家好我是小可今天和我的好朋友博士一起带大家深入了解一个改变了整个AI世界的架构——Sequence to Sequence (seq2seq)。如果你用过 ChatGPT、Claude、或者任何大语言模型那你其实每天都在使用 seq2seq 的后代。因为 seq2seq 首次提出了编码器和解码器的核心思想这是所有现代大模型一直沿用至今的底层逻辑。让我们一起穿越回 seq2seq 的起点看看它是如何一步步演化成大语言模型的Scene 1大语言模型的起源小可好奇如今大语言模型风靡全球追根溯源的话它们最初是从哪里来的博士沉稳现代大语言模型的初始版本公认为是 Sequence to Sequence 架构。因为它首次提出了编码器和解码器的核心思想这也是后续所有大模型一直沿用至今的底层逻辑。很多人以为大语言模型是从 GPT 开始的但实际上GPT 的祖先可以追溯到 seq2seq。seq2seq 提出的编码器-解码器架构是大模型世界的始祖级设计。Seq2Seq 的历史地位Seq2Seq 架构最初用于机器翻译任务——把一种语言翻译成另一种语言。它的核心创新在于变长输入到变长输出传统模型要求输入输出长度一致seq2seq 打破了这个限制编码器-解码器范式先将信息编码压缩再解码还原上下文向量用固定长度的向量传递编码信息这个架构后来演化为Seq2Seq → Attention → Transformer → BERT → GPT → ChatGPT每一步都在解决前一代的瓶颈但核心的编码-解码思想从未改变。Scene 2伊利亚与seq2seq小可惊讶seq2seq是谁提出来的博士娓娓道来伊利亚当时还在谷歌Google Brain团队他们团队提出了这个架构彻底改变了机器翻译和自然语言处理的底层格局。后来他更是在这个架构基础上主导训练出了轰动世界的ChatGPT。Ilya Sutskever伊利亚·苏茨克维是深度学习领域的传奇人物。他在 Google Brain 期间参与了 seq2seq 的研发后来共同创立了 OpenAI并主导了 GPT 系列的训练。从seq2seq到ChatGPT的技术传承时间里程碑关键人物/团队2014Seq2Seq 架构提出Google Brain (Sutskever, Vinyals, Le)2015Attention 机制引入Bahdanau, Cho, Bengio2017Transformer 架构Google (Vaswani et al.)2018BERT / GPT 发布Google / OpenAI2022ChatGPT 发布OpenAI (Ilya 主导)这是一条清晰的技术传承线。没有 seq2seq就没有后面的故事。Scene 3seq2seq架构全景小可疑惑seq2seq的原理到底是什么博士形象比喻其实非常简单类似于我们日常生活中发送压缩包。先把文件压缩成一个小包发送给朋友朋友再把它解压还原出来。seq2seq就是这个逻辑。压缩与解压的类比就像你要给朋友发送一个很大的视频文件编码器压缩用压缩软件把文件打包成 ZIP上下文向量压缩包一个紧凑的 ZIP 文件解码器解压朋友收到后用解压软件还原原始文件Seq2Seq 的工作方式完全一样输入文本→ 编码器压缩 →Context Vector→ 解码器还原 →输出文本关键区别是输入和输出可以是不同长度的句子。英文 “What a great job you did” 翻译成中文 “你做了一个很棒的工作”两个句子的词数完全不同但 seq2seq 能完美处理。Scene 4编码器是什么小可追问编码器负责压缩它是怎么工作的博士耐心解释编码器接收输入文本一步步提取特征最终聚合成一个特征向量。它通常由多层RNN、GRU或LSTM组成每个时间步都会产生一个隐状态。编码器的结构编码器通常由以下组件构成输入层 → Embedding层 → 多层RNN/GRU/LSTM → 隐状态序列 → Context VectorEmbedding层把每个词转换为高维向量RNN层逐步处理序列产生隐状态最后一层的最后一个隐状态被提取为 Context Vector编码器的任务是把任意长度的输入文本压缩成一个固定长度的特征向量。这个向量就是编码器的精华总结也是它送给解码器的唯一礼物。Scene 5RNN编码过程小可好奇每一步都会产生隐状态博士举例说明对。比如输入序列「What a great job you did」每个词经过网络处理后产生一个隐状态。网络会不断把信息往后压缩直到最后一层最后一个时间步的隐状态。信息层层压缩以 “What a great job you did” 为例时间步输入词隐状态说明t1Whath₁处理第一个词t2ah₂融合前两步信息t3greath₃融合前三步信息t4jobh₄融合前四步信息t5youh₅融合前五步信息t6didh₆融合全部信息 ← 最终Context Vector每个隐状态 hₜ 都包含了前面所有时间步的信息。网络不断把信息往后压缩直到最后一个隐状态 h₆它包含了整个句子的全部信息。Scene 6上下文向量小可理解最后取出来的这个向量就是全部信息的压缩博士肯定没错。我们把它叫做上下文向量Context Vector它记录了前面所有层、所有时间步的所有信息。这是编码器送给解码器的唯一礼物。Context Vector 的数学表达c[d1,d2,d3,...,dn]c [d_1, d_2, d_3, ..., d_n]c[d1,d2,d3,...,dn]这是一个固定长度的特征向量不管输入文本有多长最终都被压缩成这个大小的向量。特点固定长度不管输入多长都压缩成这样信息瓶颈容量有限容易丢失细节唯一传递通道编码器和解码器之间唯一的桥梁问题当输入文本很长时一个固定长度的向量无法容纳所有信息前面的内容很容易被遗忘。这就是 seq2seq 的致命瓶颈。Scene 7被丢弃的中间输出小可不解那编码过程中产生的中间output呢博士惋惜在基础seq2seq中编码器中间时间步的output在训练和预测时从来没有被用到直接被丢弃了。这是基础架构的一大浪费。巨大的信息浪费编码器在每一步都产生了 output但只有最后一个隐状态被使用✓ 最后隐状态 hₙ → 上下文向量 c → 被使用 ✗ 中间时间步的output → 全部被丢弃 → 浪费这是基础 seq2seq 架构的一大浪费后来的Attention 机制就是为了解决这个问题让解码器能回头访问编码器的所有隐状态和 output不再只依赖最后一个上下文向量。Scene 8解码器架构小可思考解码器拿到上下文向量后是怎么还原输出文本的博士解释解码器和编码器类似也是多层RNN结构。它拿到上下文向量后结合目标语言的训练文本一步一步把翻译后的文本还原出来。解码器的两个输入解码器接收两个输入上下文向量 c从编码器传来的压缩信息目标语言文本用于训练的参考答案输出翻译后的目标文本上下文向量 c ─┐ ├──→ 解码器(RNN) ──→ 翻译文本 目标文本 ───┘关键特点输入输出可以不同长度。英文 6 个词可以翻译成中文 7 个词seq2seq 能自动处理这种长度变化。Scene 9训练阶段Teacher Forcing小可好奇训练的时候是怎么教的博士比喻我们采用了一种叫「强制教学」的方法。为了让模型快点收敛直接把目标序列当作输入喂给解码器和上下文向量拼接起来。Teacher Forcing 强制喂饭训练流程上下文向量 c → 复制 n 份与目标序列拼接输入解码器计算预测和目标的损失反向传播 梯度裁剪优化这种方法相当于老师直接把正确答案告诉学生模型不需要自己猜下一步直接看标准答案。目的是让模型快速学习正确的映射关系。Scene 10强制教学详解小可恍然大悟强制喂饭就是把正确答案直接告诉模型博士举例对。比如英文是「What a great job you did」中文目标是「你做了一个很棒的工作」。训练时直接把目标序列作为输入计算预测和目标的损失函数做梯度裁剪和反向传播。训练示例输入(英文): What a great job you did 目标(中文): 你 做 了 一个 很棒 的 工作 训练时的拼接: 上下文向量 c 目标序列 解码器输入 预测输出: 你 做 的 事情 很 了不起 (模型第一次猜的) 目标输出: 你 做 了 一个 很棒 的 工作 (标准答案) ↓ 计算损失 → 梯度裁剪 → 反向传播优化模型会逐渐学习让预测输出越来越接近目标输出。Scene 11训练 vs 预测小可对比训练用强制教学那预测阶段呢博士对比预测阶段就完全不同了。我们用的是「自回归生成」也是ChatGPT和大模型使用的方法。就是做词语接龙把自己当前预测的输出作为下一步的输入。关键区别阶段输入来源特点训练目标序列标准答案收敛快不容易产生错译预测自己上一步的输出和实际使用场景一致但容易累积错误这就是 ChatGPT 等大模型使用的方法——词语接龙。把自己当前预测的输出作为下一步的输入逐步生成完整的回答。Scene 12自回归生成小可理解词语接龙就是生成一个字再把这个字加回去继续生成下一个博士肯定完全正确。模型先输出一个词然后把这个词拼接到输入里再生成下一个词以此类推。只不过拼接的序列是模型自己生成的不是训练时给定的目标序列。自回归生成流程BOS → 预测你 → 你 → 预测做 → 你做 → 预测了 → ...模型预测第一个词把预测的词拼接到输入里用新的输入预测下一个词重复直到输出结束符号EOS这就像极了成语接龙游戏。每生成一个字就把它加回输入然后继续生成下一个字。Scene 13BLEU评分小可提问翻译得好不好怎么评估博士解释在RNN或CNN时代直接用预测值减实际值就行了。但翻译不只是词准不准还要看连起来有没有意义。所以我们用BLEU公式来评估翻译质量。为什么需要BLEU回归任务中预测值 - 实际值 损失简单直接翻译任务中翻译不只是词准不准还要看词连起来有没有意义词与词之间没有明确的大小关系所以不能简单地做差值需要一个综合评估指标。BLEU 是什么BLEU Bilingual Evaluation Understudy双语评估替代指标综合考量✓ 词语命中比例Precision✓ 连续 n 元语法命中率N-gram✓ 长度折减系数Brevity PenaltyScene 14BLEU公式拆解小可求知BLEU公式是怎么算的博士拆解它分为两部分左边是折减系数防止预测过长或过短右边是n元语法的命中比例。n越大连续单词命中率越高奖励越多。BLEU 公式BLEUBP×exp(∑n1Nwn×logpn)BLEU BP \times \exp\left(\sum_{n1}^{N} w_n \times \log p_n\right)BLEUBP×exp(n1∑Nwn×logpn)BPBrevity Penalty折减系数防止输出过长或过短pₙn 元语法的命中比例两部分各司其职左边折减系数 → 惩罚过长或过短的输出右边 n 元语法 → 奖励更长、更准确的翻译N 元语法n1 单个词命中n2 连续 2 词命中n3 连续 3 词命中以此类推。Scene 15BLEU惩罚机制小可思考如果模型输出一堆废话怎么办博士自信BLEU的折减系数会起作用。如果输出比较长但都是废话会有很多词无法命中命中率下降。如果输出太短折减系数会让分数小于1。它从两边约束了模型。BLEU 如何防止模型作弊输出太长废话连篇大量词无法命中 → 命中率下降 → BLEU 降低N 元语法命中率惩罚废话输出太短偷工减料折减系数 BP 1 → 整体 BLEU 被折减输出长度适中BP 1不折减只取决于命中质量N 元语法效果pₙ0.5 时n2 → 0.707n4 → 0.958。连续单词命中率越高奖励越多鼓励生成流畅自然的翻译。结论BLEU 从两边约束模型——不能太长也不能太短。Scene 16固定长度瓶颈小可担忧seq2seq有什么致命问题吗博士坦诚有一个硬伤它要求输入和输出通过一个固定长度的上下文向量来传递。当文本很长时在压缩过程中会严重丢失信息。三大问题固定长度上下文向量— 容量有限信息被压缩失真长文本信息严重丢失— 前面说了什么后面全忘了RNN串行结构— 难以并行训练速度慢这就是 seq2seq 的致命硬伤需要一种机制让解码器能回头查看编码器的所有信息。Scene 17长文本信息丢失小可惊讶前面说了什么模型会全忘了博士解释对。由于依赖RNN结构它是串行的处理长文本时前面说啥基本全忘了。信息被塞进一个固定大小的向量里容量有限。RNN 的串行处理问题RNN 必须按顺序一步步处理信息被不断往后压缩词1 → 词2 → 词3 → ... → 词50 → 词100最终 Context Vector 只保留了最后几个词的信息词 1-词 97 的信息基本丢失。RNN 串行处理 固定长度 Context Vector 长文本灾难需要一种机制让解码器能直接访问编码器的所有隐状态——Attention 机制应运而生Scene 18注意力机制小可期待那怎么办有没有更好的办法博士兴奋有注意力机制Attention。它让解码器在每一步都能回头看编码器的所有隐状态而不只是依赖最后一个上下文向量。Attention 的核心思想无 Attention只看 context vector → 信息有限容易丢失有 Attention看所有隐状态 → 信息充足动态聚焦Attention 让解码器每一步都能看到完整的编码器输出翻译「great」时重点关注「great」的编码位置翻译「job」时关注「job」的编码位置动态分配注意力权重聚焦最重要的信息。Scene 19Attention如何工作小可追问注意力是怎么让模型「回头看」的博士详解编码器保留了所有时间步的隐状态。解码器每生成一个词时会计算与所有编码器隐状态的关联度动态分配注意力权重聚焦最重要的信息。Attention 工作原理编码器侧保留所有隐状态 h₁, h₂, h₃, …, hₙ不再只保留最后一个注意力权重计算α₁, α₂, α₃, …, αₙ满足 Σαᵢ 1重要位置的 α 更大动态 Context Vectorcₜ Σ αᵢ × hᵢ每个解码步都重新计算好处✓ 不再受固定长度限制✓ 可以访问完整的编码信息✓ 动态聚焦关键信息Scene 20Attention seq2seq小可兴奋加上注意力后效果提升了多少博士自豪大幅提升机器翻译性能超越了传统的统计机器翻译SMT。Attention让模型不再被固定长度的上下文向量限制可以访问完整的编码信息。Attention 带来的巨大提升指标Seq2SeqSeq2Seq Attention机器翻译BLEU较低大幅提升长文本处理信息丢失动态聚焦信息访问固定长度全部可访问并行度串行部分并行Attention Seq2Seq 机器翻译性能大幅超越传统 SMT。解码器可以访问完整的编码信息不再被固定长度上下文向量限制。Scene 21从Attention到Transformer小可好奇后来Attention又怎么演变成了Transformer博士回顾历史Attention机制证明了它的威力。2017年Google提出了「Attention is All You Need」论文直接用多头自注意力替代RNN这就是Transformer。技术演进时间线年份里程碑关键创新2014Seq2SeqRNN 编码解码2015Attention动态信息检索2017Transformer自注意力革命2018BERT / GPT大模型时代2017 年 Google 论文《Attention is All You Need》直接用多头自注意力替代 RNN不再需要循环结构实现了真正的并行训练速度大幅提升奠定了现代大语言模型的基础架构。Scene 22Transformer革命小可对比Transformer和seq2seq有什么关系博士传承Transformer继承了seq2seq的编码器-解码器核心思想但用自注意力机制替代了RNN。这解决了串行计算的问题实现了真正的并行训练。Seq2Seq vs TransformerSeq2Seq RNN串行处理 — 必须按顺序一步步来难以并行训练长文本信息丢失即使有 Attention底层仍是 RNNTransformer自注意力机制 — 所有位置同时计算真正并行训练长文本信息无损编码器-解码器架构保留继承关系Seq2Seq 的编码器-解码器思想 → 被 Transformer 完整继承只是把 RNN 换成了自注意力机制。这就是为什么说 seq2seq 是现代 LLM 的基石。Scene 23seq2seq的三大问题总结小可总结让我总结一下seq2seq的主要问题吧博士确认三大问题1Teacher Forcing导致训练和预测不一致2自回归生成难以并行容易产生错译3固定长度上下文向量限制信息容量长文本信息严重丢失。三大核心问题#问题描述1Teacher Forcing 不一致训练和预测阶段逻辑完全不同训练看答案预测自己猜2自回归生成难以并行词语接龙必须串行容易产生错译累积3固定长度信息瓶颈Context Vector 容量有限长文本信息严重丢失这些问题后来都被逐步解决Attention→ 解决信息瓶颈Transformer→ 解决并行问题Beam Search / Sampling→ 改善生成质量Scene 24seq2seq的进化路线小可追问从seq2seq到现代大模型经历了哪些关键进化博士梳理seq2seq(RNN) → Attention → Transformer → BERT → GPT → ChatGPT → 现代大语言模型。每一步都在解决前一代的瓶颈问题。完整进化路线Seq2Seq(RNN) → Attention → Transformer → BERT → GPT → ChatGPT → 现代LLM每一步的进化动力Seq2Seq → Attention解决固定长度信息瓶颈Attention → Transformer解决串行计算问题Transformer → BERT/GPT预训练 大规模数据每一步都在解决前一代的瓶颈问题这是技术演进的底层逻辑。Scene 25总结与展望小可感慨学完seq2seq有什么感悟博士深情seq2seq虽然被Transformer取代了但它的编码器-解码器思想是整个现代AI的基石。没有seq2seq就没有今天的大语言模型。理解它就是理解AI的根基。Seq2Seq 的核心贡献✓贡献意义✓首次提出编码器-解码器架构奠定了现代AI的底层逻辑✓实现变长输入到变长输出打破了传统模型的长度限制✓开创了Attention机制解决了信息瓶颈问题✓启发了Transformer间接催生了大语言模型时代没有 Seq2Seq就没有今天的大语言模型。理解它就是理解 AI 的根基。学习建议理解核心思想编码器-解码器范式是基础比具体实现更重要关注瓶颈与突破每个技术的进化都是为了解决前一代的瓶颈动手实践用 PyTorch 实现一个简单的 seq2seq 翻译模型延伸阅读原始论文: “Sequence to Sequence Learning with Neural Networks” (Sutskever et al., 2014)Attention 论文: “Neural Machine Translation by Jointly Learning to Align and Translate” (Bahdanau et al., 2015)Transformer 论文: “Attention is All You Need” (Vaswani et al., 2017)
Seq2Seq 科普: 从编码器解码器到大语言模型的起源
发布时间：2026/8/3 12:56:12
Seq2Seq 科普漫画从编码器解码器到大语言模型的起源大家好我是小可今天和我的好朋友博士一起带大家深入了解一个改变了整个AI世界的架构——Sequence to Sequence (seq2seq)。如果你用过 ChatGPT、Claude、或者任何大语言模型那你其实每天都在使用 seq2seq 的后代。因为 seq2seq 首次提出了编码器和解码器的核心思想这是所有现代大模型一直沿用至今的底层逻辑。让我们一起穿越回 seq2seq 的起点看看它是如何一步步演化成大语言模型的Scene 1大语言模型的起源小可好奇如今大语言模型风靡全球追根溯源的话它们最初是从哪里来的博士沉稳现代大语言模型的初始版本公认为是 Sequence to Sequence 架构。因为它首次提出了编码器和解码器的核心思想这也是后续所有大模型一直沿用至今的底层逻辑。很多人以为大语言模型是从 GPT 开始的但实际上GPT 的祖先可以追溯到 seq2seq。seq2seq 提出的编码器-解码器架构是大模型世界的始祖级设计。Seq2Seq 的历史地位Seq2Seq 架构最初用于机器翻译任务——把一种语言翻译成另一种语言。它的核心创新在于变长输入到变长输出传统模型要求输入输出长度一致seq2seq 打破了这个限制编码器-解码器范式先将信息编码压缩再解码还原上下文向量用固定长度的向量传递编码信息这个架构后来演化为Seq2Seq → Attention → Transformer → BERT → GPT → ChatGPT每一步都在解决前一代的瓶颈但核心的编码-解码思想从未改变。Scene 2伊利亚与seq2seq小可惊讶seq2seq是谁提出来的博士娓娓道来伊利亚当时还在谷歌Google Brain团队他们团队提出了这个架构彻底改变了机器翻译和自然语言处理的底层格局。后来他更是在这个架构基础上主导训练出了轰动世界的ChatGPT。Ilya Sutskever伊利亚·苏茨克维是深度学习领域的传奇人物。他在 Google Brain 期间参与了 seq2seq 的研发后来共同创立了 OpenAI并主导了 GPT 系列的训练。从seq2seq到ChatGPT的技术传承时间里程碑关键人物/团队2014Seq2Seq 架构提出Google Brain (Sutskever, Vinyals, Le)2015Attention 机制引入Bahdanau, Cho, Bengio2017Transformer 架构Google (Vaswani et al.)2018BERT / GPT 发布Google / OpenAI2022ChatGPT 发布OpenAI (Ilya 主导)这是一条清晰的技术传承线。没有 seq2seq就没有后面的故事。Scene 3seq2seq架构全景小可疑惑seq2seq的原理到底是什么博士形象比喻其实非常简单类似于我们日常生活中发送压缩包。先把文件压缩成一个小包发送给朋友朋友再把它解压还原出来。seq2seq就是这个逻辑。压缩与解压的类比就像你要给朋友发送一个很大的视频文件编码器压缩用压缩软件把文件打包成 ZIP上下文向量压缩包一个紧凑的 ZIP 文件解码器解压朋友收到后用解压软件还原原始文件Seq2Seq 的工作方式完全一样输入文本→ 编码器压缩 →Context Vector→ 解码器还原 →输出文本关键区别是输入和输出可以是不同长度的句子。英文 “What a great job you did” 翻译成中文 “你做了一个很棒的工作”两个句子的词数完全不同但 seq2seq 能完美处理。Scene 4编码器是什么小可追问编码器负责压缩它是怎么工作的博士耐心解释编码器接收输入文本一步步提取特征最终聚合成一个特征向量。它通常由多层RNN、GRU或LSTM组成每个时间步都会产生一个隐状态。编码器的结构编码器通常由以下组件构成输入层 → Embedding层 → 多层RNN/GRU/LSTM → 隐状态序列 → Context VectorEmbedding层把每个词转换为高维向量RNN层逐步处理序列产生隐状态最后一层的最后一个隐状态被提取为 Context Vector编码器的任务是把任意长度的输入文本压缩成一个固定长度的特征向量。这个向量就是编码器的精华总结也是它送给解码器的唯一礼物。Scene 5RNN编码过程小可好奇每一步都会产生隐状态博士举例说明对。比如输入序列「What a great job you did」每个词经过网络处理后产生一个隐状态。网络会不断把信息往后压缩直到最后一层最后一个时间步的隐状态。信息层层压缩以 “What a great job you did” 为例时间步输入词隐状态说明t1Whath₁处理第一个词t2ah₂融合前两步信息t3greath₃融合前三步信息t4jobh₄融合前四步信息t5youh₅融合前五步信息t6didh₆融合全部信息 ← 最终Context Vector每个隐状态 hₜ 都包含了前面所有时间步的信息。网络不断把信息往后压缩直到最后一个隐状态 h₆它包含了整个句子的全部信息。Scene 6上下文向量小可理解最后取出来的这个向量就是全部信息的压缩博士肯定没错。我们把它叫做上下文向量Context Vector它记录了前面所有层、所有时间步的所有信息。这是编码器送给解码器的唯一礼物。Context Vector 的数学表达c[d1,d2,d3,...,dn]c [d_1, d_2, d_3, ..., d_n]c[d1,d2,d3,...,dn]这是一个固定长度的特征向量不管输入文本有多长最终都被压缩成这个大小的向量。特点固定长度不管输入多长都压缩成这样信息瓶颈容量有限容易丢失细节唯一传递通道编码器和解码器之间唯一的桥梁问题当输入文本很长时一个固定长度的向量无法容纳所有信息前面的内容很容易被遗忘。这就是 seq2seq 的致命瓶颈。Scene 7被丢弃的中间输出小可不解那编码过程中产生的中间output呢博士惋惜在基础seq2seq中编码器中间时间步的output在训练和预测时从来没有被用到直接被丢弃了。这是基础架构的一大浪费。巨大的信息浪费编码器在每一步都产生了 output但只有最后一个隐状态被使用✓ 最后隐状态 hₙ → 上下文向量 c → 被使用 ✗ 中间时间步的output → 全部被丢弃 → 浪费这是基础 seq2seq 架构的一大浪费后来的Attention 机制就是为了解决这个问题让解码器能回头访问编码器的所有隐状态和 output不再只依赖最后一个上下文向量。Scene 8解码器架构小可思考解码器拿到上下文向量后是怎么还原输出文本的博士解释解码器和编码器类似也是多层RNN结构。它拿到上下文向量后结合目标语言的训练文本一步一步把翻译后的文本还原出来。解码器的两个输入解码器接收两个输入上下文向量 c从编码器传来的压缩信息目标语言文本用于训练的参考答案输出翻译后的目标文本上下文向量 c ─┐ ├──→ 解码器(RNN) ──→ 翻译文本 目标文本 ───┘关键特点输入输出可以不同长度。英文 6 个词可以翻译成中文 7 个词seq2seq 能自动处理这种长度变化。Scene 9训练阶段Teacher Forcing小可好奇训练的时候是怎么教的博士比喻我们采用了一种叫「强制教学」的方法。为了让模型快点收敛直接把目标序列当作输入喂给解码器和上下文向量拼接起来。Teacher Forcing 强制喂饭训练流程上下文向量 c → 复制 n 份与目标序列拼接输入解码器计算预测和目标的损失反向传播 梯度裁剪优化这种方法相当于老师直接把正确答案告诉学生模型不需要自己猜下一步直接看标准答案。目的是让模型快速学习正确的映射关系。Scene 10强制教学详解小可恍然大悟强制喂饭就是把正确答案直接告诉模型博士举例对。比如英文是「What a great job you did」中文目标是「你做了一个很棒的工作」。训练时直接把目标序列作为输入计算预测和目标的损失函数做梯度裁剪和反向传播。训练示例输入(英文): What a great job you did 目标(中文): 你 做 了 一个 很棒 的 工作 训练时的拼接: 上下文向量 c 目标序列 解码器输入 预测输出: 你 做 的 事情 很 了不起 (模型第一次猜的) 目标输出: 你 做 了 一个 很棒 的 工作 (标准答案) ↓ 计算损失 → 梯度裁剪 → 反向传播优化模型会逐渐学习让预测输出越来越接近目标输出。Scene 11训练 vs 预测小可对比训练用强制教学那预测阶段呢博士对比预测阶段就完全不同了。我们用的是「自回归生成」也是ChatGPT和大模型使用的方法。就是做词语接龙把自己当前预测的输出作为下一步的输入。关键区别阶段输入来源特点训练目标序列标准答案收敛快不容易产生错译预测自己上一步的输出和实际使用场景一致但容易累积错误这就是 ChatGPT 等大模型使用的方法——词语接龙。把自己当前预测的输出作为下一步的输入逐步生成完整的回答。Scene 12自回归生成小可理解词语接龙就是生成一个字再把这个字加回去继续生成下一个博士肯定完全正确。模型先输出一个词然后把这个词拼接到输入里再生成下一个词以此类推。只不过拼接的序列是模型自己生成的不是训练时给定的目标序列。自回归生成流程BOS → 预测你 → 你 → 预测做 → 你做 → 预测了 → ...模型预测第一个词把预测的词拼接到输入里用新的输入预测下一个词重复直到输出结束符号EOS这就像极了成语接龙游戏。每生成一个字就把它加回输入然后继续生成下一个字。Scene 13BLEU评分小可提问翻译得好不好怎么评估博士解释在RNN或CNN时代直接用预测值减实际值就行了。但翻译不只是词准不准还要看连起来有没有意义。所以我们用BLEU公式来评估翻译质量。为什么需要BLEU回归任务中预测值 - 实际值 损失简单直接翻译任务中翻译不只是词准不准还要看词连起来有没有意义词与词之间没有明确的大小关系所以不能简单地做差值需要一个综合评估指标。BLEU 是什么BLEU Bilingual Evaluation Understudy双语评估替代指标综合考量✓ 词语命中比例Precision✓ 连续 n 元语法命中率N-gram✓ 长度折减系数Brevity PenaltyScene 14BLEU公式拆解小可求知BLEU公式是怎么算的博士拆解它分为两部分左边是折减系数防止预测过长或过短右边是n元语法的命中比例。n越大连续单词命中率越高奖励越多。BLEU 公式BLEUBP×exp(∑n1Nwn×logpn)BLEU BP \times \exp\left(\sum_{n1}^{N} w_n \times \log p_n\right)BLEUBP×exp(n1∑Nwn×logpn)BPBrevity Penalty折减系数防止输出过长或过短pₙn 元语法的命中比例两部分各司其职左边折减系数 → 惩罚过长或过短的输出右边 n 元语法 → 奖励更长、更准确的翻译N 元语法n1 单个词命中n2 连续 2 词命中n3 连续 3 词命中以此类推。Scene 15BLEU惩罚机制小可思考如果模型输出一堆废话怎么办博士自信BLEU的折减系数会起作用。如果输出比较长但都是废话会有很多词无法命中命中率下降。如果输出太短折减系数会让分数小于1。它从两边约束了模型。BLEU 如何防止模型作弊输出太长废话连篇大量词无法命中 → 命中率下降 → BLEU 降低N 元语法命中率惩罚废话输出太短偷工减料折减系数 BP 1 → 整体 BLEU 被折减输出长度适中BP 1不折减只取决于命中质量N 元语法效果pₙ0.5 时n2 → 0.707n4 → 0.958。连续单词命中率越高奖励越多鼓励生成流畅自然的翻译。结论BLEU 从两边约束模型——不能太长也不能太短。Scene 16固定长度瓶颈小可担忧seq2seq有什么致命问题吗博士坦诚有一个硬伤它要求输入和输出通过一个固定长度的上下文向量来传递。当文本很长时在压缩过程中会严重丢失信息。三大问题固定长度上下文向量— 容量有限信息被压缩失真长文本信息严重丢失— 前面说了什么后面全忘了RNN串行结构— 难以并行训练速度慢这就是 seq2seq 的致命硬伤需要一种机制让解码器能回头查看编码器的所有信息。Scene 17长文本信息丢失小可惊讶前面说了什么模型会全忘了博士解释对。由于依赖RNN结构它是串行的处理长文本时前面说啥基本全忘了。信息被塞进一个固定大小的向量里容量有限。RNN 的串行处理问题RNN 必须按顺序一步步处理信息被不断往后压缩词1 → 词2 → 词3 → ... → 词50 → 词100最终 Context Vector 只保留了最后几个词的信息词 1-词 97 的信息基本丢失。RNN 串行处理 固定长度 Context Vector 长文本灾难需要一种机制让解码器能直接访问编码器的所有隐状态——Attention 机制应运而生Scene 18注意力机制小可期待那怎么办有没有更好的办法博士兴奋有注意力机制Attention。它让解码器在每一步都能回头看编码器的所有隐状态而不只是依赖最后一个上下文向量。Attention 的核心思想无 Attention只看 context vector → 信息有限容易丢失有 Attention看所有隐状态 → 信息充足动态聚焦Attention 让解码器每一步都能看到完整的编码器输出翻译「great」时重点关注「great」的编码位置翻译「job」时关注「job」的编码位置动态分配注意力权重聚焦最重要的信息。Scene 19Attention如何工作小可追问注意力是怎么让模型「回头看」的博士详解编码器保留了所有时间步的隐状态。解码器每生成一个词时会计算与所有编码器隐状态的关联度动态分配注意力权重聚焦最重要的信息。Attention 工作原理编码器侧保留所有隐状态 h₁, h₂, h₃, …, hₙ不再只保留最后一个注意力权重计算α₁, α₂, α₃, …, αₙ满足 Σαᵢ 1重要位置的 α 更大动态 Context Vectorcₜ Σ αᵢ × hᵢ每个解码步都重新计算好处✓ 不再受固定长度限制✓ 可以访问完整的编码信息✓ 动态聚焦关键信息Scene 20Attention seq2seq小可兴奋加上注意力后效果提升了多少博士自豪大幅提升机器翻译性能超越了传统的统计机器翻译SMT。Attention让模型不再被固定长度的上下文向量限制可以访问完整的编码信息。Attention 带来的巨大提升指标Seq2SeqSeq2Seq Attention机器翻译BLEU较低大幅提升长文本处理信息丢失动态聚焦信息访问固定长度全部可访问并行度串行部分并行Attention Seq2Seq 机器翻译性能大幅超越传统 SMT。解码器可以访问完整的编码信息不再被固定长度上下文向量限制。Scene 21从Attention到Transformer小可好奇后来Attention又怎么演变成了Transformer博士回顾历史Attention机制证明了它的威力。2017年Google提出了「Attention is All You Need」论文直接用多头自注意力替代RNN这就是Transformer。技术演进时间线年份里程碑关键创新2014Seq2SeqRNN 编码解码2015Attention动态信息检索2017Transformer自注意力革命2018BERT / GPT大模型时代2017 年 Google 论文《Attention is All You Need》直接用多头自注意力替代 RNN不再需要循环结构实现了真正的并行训练速度大幅提升奠定了现代大语言模型的基础架构。Scene 22Transformer革命小可对比Transformer和seq2seq有什么关系博士传承Transformer继承了seq2seq的编码器-解码器核心思想但用自注意力机制替代了RNN。这解决了串行计算的问题实现了真正的并行训练。Seq2Seq vs TransformerSeq2Seq RNN串行处理 — 必须按顺序一步步来难以并行训练长文本信息丢失即使有 Attention底层仍是 RNNTransformer自注意力机制 — 所有位置同时计算真正并行训练长文本信息无损编码器-解码器架构保留继承关系Seq2Seq 的编码器-解码器思想 → 被 Transformer 完整继承只是把 RNN 换成了自注意力机制。这就是为什么说 seq2seq 是现代 LLM 的基石。Scene 23seq2seq的三大问题总结小可总结让我总结一下seq2seq的主要问题吧博士确认三大问题1Teacher Forcing导致训练和预测不一致2自回归生成难以并行容易产生错译3固定长度上下文向量限制信息容量长文本信息严重丢失。三大核心问题#问题描述1Teacher Forcing 不一致训练和预测阶段逻辑完全不同训练看答案预测自己猜2自回归生成难以并行词语接龙必须串行容易产生错译累积3固定长度信息瓶颈Context Vector 容量有限长文本信息严重丢失这些问题后来都被逐步解决Attention→ 解决信息瓶颈Transformer→ 解决并行问题Beam Search / Sampling→ 改善生成质量Scene 24seq2seq的进化路线小可追问从seq2seq到现代大模型经历了哪些关键进化博士梳理seq2seq(RNN) → Attention → Transformer → BERT → GPT → ChatGPT → 现代大语言模型。每一步都在解决前一代的瓶颈问题。完整进化路线Seq2Seq(RNN) → Attention → Transformer → BERT → GPT → ChatGPT → 现代LLM每一步的进化动力Seq2Seq → Attention解决固定长度信息瓶颈Attention → Transformer解决串行计算问题Transformer → BERT/GPT预训练 大规模数据每一步都在解决前一代的瓶颈问题这是技术演进的底层逻辑。Scene 25总结与展望小可感慨学完seq2seq有什么感悟博士深情seq2seq虽然被Transformer取代了但它的编码器-解码器思想是整个现代AI的基石。没有seq2seq就没有今天的大语言模型。理解它就是理解AI的根基。Seq2Seq 的核心贡献✓贡献意义✓首次提出编码器-解码器架构奠定了现代AI的底层逻辑✓实现变长输入到变长输出打破了传统模型的长度限制✓开创了Attention机制解决了信息瓶颈问题✓启发了Transformer间接催生了大语言模型时代没有 Seq2Seq就没有今天的大语言模型。理解它就是理解 AI 的根基。学习建议理解核心思想编码器-解码器范式是基础比具体实现更重要关注瓶颈与突破每个技术的进化都是为了解决前一代的瓶颈动手实践用 PyTorch 实现一个简单的 seq2seq 翻译模型延伸阅读原始论文: “Sequence to Sequence Learning with Neural Networks” (Sutskever et al., 2014)Attention 论文: “Neural Machine Translation by Jointly Learning to Align and Translate” (Bahdanau et al., 2015)Transformer 论文: “Attention is All You Need” (Vaswani et al., 2017)
![[具身智能-181]：PC+服务器+具身机器人：构建具身智能从仿真到量产的闭环迭代混合架构](http://pic.xiahunao.cn/yaotu/[具身智能-181]：PC+服务器+具身机器人：构建具身智能从仿真到量产的闭环迭代混合架构)
![[具身智能-181]：大分布式通信模型对比：看懂为什么 DDS 是 ROS2 底层通信最优解](http://pic.xiahunao.cn/yaotu/[具身智能-181]：大分布式通信模型对比：看懂为什么 DDS 是 ROS2 底层通信最优解)
)
