CNN 和 RNN 处理文本卷积学习 n-gram。循环负责记忆。两者都被注意力机制取代。但在受限硬件上两者仍然重要。类型：构建语言：Python前置条件：Phase 3 · 11（PyTorch 简介），Phase 5 · 03（词嵌入），Phase 4 · 02（从零构建卷积）预计用时：~75 分钟问题TF-IDF 和 Word2Vec 生成的是忽略词序的扁平向量。基于它们构建的分类器无法区分dog bites man和man bites dog。词序有时承载着信号。在 Transformer 出现之前，两族架构填补了这一空白。文本卷积网络（TextCNN）。在词嵌入序列上应用一维卷积。宽度为 3 的滤波器是一个可学习的三元组检测器：它跨越三个词并输出一个分数。堆叠不同宽度（2、3、4、5）以检测多尺度模式。最大池化得到固定大小的表示。扁平、并行、快速。循环网络（RNN、LSTM、GRU）。逐个处理词元，维护一个向前传递信息的隐藏状态。顺序化、有记忆、输入长度灵活。2014 到 2017 年主导序列建模，然后注意力机制出现了。本课构建两者，然后指出催生注意力机制的失败之处。 NLP 基础到高级 08：CNN 和 RNN 处理文本
CNN 和 RNN 处理文本卷积学习 n-gram。循环负责记忆。两者都被注意力机制取代。但在受限硬件上两者仍然重要。类型：构建语言：Python前置条件：Phase 3 · 11（PyTorch 简介），Phase 5 · 03（词嵌入），Phase 4 · 02（从零构建卷积）预计用时：~75 分钟问题TF-IDF 和 Word2Vec 生成的是忽略词序的扁平向量。基于它们构建的分类器无法区分dog bites man和man bites dog。词序有时承载着信号。在 Transformer 出现之前，两族架构填补了这一空白。文本卷积网络（TextCNN）。在词嵌入序列上应用一维卷积。宽度为 3 的滤波器是一个可学习的三元组检测器：它跨越三个词并输出一个分数。堆叠不同宽度（2、3、4、5）以检测多尺度模式。最大池化得到固定大小的表示。扁平、并行、快速。循环网络（RNN、LSTM、GRU）。逐个处理词元，维护一个向前传递信息的隐藏状态。顺序化、有记忆、输入长度灵活。2014 到 2017 年主导序列建模，然后注意力机制出现了。本课构建两者，然后指出催生注意力机制的失败之处。