两年前我接了一个预测用户下一步行为的项目拿到的数据是典型的序列数据每一次点击、每一次停留、每一次页面跳转都按时间顺序排成一长串。我一开始没多想把特征拼成一个大向量直接丢进全连接网络结果测试集上的效果跟瞎猜差不多。后来复盘才发现问题根本不在特征工程而在于网络结构——这种按时间排列、前后有依赖的数据需要的是能显式建模时序依赖的模型。兜了一圈最后还是老老实实回到循环神经网络RNN这条路上。这篇文章就围绕RNN展开讲清楚序列数据到底难在哪、RNN为什么能处理它、从零手写一个字符级RNN要经过哪些步骤以及训练过程中我踩过的那些坑。适合刚入门深度学习但没系统理解序列模型的人也适合已经在用LSTM或Transformer、想回头把基础补扎实的读者。1. 序列数据凭什么难搞长度、顺序与依赖这三座山很多人第一次处理序列数据时都会犯同一个错误就是把序列当普通特征矩阵来用。要理解RNN的价值先得搞清楚序列数据和普通表格数据到底差在哪。1.1 变长的输入让普通网络直接没辙全连接网络的输入维度是固定的。你定义了一个输入层有100个神经元那每条样本进来就必须是100维的向量。但序列数据天然是变长的一段文本可能只有5个词也可能是500个词一段用户行为日志有人点了3次就退出有人点了300次还在逛。常见的处理办法有两个截断和填充。把长序列砍到固定长度短序列补零到固定长度。听起来简单但两个操作都在破坏信息。截断可能丢掉关键行为比如用户最后那一下点击恰好促成了转化你把它截没了填充更麻烦模型得额外学习哪些位置是没意义的零这种噪声规则白白浪费容量。而且即使解决了长度问题全连接网络对每个位置的特征做的是独立变换位置和位置之间的关系它根本不建模照样抓不到序列的核心规律。1.2 顺序不是装饰品顺序本身就是信息表格数据里交换两列的先后顺序预测结果通常不变。但序列数据里顺序一变含义可能整个反转。我爱你和你爱我使用的字符完全一样语义却截然不同用户先看评价再下单和先下单再看评价反映的决策路径完全不是一个逻辑。股价序列连续上涨三天后下跌和下跌后连续上涨三天面对的是完全不同的交易信号。这种顺序敏感性要求模型必须具备按顺序逐个读取输入的机制每读到新元素都要结合此前已经读过的内容来更新理解。如果网络结构本身没有时间轴这个概念它就不可能学会顺序带来的差异。CNN其实也有类似问题。卷积核在局部窗口内做加权求和看起来能感知局部顺序但它依赖的是局部性假设只有相邻位置才相互影响。文本里的长距离照应、行为序列里早期注册信息影响最终转化这种跨越大跨度位置的依赖卷积核要堆很多层才能勉强够到而且堆叠卷积的感受野扩大是有上限的代价是层数和参数量爆炸式增长。1.3 短期依赖和长期依赖问题难度的分水岭序列里的依赖关系可以按距离分两类。短期依赖比如预测天气时今天下了暴雨明天大概率还是阴天目标只跟前几个时间步相关。长期依赖则复杂得多比如英语里的Though he was tired, he still finished the workThough和后面的still隔着十几个词遥相呼应再比如一个金融事件发生三个月后市场才真正消化完它的影响。普通的前馈网络和CNN处理不好这两类依赖因为它们没有记忆机制每个输出只取决于当前窗口内的输入。而RNN最核心的设计动机就是给网络加一块记忆让信息能沿着时间轴一路传递下去。搞清楚了这个背景再看RNN的数学形式就会觉得一切都是顺理成章的。2. RNN的核心理念让网络自带一块“滚动笔记”RNN的全称是Recurrent Neural Network关键就在Recurrent这个词循环。它处理序列的方式非常直观每读入一个新元素就结合上一次留下的记忆做一次更新。2.1 隐藏状态就是那块“笔记”RNN引入了一个叫隐藏状态hidden state的向量用h_t表示第t个时间步的隐藏状态。更新方式是经典的循环公式h_t tanh(W_hh · h_{t-1} W_xh · x_t b_h)x_t是当前时间步的输入h_{t-1}是上一个时间步保留下来的隐藏状态W_hh是状态到状态的权重矩阵W_xh是输入到状态的权重矩阵b_h是偏置。当前时刻的隐藏状态由上一个记忆和当前输入共同决定然后tanh做一次非线性压缩。可以把它想象成一个人在读一本长篇小说的同时记笔记每读一段新内容他不会把之前的笔记抹掉重写而是在原笔记的基础上补充新信息。读到第三十章时他笔记里既包含第一部的伏笔也包含最新的情节走向。隐藏状态就是这张不断被更新的笔记每走一个时间步它都携带了到目前为止所有输入的信息摘要。2.2 参数共享一个权重矩阵吃下整条序列RNN有一个容易被忽视但极其重要的设计参数共享。整个序列的每一个时间步用的都是同一套W_hh、W_xh、b_h而不是每个时间步各学一套权重。为什么这么做首先模型参数的数量与序列长度无关。如果每个时间步单独一套权重序列长度一变化参数就膨胀而且没法处理比训练时更长的序列。更重要的是现实中同一个语义模式可能出现在序列的不同位置文本中不止……还……这种转折搭配可能出现在第5个词也可能出现在第50个词。参数共享让模型可以在所有位置学到同一类规律这跟CNN在空间上共享卷积核、在不同图像位置识别同一个物体特征是同一个归纳偏置思想的移植。2.3 展开后的“深度”埋下了梯度问题的伏笔把RNN的循环结构沿时间轴展开得到的其实是一个深度等于序列长度的前馈网络只是每层的权重被强制共享。序列有多长网络就有多深。一个长度为100的序列展开后就是一个100层的伪前馈网络。这个视角能解释很多事。深层网络必然面对梯度消失和梯度爆炸问题而RNN把这个问题放大了因为权重完全共享梯度在逐层回传时反复乘以同一个矩阵如果这个矩阵的特征值模小于1梯度会指数级衰减远距离信息根本学不到如果特征值模大于1梯度又可能指数级增长直接溢出成NaN。激活函数选tanh而不是sigmoid或ReLU也是出于这个考虑。tanh的输出范围是[-1, 1]关于原点对称梯度在0附近最大训练效率比sigmoid高而ReLU虽然解决了消失问题但输出无上界在循环结构里极其容易累积出巨大的数值反而频繁触发爆炸。所以在朴素RNN里tanh是久经考验的默认选择。3. 从零手写一个字符级RNN在一首歌里学出节奏理论讲得再多不动手写一遍理解始终是虚的。我自己入门RNN时收获最大的一件事就是手写了一个字符级的文本生成模型。所谓字符级就是模型的输入输出都是单个字符让它学会一个文本的字符分布规律然后能一个字符一个字符地续写内容。3.1 数据准备把字符变成模型能吃的数字第一步是拿到一份文本并建立字符和整数索引之间的双向映射。文本不用太长一段歌词、一篇小说片段都行但最好有一定风格特征这样生成结果比较明显。def load_text(path): text open(path, encodingutf-8).read() chars sorted(list(set(text))) char_to_idx {ch: i for i, ch in enumerate(chars)} idx_to_char {i: ch for i, ch in enumerate(chars)} return text, chars, char_to_idx, idx_to_char然后把文本转成索引序列按固定长度切成训练样本。这里有个细节如果直接在全天下长文本上做完整BPTT时间反向传播计算量很大且梯度容易消失所以实际中普遍用截断BPTT把长文本切成seq_len为100或200的小块每次只在这块序列内做反向传播。def make_batches(text, char_to_idx, seq_len100, batch_size64): data [char_to_idx[c] for c in text] num_batches len(data) // (seq_len * batch_size) data data[:num_batches * seq_len * batch_size] data torch.tensor(data).view(batch_size, -1) for i in range(0, data.size(1) - seq_len, seq_len): x data[:, i:iseq_len].transpose(0, 1) y data[:, i1:iseq_len1].transpose(0, 1) yield x, y3.2 模型前向一个可以逐时间步运行的网络我习惯把RNN拆成cell的写法因为它能清楚展示每个时间步发生了什么。PyTorch里可以用nn.RNNCell封装那一行计算也可以直接用nn.RNN但为了教学自己写一遍更好。import torch import torch.nn as nn class CharRNN(nn.Module): def __init__(self, vocab_size, hidden_size): super().__init__() self.hidden_size hidden_size self.embedding nn.Embedding(vocab_size, hidden_size) self.rnn_cell nn.RNNCell(hidden_size, hidden_size) self.fc nn.Linear(hidden_size, vocab_size) def forward(self, inputs, hidden): outputs [] h hidden for i in range(inputs.size(0)): x self.embedding(inputs[i]) h self.rnn_cell(x, h) outputs.append(self.fc(h)) return torch.stack(outputs), hinputs的形状是(seq_len, batch)每个元素是字符对应的索引。先经过embedding变成稠密向量再喂进RNNCell。每走一个时间步隐藏状态更新一次同时过一个全连接层输出当前时间步对下一个字符的预测logits。最后把每个时间步的输出堆叠起来就是整个前向的结果。3.3 训练交叉熵损失与梯度裁剪训练目标是让每个时间步预测出的下一个字符和真实的下一个字符尽可能一致。损失函数用交叉熵把(seq_len, batch, vocab_size)的输出和同样形状的target做对比。def train_step(model, optimizer, criterion, x, y): optimizer.zero_grad() hidden torch.zeros(x.size(1), model.hidden_size) outputs, _ model(x, hidden) loss criterion(outputs.reshape(-1, outputs.size(-1)), y.reshape(-1)) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() return loss.item()注意最后一行clip_grad_norm_这是训练RNN的命根子后面第四章专门讲为什么。优化器选Adam学习率设0.002左右这是字符级RNN一个比较稳妥的起点。3.4 生成temperature控制的疯癫程度模型训练好之后进入生成阶段给定一个起始字符让模型不断预测下一个字符再把预测结果作为下一次输入循环续写。这里有个关键参数temperature它通过缩放softmax前的logits来控制输出概率的锐利程度。def generate(model, start_chars, length, temperature1.0): model.eval() hidden torch.zeros(1, model.hidden_size) chars list(start_chars) with torch.no_grad(): for _ in range(length): idx torch.tensor([[char_to_idx[c] for c in chars[-1:]]]) output, hidden model(idx, hidden) logits output[0, 0] / temperature probs torch.softmax(logits, dim-1) next_idx torch.multinomial(probs, 1).item() chars.append(idx_to_char[next_idx]) return .join(chars)temperature越小分布越接近argmax生成内容越保守但容易重复temperature越大分布越均匀生成内容越随机甚至出现大量乱码。我试过的经验值是0.8到1.0之间比较舒服既能看出学到的词语和标点规律又不会完全复读原文。4. 训练RNN最容易翻车的三个地方我的排障过程如果你以前训练过RNN大概率遇到过loss突然变成NaN或者loss下降得极其缓慢又或者模型生成的东西翻来覆去就那几个字符。这些坑我每个都踩过而且踩完之后才意识到它们其实指向的是同一个根源梯度在时间维度上的不稳定。4.1 loss变成NaN梯度爆炸的标准剧本第一次训练字符RNN时我的loss曲线前几十轮还很正常突然之间就变成NaN之后再也回不来。检查数据、检查学习率都没发现问题最后在代码里加了梯度范数监控才发现爆炸之前梯度范数已经出现好几轮的异常爬升。这事的机制不复杂。RNN反向传播时梯度要沿着展开图逐时间步相乘每一步都会乘一个权重矩阵。如果矩阵的特征值模大于1连乘几百步之后梯度值呈指数级放大很容易超过浮点数表示上限。再加上softmax对logits的敏感度稍微放大一点就会导致预测概率极端化log之后出现无穷大loss自然变NaN。解法首推梯度裁剪nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)它的含义是如果所有参数梯度的全局范数超过5就把梯度整体等比例缩放回范数为5。这相当于给梯度的最坏情况设了一个上限不会影响梯度的方向只是限制了步长的大小。对RNN来说这一行代码几乎是标配。同时我还把学习率从0.01降到0.002双管齐下。如果你的NaN问题发生在加了裁剪之后那优先去查输入数据里有没有出现NaN或无穷值输入污染会让任何网络都学不动。4.2 模型记性变差梯度消失和长依赖失效的连锁反应与梯度爆炸相反的坑是梯度消失。这时候loss不是不降而是降得很慢慢到你怀疑人生。模型生成出的文本往往只能学到最近几个字符的规律稍微远一点的搭配就完全接不上。比如让它学英文文本它可能学会了th后面跟e但the和their之间的选择始终是乱的因为它根本记不住前面第三个字符是什么。我在排查时发现隐藏状态h_t经过几十个时间步后基本变成全零或者趋近一个固定向量这意味着早期信息到后期已经完全被洗掉了。这正是因为梯度在多层连乘中指数级衰减早期位置的参数几乎收不到有效梯度。缓解方案可以组合使用一是把seq_len从100砍到50降低反向传播深度先让模型能正常训练起来二是更换权重初始化方式用PyTorch提供的正交初始化def init_weights(model): for name, param in model.named_parameters(): if weight in name and param.dim() 2: nn.init.orthogonal_(param)正交矩阵的特征值模严格等于1理论上能保证信号在连乘时不指数放大也不指数缩小。这是RNN初始化里一个经常被忽略但实际效果很明显的细节。4.3 学习率和序列长度两个最被低估的控制旋钮很多教程会告诉你模型结构怎么设计、损失函数怎么选但很少强调学习率和序列长度对RNN训练稳定性的巨大影响。我的血泪教训是调RNN时先固定其他条件单变量去动学习率和seq_len比瞎调网络宽度和层数见效快得多。学习率过高梯度爆炸更易触发loss会剧烈震荡学习率过低梯度消失问题更明显模型看起来不怎么学习。seq_len的设定更是直接决定backward穿过多少层设太长历史和现在之间的桥梁太长梯度根本传不回去设太短模型又只能看到局部依赖学不到长期规律。一个适合起步的配置是hidden_size256seq_len100learning_rate2e-3batch_size64。在这个基础上先跑通再根据具体任务稳步调整。5. 记性不够时的升级路线LSTM、GRU以及我更推荐的做法朴素RNN能解决一部分序列建模问题但对长期依赖确实力不从心。于是就有了LSTM和GRU这两代经典改进它们的出现不是推翻RNN而是针对梯度连乘导致长期记忆失效这个瓶颈做了外科手术式的修复。5.1 LSTM的传送带细胞状态如何救下梯度LSTMLong Short-Term Memory的核心是引入了一条平行于隐藏状态的传送带叫细胞状态C_t。它保存序列的核心信息而遗忘门、输入门、输出门三个门控结构控制信息在这条传送带上的流动。遗忘门决定上一时刻的细胞状态有多少要被丢弃输入门决定当前时刻的新信息有多少要写入细胞状态输出门决定当前细胞状态以什么形式输出到隐藏状态。关键设计在于细胞状态的更新路径是加性的C_t f_t * C_{t-1} i_t * g_t这里的乘法和加法取代了朴素的乘以权重矩阵再非线性压缩。误差信号在回传时可以顺着加性路径一路平稳穿回很远的时间步不需要反复乘以矩阵因此梯度消失的严重程度被大幅缓解。我自己的体会是当朴素RNN在seq_len超过100时基本学不到规律换成LSTM后同样配置可以跑到几百步效果还更稳定。5.2 GRU更轻量的门控方案GRUGated Recurrent Unit把LSTM的三个门简化成两个更新门和重置门。少了独立的细胞状态直接用更新门控制新信息混入旧状态的比例用重置门控制上一状态在计算当前候选状态时被忽略的程度。参数比LSTM少计算更快在很多中等规模任务上效果和LSTM不相上下。我当时在用户行为序列项目里做过对比LSTM和GRU在精度上几乎没有差别但GRU的训练时间少了将近三分之一。如果你的场景是快速迭代验证GRU通常是一个更划算的起点如果能接受更多参数且想保留更精细的门控建模能力LSTM也不吃亏。5.3 别急着上Transformer先搞清你的场景需要什么现在很多人一听到序列建模就直接上Transformer我倒觉得要冷静。Transformer确实在长文本、大模型上表现远好过RNN但它的优势建立在大量数据、大规模并行训练、长上下文记忆这几个前提上。对小规模数据、在线流式推理场景RNN/LSTM反而更合适RNN是逐时间步推理的来一个输入算一步不需要看到完整序列才能启动这种低延迟特性在语音实时识别、交易信号实时监控里非常吃香。顺带说一句RNN的应用范围从来不只局限在文本和语音。我之前关注过一个把RNN用到微生物组时序观测中的工作通过分析不同时点的菌群丰度变化去推断微生物群落的生态过程本质也是用当前输入和上一时刻状态预测下一时刻趋势。数据从字符变成了微生物生活史观测值但建模思路完全一致。这就是序列建模框架的魅力只要数据满足有序、有依赖这两个特征RNN的方法论都可以平移过去。再往后学你会发现Transformer里的位置编码本质上就是在想办法让一个无序的注意力机制重新获得顺序感而RNN天然就有这个归纳偏置。这也是为什么我建议新手不要跳过RNN直接扎进Transformer把RNN为什么需要记忆、为什么参数共享、为什么梯度容易炸这些问题吃透再去理解位置编码和因果掩码你会豁然开朗。我的个人习惯是做一个新序列任务时先用一个结构简单的RNN或GRU把baseline跑出来再根据数据复杂度和算力预算决定要不要换更重的模型。这个习惯救了我很多次至少比一上来就调大模型省下大量无谓的时间。 循环神经网络RNN从零到实战：序列建模原理、手写实现与训练避坑指南
两年前我接了一个预测用户下一步行为的项目拿到的数据是典型的序列数据每一次点击、每一次停留、每一次页面跳转都按时间顺序排成一长串。我一开始没多想把特征拼成一个大向量直接丢进全连接网络结果测试集上的效果跟瞎猜差不多。后来复盘才发现问题根本不在特征工程而在于网络结构——这种按时间排列、前后有依赖的数据需要的是能显式建模时序依赖的模型。兜了一圈最后还是老老实实回到循环神经网络RNN这条路上。这篇文章就围绕RNN展开讲清楚序列数据到底难在哪、RNN为什么能处理它、从零手写一个字符级RNN要经过哪些步骤以及训练过程中我踩过的那些坑。适合刚入门深度学习但没系统理解序列模型的人也适合已经在用LSTM或Transformer、想回头把基础补扎实的读者。1. 序列数据凭什么难搞长度、顺序与依赖这三座山很多人第一次处理序列数据时都会犯同一个错误就是把序列当普通特征矩阵来用。要理解RNN的价值先得搞清楚序列数据和普通表格数据到底差在哪。1.1 变长的输入让普通网络直接没辙全连接网络的输入维度是固定的。你定义了一个输入层有100个神经元那每条样本进来就必须是100维的向量。但序列数据天然是变长的一段文本可能只有5个词也可能是500个词一段用户行为日志有人点了3次就退出有人点了300次还在逛。常见的处理办法有两个截断和填充。把长序列砍到固定长度短序列补零到固定长度。听起来简单但两个操作都在破坏信息。截断可能丢掉关键行为比如用户最后那一下点击恰好促成了转化你把它截没了填充更麻烦模型得额外学习哪些位置是没意义的零这种噪声规则白白浪费容量。而且即使解决了长度问题全连接网络对每个位置的特征做的是独立变换位置和位置之间的关系它根本不建模照样抓不到序列的核心规律。1.2 顺序不是装饰品顺序本身就是信息表格数据里交换两列的先后顺序预测结果通常不变。但序列数据里顺序一变含义可能整个反转。我爱你和你爱我使用的字符完全一样语义却截然不同用户先看评价再下单和先下单再看评价反映的决策路径完全不是一个逻辑。股价序列连续上涨三天后下跌和下跌后连续上涨三天面对的是完全不同的交易信号。这种顺序敏感性要求模型必须具备按顺序逐个读取输入的机制每读到新元素都要结合此前已经读过的内容来更新理解。如果网络结构本身没有时间轴这个概念它就不可能学会顺序带来的差异。CNN其实也有类似问题。卷积核在局部窗口内做加权求和看起来能感知局部顺序但它依赖的是局部性假设只有相邻位置才相互影响。文本里的长距离照应、行为序列里早期注册信息影响最终转化这种跨越大跨度位置的依赖卷积核要堆很多层才能勉强够到而且堆叠卷积的感受野扩大是有上限的代价是层数和参数量爆炸式增长。1.3 短期依赖和长期依赖问题难度的分水岭序列里的依赖关系可以按距离分两类。短期依赖比如预测天气时今天下了暴雨明天大概率还是阴天目标只跟前几个时间步相关。长期依赖则复杂得多比如英语里的Though he was tired, he still finished the workThough和后面的still隔着十几个词遥相呼应再比如一个金融事件发生三个月后市场才真正消化完它的影响。普通的前馈网络和CNN处理不好这两类依赖因为它们没有记忆机制每个输出只取决于当前窗口内的输入。而RNN最核心的设计动机就是给网络加一块记忆让信息能沿着时间轴一路传递下去。搞清楚了这个背景再看RNN的数学形式就会觉得一切都是顺理成章的。2. RNN的核心理念让网络自带一块“滚动笔记”RNN的全称是Recurrent Neural Network关键就在Recurrent这个词循环。它处理序列的方式非常直观每读入一个新元素就结合上一次留下的记忆做一次更新。2.1 隐藏状态就是那块“笔记”RNN引入了一个叫隐藏状态hidden state的向量用h_t表示第t个时间步的隐藏状态。更新方式是经典的循环公式h_t tanh(W_hh · h_{t-1} W_xh · x_t b_h)x_t是当前时间步的输入h_{t-1}是上一个时间步保留下来的隐藏状态W_hh是状态到状态的权重矩阵W_xh是输入到状态的权重矩阵b_h是偏置。当前时刻的隐藏状态由上一个记忆和当前输入共同决定然后tanh做一次非线性压缩。可以把它想象成一个人在读一本长篇小说的同时记笔记每读一段新内容他不会把之前的笔记抹掉重写而是在原笔记的基础上补充新信息。读到第三十章时他笔记里既包含第一部的伏笔也包含最新的情节走向。隐藏状态就是这张不断被更新的笔记每走一个时间步它都携带了到目前为止所有输入的信息摘要。2.2 参数共享一个权重矩阵吃下整条序列RNN有一个容易被忽视但极其重要的设计参数共享。整个序列的每一个时间步用的都是同一套W_hh、W_xh、b_h而不是每个时间步各学一套权重。为什么这么做首先模型参数的数量与序列长度无关。如果每个时间步单独一套权重序列长度一变化参数就膨胀而且没法处理比训练时更长的序列。更重要的是现实中同一个语义模式可能出现在序列的不同位置文本中不止……还……这种转折搭配可能出现在第5个词也可能出现在第50个词。参数共享让模型可以在所有位置学到同一类规律这跟CNN在空间上共享卷积核、在不同图像位置识别同一个物体特征是同一个归纳偏置思想的移植。2.3 展开后的“深度”埋下了梯度问题的伏笔把RNN的循环结构沿时间轴展开得到的其实是一个深度等于序列长度的前馈网络只是每层的权重被强制共享。序列有多长网络就有多深。一个长度为100的序列展开后就是一个100层的伪前馈网络。这个视角能解释很多事。深层网络必然面对梯度消失和梯度爆炸问题而RNN把这个问题放大了因为权重完全共享梯度在逐层回传时反复乘以同一个矩阵如果这个矩阵的特征值模小于1梯度会指数级衰减远距离信息根本学不到如果特征值模大于1梯度又可能指数级增长直接溢出成NaN。激活函数选tanh而不是sigmoid或ReLU也是出于这个考虑。tanh的输出范围是[-1, 1]关于原点对称梯度在0附近最大训练效率比sigmoid高而ReLU虽然解决了消失问题但输出无上界在循环结构里极其容易累积出巨大的数值反而频繁触发爆炸。所以在朴素RNN里tanh是久经考验的默认选择。3. 从零手写一个字符级RNN在一首歌里学出节奏理论讲得再多不动手写一遍理解始终是虚的。我自己入门RNN时收获最大的一件事就是手写了一个字符级的文本生成模型。所谓字符级就是模型的输入输出都是单个字符让它学会一个文本的字符分布规律然后能一个字符一个字符地续写内容。3.1 数据准备把字符变成模型能吃的数字第一步是拿到一份文本并建立字符和整数索引之间的双向映射。文本不用太长一段歌词、一篇小说片段都行但最好有一定风格特征这样生成结果比较明显。def load_text(path): text open(path, encodingutf-8).read() chars sorted(list(set(text))) char_to_idx {ch: i for i, ch in enumerate(chars)} idx_to_char {i: ch for i, ch in enumerate(chars)} return text, chars, char_to_idx, idx_to_char然后把文本转成索引序列按固定长度切成训练样本。这里有个细节如果直接在全天下长文本上做完整BPTT时间反向传播计算量很大且梯度容易消失所以实际中普遍用截断BPTT把长文本切成seq_len为100或200的小块每次只在这块序列内做反向传播。def make_batches(text, char_to_idx, seq_len100, batch_size64): data [char_to_idx[c] for c in text] num_batches len(data) // (seq_len * batch_size) data data[:num_batches * seq_len * batch_size] data torch.tensor(data).view(batch_size, -1) for i in range(0, data.size(1) - seq_len, seq_len): x data[:, i:iseq_len].transpose(0, 1) y data[:, i1:iseq_len1].transpose(0, 1) yield x, y3.2 模型前向一个可以逐时间步运行的网络我习惯把RNN拆成cell的写法因为它能清楚展示每个时间步发生了什么。PyTorch里可以用nn.RNNCell封装那一行计算也可以直接用nn.RNN但为了教学自己写一遍更好。import torch import torch.nn as nn class CharRNN(nn.Module): def __init__(self, vocab_size, hidden_size): super().__init__() self.hidden_size hidden_size self.embedding nn.Embedding(vocab_size, hidden_size) self.rnn_cell nn.RNNCell(hidden_size, hidden_size) self.fc nn.Linear(hidden_size, vocab_size) def forward(self, inputs, hidden): outputs [] h hidden for i in range(inputs.size(0)): x self.embedding(inputs[i]) h self.rnn_cell(x, h) outputs.append(self.fc(h)) return torch.stack(outputs), hinputs的形状是(seq_len, batch)每个元素是字符对应的索引。先经过embedding变成稠密向量再喂进RNNCell。每走一个时间步隐藏状态更新一次同时过一个全连接层输出当前时间步对下一个字符的预测logits。最后把每个时间步的输出堆叠起来就是整个前向的结果。3.3 训练交叉熵损失与梯度裁剪训练目标是让每个时间步预测出的下一个字符和真实的下一个字符尽可能一致。损失函数用交叉熵把(seq_len, batch, vocab_size)的输出和同样形状的target做对比。def train_step(model, optimizer, criterion, x, y): optimizer.zero_grad() hidden torch.zeros(x.size(1), model.hidden_size) outputs, _ model(x, hidden) loss criterion(outputs.reshape(-1, outputs.size(-1)), y.reshape(-1)) loss.backward() nn.utils.clip_grad_norm_(model.parameters(), 5.0) optimizer.step() return loss.item()注意最后一行clip_grad_norm_这是训练RNN的命根子后面第四章专门讲为什么。优化器选Adam学习率设0.002左右这是字符级RNN一个比较稳妥的起点。3.4 生成temperature控制的疯癫程度模型训练好之后进入生成阶段给定一个起始字符让模型不断预测下一个字符再把预测结果作为下一次输入循环续写。这里有个关键参数temperature它通过缩放softmax前的logits来控制输出概率的锐利程度。def generate(model, start_chars, length, temperature1.0): model.eval() hidden torch.zeros(1, model.hidden_size) chars list(start_chars) with torch.no_grad(): for _ in range(length): idx torch.tensor([[char_to_idx[c] for c in chars[-1:]]]) output, hidden model(idx, hidden) logits output[0, 0] / temperature probs torch.softmax(logits, dim-1) next_idx torch.multinomial(probs, 1).item() chars.append(idx_to_char[next_idx]) return .join(chars)temperature越小分布越接近argmax生成内容越保守但容易重复temperature越大分布越均匀生成内容越随机甚至出现大量乱码。我试过的经验值是0.8到1.0之间比较舒服既能看出学到的词语和标点规律又不会完全复读原文。4. 训练RNN最容易翻车的三个地方我的排障过程如果你以前训练过RNN大概率遇到过loss突然变成NaN或者loss下降得极其缓慢又或者模型生成的东西翻来覆去就那几个字符。这些坑我每个都踩过而且踩完之后才意识到它们其实指向的是同一个根源梯度在时间维度上的不稳定。4.1 loss变成NaN梯度爆炸的标准剧本第一次训练字符RNN时我的loss曲线前几十轮还很正常突然之间就变成NaN之后再也回不来。检查数据、检查学习率都没发现问题最后在代码里加了梯度范数监控才发现爆炸之前梯度范数已经出现好几轮的异常爬升。这事的机制不复杂。RNN反向传播时梯度要沿着展开图逐时间步相乘每一步都会乘一个权重矩阵。如果矩阵的特征值模大于1连乘几百步之后梯度值呈指数级放大很容易超过浮点数表示上限。再加上softmax对logits的敏感度稍微放大一点就会导致预测概率极端化log之后出现无穷大loss自然变NaN。解法首推梯度裁剪nn.utils.clip_grad_norm_(model.parameters(), max_norm5.0)它的含义是如果所有参数梯度的全局范数超过5就把梯度整体等比例缩放回范数为5。这相当于给梯度的最坏情况设了一个上限不会影响梯度的方向只是限制了步长的大小。对RNN来说这一行代码几乎是标配。同时我还把学习率从0.01降到0.002双管齐下。如果你的NaN问题发生在加了裁剪之后那优先去查输入数据里有没有出现NaN或无穷值输入污染会让任何网络都学不动。4.2 模型记性变差梯度消失和长依赖失效的连锁反应与梯度爆炸相反的坑是梯度消失。这时候loss不是不降而是降得很慢慢到你怀疑人生。模型生成出的文本往往只能学到最近几个字符的规律稍微远一点的搭配就完全接不上。比如让它学英文文本它可能学会了th后面跟e但the和their之间的选择始终是乱的因为它根本记不住前面第三个字符是什么。我在排查时发现隐藏状态h_t经过几十个时间步后基本变成全零或者趋近一个固定向量这意味着早期信息到后期已经完全被洗掉了。这正是因为梯度在多层连乘中指数级衰减早期位置的参数几乎收不到有效梯度。缓解方案可以组合使用一是把seq_len从100砍到50降低反向传播深度先让模型能正常训练起来二是更换权重初始化方式用PyTorch提供的正交初始化def init_weights(model): for name, param in model.named_parameters(): if weight in name and param.dim() 2: nn.init.orthogonal_(param)正交矩阵的特征值模严格等于1理论上能保证信号在连乘时不指数放大也不指数缩小。这是RNN初始化里一个经常被忽略但实际效果很明显的细节。4.3 学习率和序列长度两个最被低估的控制旋钮很多教程会告诉你模型结构怎么设计、损失函数怎么选但很少强调学习率和序列长度对RNN训练稳定性的巨大影响。我的血泪教训是调RNN时先固定其他条件单变量去动学习率和seq_len比瞎调网络宽度和层数见效快得多。学习率过高梯度爆炸更易触发loss会剧烈震荡学习率过低梯度消失问题更明显模型看起来不怎么学习。seq_len的设定更是直接决定backward穿过多少层设太长历史和现在之间的桥梁太长梯度根本传不回去设太短模型又只能看到局部依赖学不到长期规律。一个适合起步的配置是hidden_size256seq_len100learning_rate2e-3batch_size64。在这个基础上先跑通再根据具体任务稳步调整。5. 记性不够时的升级路线LSTM、GRU以及我更推荐的做法朴素RNN能解决一部分序列建模问题但对长期依赖确实力不从心。于是就有了LSTM和GRU这两代经典改进它们的出现不是推翻RNN而是针对梯度连乘导致长期记忆失效这个瓶颈做了外科手术式的修复。5.1 LSTM的传送带细胞状态如何救下梯度LSTMLong Short-Term Memory的核心是引入了一条平行于隐藏状态的传送带叫细胞状态C_t。它保存序列的核心信息而遗忘门、输入门、输出门三个门控结构控制信息在这条传送带上的流动。遗忘门决定上一时刻的细胞状态有多少要被丢弃输入门决定当前时刻的新信息有多少要写入细胞状态输出门决定当前细胞状态以什么形式输出到隐藏状态。关键设计在于细胞状态的更新路径是加性的C_t f_t * C_{t-1} i_t * g_t这里的乘法和加法取代了朴素的乘以权重矩阵再非线性压缩。误差信号在回传时可以顺着加性路径一路平稳穿回很远的时间步不需要反复乘以矩阵因此梯度消失的严重程度被大幅缓解。我自己的体会是当朴素RNN在seq_len超过100时基本学不到规律换成LSTM后同样配置可以跑到几百步效果还更稳定。5.2 GRU更轻量的门控方案GRUGated Recurrent Unit把LSTM的三个门简化成两个更新门和重置门。少了独立的细胞状态直接用更新门控制新信息混入旧状态的比例用重置门控制上一状态在计算当前候选状态时被忽略的程度。参数比LSTM少计算更快在很多中等规模任务上效果和LSTM不相上下。我当时在用户行为序列项目里做过对比LSTM和GRU在精度上几乎没有差别但GRU的训练时间少了将近三分之一。如果你的场景是快速迭代验证GRU通常是一个更划算的起点如果能接受更多参数且想保留更精细的门控建模能力LSTM也不吃亏。5.3 别急着上Transformer先搞清你的场景需要什么现在很多人一听到序列建模就直接上Transformer我倒觉得要冷静。Transformer确实在长文本、大模型上表现远好过RNN但它的优势建立在大量数据、大规模并行训练、长上下文记忆这几个前提上。对小规模数据、在线流式推理场景RNN/LSTM反而更合适RNN是逐时间步推理的来一个输入算一步不需要看到完整序列才能启动这种低延迟特性在语音实时识别、交易信号实时监控里非常吃香。顺带说一句RNN的应用范围从来不只局限在文本和语音。我之前关注过一个把RNN用到微生物组时序观测中的工作通过分析不同时点的菌群丰度变化去推断微生物群落的生态过程本质也是用当前输入和上一时刻状态预测下一时刻趋势。数据从字符变成了微生物生活史观测值但建模思路完全一致。这就是序列建模框架的魅力只要数据满足有序、有依赖这两个特征RNN的方法论都可以平移过去。再往后学你会发现Transformer里的位置编码本质上就是在想办法让一个无序的注意力机制重新获得顺序感而RNN天然就有这个归纳偏置。这也是为什么我建议新手不要跳过RNN直接扎进Transformer把RNN为什么需要记忆、为什么参数共享、为什么梯度容易炸这些问题吃透再去理解位置编码和因果掩码你会豁然开朗。我的个人习惯是做一个新序列任务时先用一个结构简单的RNN或GRU把baseline跑出来再根据数据复杂度和算力预算决定要不要换更重的模型。这个习惯救了我很多次至少比一上来就调大模型省下大量无谓的时间。