1. 从零构建大语言模型一本真正让你“知其所以然”的实践指南如果你对ChatGPT、Claude这些大语言模型LLM的内部运作机制感到好奇想知道那些动辄千亿参数的“黑箱”究竟是如何被训练出来的那么你很可能已经尝试过阅读相关的论文或技术博客。但结果往往是面对复杂的数学公式和抽象的系统架构图依然感觉隔着一层厚厚的毛玻璃知其然却不知其所以然。这正是我最初学习时的困境直到我遇到了Sebastian Raschka的《Build a Large Language Model (From Scratch)》这本书及其配套的开源代码库rasbt/LLMs-from-scratch。这不是一本单纯的理论书而是一份“从零开始”的完整建造蓝图。它不依赖任何现成的LLM库如Hugging Face Transformers而是引导你亲手用PyTorch从最基础的文本数据处理开始一步步搭建起一个功能完整的GPT风格模型并完成预训练和微调。这个过程就像是从烧制砖块开始最终亲手盖起一座房子你对每一块砖、每一根梁的位置和作用都将了如指掌。这个项目适合所有具备扎实Python基础并对深度学习有基本了解的开发者、学生或技术爱好者。无论你是想深入理解Transformer架构的每一个细节为后续的模型优化和研究打下坚实基础还是单纯想获得“亲手造出一个能对话的AI”的巨大成就感跟随这个项目走一遍都将是一次无与伦比的学习体验。它剥离了工业级框架的复杂性直击核心原理让你获得的不是浮于表面的API调用技巧而是真正构建和驾驭LLM的底层能力。接下来我将结合自己的实践为你深入拆解这个项目的核心价值、学习路径以及那些官方文档里不会写的“踩坑”心得。2. 项目核心设计哲学与学习路径解析2.1 为什么选择“从零开始”在当今开源模型和框架唾手可得的时代“从零开始”构建似乎是一种低效的“重复造轮子”行为。但恰恰相反这正是本项目最具价值的设计哲学。市面上大多数LLM教程或课程起点往往是直接加载Hugging Face上的预训练模型进行微调或应用。这固然快捷但却让你错过了理解模型最核心、最精妙部分的机会——例如注意力机制是如何具体计算并实现并行化的位置编码是如何融入模型而不破坏其结构的自回归生成文本时那个关键的“键值缓存”KV Cache是如何工作的LLMs-from-scratch项目反其道而行之它假设你手头没有任何现成的Transformer组件。你需要从定义嵌入层Embedding Layer开始亲手实现缩放点积注意力Scaled Dot-Product Attention将其组合成多头注意力Multi-Head Attention再搭建前馈网络FFN和层归一化LayerNorm最终像搭积木一样组装成Transformer解码器块GPT使用的是纯解码器架构。这个过程强迫你去思考每一个张量的维度变化、每一个矩阵乘法的意义以及梯度是如何在这些自定义的模块中流动的。当你最终看到自己写的模型开始输出有意义的文本时那种对模型“完全掌控”的理解深度和成就感是任何调用API的方式都无法给予的。2.2 循序渐进的学习地图与资源搭配作者Sebastian Raschka为学习者规划了一条极其清晰的路径整个项目结构就是一本活的教科书。它主要分为核心章节和扩展Bonus材料两大部分。核心章节第2-7章是主干道必须按顺序完成第2章处理文本数据。从这里开始非常关键它教你如何将原始文本转化为模型能理解的数字ID序列即实现一个简单的分词器Tokenizer和数据加载器DataLoader。你会学到字节对编码BPE的基本思想虽然书中使用了简化版本但配套的Bonus材料里提供了完整的BPE实现。第3章编码注意力机制。这是Transformer的灵魂。你会从最基础的向量点积注意力实现起然后加入缩放因子Scaling最后实现可以并行计算的多头注意力。这一步是理解LLM如何“关注”不同位置信息的关键。第4章实现GPT模型。将上一章的注意力机制模块化结合前馈网络、残差连接和层归一化构建出完整的Transformer解码器层。然后堆叠多层加上最后的语言模型头LM Head你的第一个GPT模型骨架就诞生了。第5章在无标签数据上预训练。这是最“硬核”也最耗时的部分。你需要准备一个文本数据集如维基百科文章编写训练循环定义损失函数通常是交叉熵并开始训练模型预测下一个词。你会亲身体会到训练LLM对计算资源和时间的需求书中也提供了在消费级GPU甚至CPU上运行的小规模示例。第6章 第7章微调。让通用模型变得有用。第6章教你如何在下游任务如文本分类上微调模型第7章则深入指令微调Instruction Tuning这是让模型学会遵循人类指令、进行对话的关键技术。Bonus材料是探索的支线极大地丰富了学习维度。例如在实现基础GPT后你可以去探索KV Cache理解并实现推理加速的关键技术。LoRA学习参数高效微调方法用极小的参数量适配新任务。其他先进架构项目后期更新了Llama、Qwen、Gemma等流行架构的“从零实现”让你能对比不同模型设计的差异。提示强烈建议将书籍、代码仓库和作者提供的17小时视频课程结合使用。书籍提供系统的理论解释和代码上下文视频课程可以直观地看到每一行代码的编写过程和调试思路而代码仓库则是你动手实践的沙盒。三者结合学习效果最佳。3. 环境搭建与核心工具链实战要点3.1 Python与PyTorch环境配置避坑指南项目官方推荐使用uv这个新兴的Python包管理器和pip的替代品来创建环境因为它速度极快且可复现性极强。但对于国内用户直接使用可能会遇到包下载慢或失败的问题。我的实战经验是可以灵活变通。方案一推荐使用conda pip国内镜像 如果你已经安装了Anaconda或Miniconda这是最稳妥的方式。# 1. 创建新环境指定Python版本书中代码兼容3.8-3.11 conda create -n llm-from-scratch python3.10 -y conda activate llm-from-scratch # 2. 安装PyTorch务必去官网https://pytorch.org/get-started/locally/根据你的CUDA版本复制命令。 # 例如对于CUDA 12.1 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 3. 安装其他核心依赖使用国内镜像加速 pip install numpy tqdm matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple为什么这么做Conda在管理Python版本和某些科学计算库如MKL时比纯pip更稳定。先通过PyTorch官网安装能确保CUDA版本匹配避免后续莫名其妙的GPU无法调用问题。方案二使用项目推荐的uv 如果你追求极致的依赖锁定和速度且网络通畅可以尝试uv。# 安装uv curl -LsSf https://astral.sh/uv/install.sh | sh # 进入项目目录同步依赖uv会读取项目中的pyproject.toml或requirements.txt uv sync关键检查点 环境配置好后务必运行一个简单的测试脚本验证GPU是否可用import torch print(fPyTorch version: {torch.__version__}) print(fCUDA available: {torch.cuda.is_available()}) if torch.cuda.is_available(): print(fCUDA device: {torch.cuda.get_device_name(0)})如果CUDA不可用你需要检查PyTorch版本与CUDA驱动版本的兼容性这是新手最常见的“拦路虎”。3.2 代码结构导航与学习节奏把控克隆下来的代码仓库结构清晰但与普通项目不同它的核心是Jupyter Notebook.ipynb文件。LLMs-from-scratch/ ├── ch02/ # 第二章代码 │ ├── 01_main-chapter-code/ # 核心章节代码必须看 │ │ ├── ch02.ipynb # 主笔记本 │ │ └── dataloader.ipynb # 总结 │ └── 05_bpe-from-scratch/ # Bonus: 完整BPE实现 ├── ch03/ ├── ch04/ ...学习节奏建议不要直接运行打开一个章节的主笔记本如ch04.ipynb后先从头到尾阅读一遍理解每个代码块的目的。作者在代码间穿插了大量的Markdown文本解释这些是精华。动手敲不要复制建议你新建一个自己的Notebook或Python脚本跟着书中的讲解亲手键入每一行代码。这个过程能强迫你思考每一处细节遇到报错时你的调试能力会得到极大锻炼。善用“总结”文件每个章节的01_main-chapter-code目录下通常有一个以*_summary.py或*_summary.ipynb命名的文件。这是该章节所有核心代码的整合版非常适合在理解后用于复习或作为自己项目的起点。按需探索Bonus不要在第一次学习时就试图啃完所有Bonus材料那会让你迷失。先走通核心章节的主线建立信心和整体认知。当你在后续实践中遇到具体问题比如想优化推理速度时再回头来针对性学习相应的Bonus章节如KV Cache。4. 从零到一动手实现核心组件详解4.1 实现缩放点积注意力机制注意力机制是Transformer的基石其核心公式虽然只有一行但实现时需要考虑矩阵运算的维度和效率。我们来看一个简化但完整的实现import torch import torch.nn as nn import torch.nn.functional as F class SelfAttention(nn.Module): def __init__(self, d_in, d_out, dropout0.1): super().__init__() self.dropout nn.Dropout(dropout) # 将输入投影到查询Q、键K、值V空间 self.W_query nn.Linear(d_in, d_out, biasFalse) self.W_key nn.Linear(d_in, d_out, biasFalse) self.W_value nn.Linear(d_in, d_out, biasFalse) def forward(self, x): # x shape: (batch_size, seq_len, d_in) queries self.W_query(x) # (b, seq, d_out) keys self.W_key(x) # (b, seq, d_out) values self.W_value(x) # (b, seq, d_out) # 计算注意力分数Q * K^T # keys.transpose(1, 2) 将维度从 (b, seq, d_out) 转为 (b, d_out, seq) attn_scores queries keys.transpose(1, 2) # (b, seq, seq) # 缩放除以键向量维度的平方根防止点积过大导致softmax梯度消失 d_k keys.shape[-1] attn_weights F.softmax(attn_scores / (d_k ** 0.5), dim-1) # (b, seq, seq) attn_weights self.dropout(attn_weights) # 加权求和 context_vec attn_weights values # (b, seq, d_out) return context_vec关键点解析维度变换理解keys.transpose(1, 2)这一步至关重要。它使得queries(b, seq, d) 和keys(b, d, seq) 能够进行矩阵乘法得到 (b, seq, seq) 的注意力分数矩阵其中每个元素score[i, j]表示第i个查询向量与第j个键向量的相关性。缩放因子sqrt(d_k)这是原始论文中的关键技巧。当d_k键向量的维度较大时点积的结果可能非常大将softmax函数推向梯度极小的饱和区导致训练困难。除以sqrt(d_k)可以稳定梯度。Dropout在注意力权重上应用Dropout是一种有效的正则化方法可以防止模型对某些特定的注意力模式过度依赖。4.2 构建完整的GPT模型前向传播在实现了多头注意力本质上是将上述过程在“头”维度上并行化之后我们就可以组装Transformer块了。一个GPT解码器块主要包括层归一化、多头注意力、残差连接、前馈网络、再次的层归一化和残差连接。class TransformerBlock(nn.Module): def __init__(self, cfg): super().__init__() self.attn MultiHeadAttention(d_incfg[emb_dim], d_outcfg[emb_dim], num_headscfg[n_heads], dropoutcfg[drop_rate]) self.ff FeedForward(cfg) # 一个简单的两层MLP self.norm1 nn.LayerNorm(cfg[emb_dim]) self.norm2 nn.LayerNorm(cfg[emb_dim]) self.drop_resid nn.Dropout(cfg[drop_rate]) def forward(self, x): # 第一个子层带残差连接的多头注意力 shortcut x x self.norm1(x) x self.attn(x) # 自注意力看到的是整个序列在训练时 x self.drop_resid(x) x x shortcut # 残差连接 # 第二个子层带残差连接的前馈网络 shortcut x x self.norm2(x) x self.ff(x) x self.drop_resid(x) x x shortcut return x为什么是“解码器”且用于GPT注意这个块里没有“编码器-解码器注意力”只有自注意力。这是因为GPT是纯解码器Decoder-Only架构它只使用掩码自注意力Masked Self-Attention。在训练时为了确保模型只能根据前面的词预测下一个词我们需要在注意力分数矩阵上应用一个因果掩码Causal Mask将未来位置的信息屏蔽掉即设置为一个极大的负数如-1e9这样在softmax之后未来位置的权重就几乎为0。这是实现自回归生成的关键。4.3 编写训练循环与理解损失函数预训练的本质是让模型根据给定的上文预测下一个词Next Token Prediction。这被建模为一个多分类问题。假设我们的词表大小是V模型对序列中每个位置都会输出一个V维的向量表示每个词作为下一个词出现的概率经过softmax。损失函数就是标准的交叉熵损失。import torch.optim as optim from torch.utils.data import DataLoader def train_epoch(model, train_loader, optimizer, device): model.train() total_loss 0 for batch_idx, (input_batch, target_batch) in enumerate(train_loader): # input_batch: (b, seq_len), target_batch: (b, seq_len) input_batch, target_batch input_batch.to(device), target_batch.to(device) optimizer.zero_grad() # 前向传播模型输出 (b, seq_len, vocab_size) logits model(input_batch) # 注意这里输入是完整的序列但内部使用了因果掩码 # 计算损失通常我们预测每个位置的下一个词所以目标要偏移一位 # 假设我们使用最后一个位置的logits来预测下一个词语言模型标准做法 # 更常见的做法是将logits展平与展平的目标计算损失 loss F.cross_entropy(logits.view(-1, logits.size(-1)), target_batch.view(-1), ignore_index-100) # -100通常用于填充位置不计入损失 loss.backward() # 梯度裁剪防止梯度爆炸这对训练Transformer至关重要 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_loss loss.item() return total_loss / len(train_loader)核心细节与技巧目标偏移在标准的语言模型训练中对于输入序列[x1, x2, ..., xT]我们希望模型在位置i的输出是预测x_{i1}。因此在准备数据时target_batch通常是input_batch向右移动一位。上面的简化代码中target_batch应该已经是偏移后的目标。梯度裁剪Gradient ClippingTransformer模型由于层数深容易产生梯度爆炸问题。clip_grad_norm_函数将所有参数的梯度范数限制在一个阈值内这里是1.0这是稳定训练的必要操作。忽略索引ignore_index在批处理中序列通常会被填充Padding到相同长度。这些填充位置不应该贡献损失。在交叉熵损失中设置ignore_index为填充符的ID如-100可以自动忽略这些位置。5. 预训练与微调实战中的关键决策与调优5.1 小规模预训练数据、超参数与硬件权衡对于个人学习者在消费级GPU如RTX 4090/3090甚至3060上从头预训练一个“有用”的模型几乎是不可能的因为那需要海量数据和算力。但本书项目的巧妙之处在于它旨在教育而非生产。因此你可以用一个较小的数据集如几MB的文本和一个微型模型例如嵌入维度1286层8个头总参数量可能不到1000万在几个小时内完成预训练。关键决策点数据集选择不要一开始就用维基百科dump。可以从更小、更干净的数据集开始比如古登堡计划中的一本英文书。这能让你快速跑通整个流程看到损失下降和文本生成质量的初步变化建立正反馈。模型规模在config.py或类似配置文件中你会定义模型超参数。对于学习可以从“纳米”级别开始model_config { vocab_size: 50257, # GPT-2的词表大小 emb_dim: 768, # 嵌入维度可以降到128或256 n_layers: 6, # Transformer层数可以降到2-4 n_heads: 12, # 注意力头数可以降到4或8 drop_rate: 0.1, # Dropout率 qkv_bias: False, # 是否在QKV投影中加入偏置 }批次大小与序列长度这是内存消耗的主要决定因素。总内存 ≈ 模型参数量 * 2 (fp16) * 3 (前向、梯度、优化器状态) 批次大小 * 序列长度 * 嵌入维度 * 常数因子。在显存有限的情况下优先保证能跑起来。可以尝试batch_size8, seq_len256。优化器与学习率AdamW是当前训练LLM的事实标准。学习率需要小心设置一个常见的策略是使用带热身的线性衰减lr lr_max * min(step_num / warmup_steps, sqrt(warmup_steps/step_num))。对于小模型可以从3e-4或1e-4开始尝试。5.2 指令微调Instruction Tuning实战解析预训练得到的模型是一个“语言统计大师”但它不知道如何回答你的问题。指令微调就是教会模型遵循指令格式。这个过程需要准备一个(指令, 输入, 输出)格式的数据集。数据格式构建示例# 一条指令微调数据的格式 example { instruction: 将以下英文翻译成中文。, input: Hello, world!, output: 你好世界 } # 在训练时我们需要将它们拼接成一个提示Prompt prompt_template ### Instruction:\n{instruction}\n\n### Input:\n{input}\n\n### Response:\n # 填充后得到模型输入### Instruction:\n将以下英文翻译成中文。\n\n### Input:\nHello, world!\n\n### Response:\n # 训练目标target就是对应的输出你好世界训练技巧只计算响应部分的损失在计算损失时我们需要一个“损失掩码”Loss Mask只对“### Response:”之后的部分即我们期望模型生成的部分计算损失指令和输入部分被掩码掉。这确保了模型只学习如何生成响应而不是记忆指令。使用低秩适配LoRA从头微调所有参数既慢又容易过拟合。项目附录E实现了LoRA它只训练注入到注意力层中的一小部分低秩矩阵却能达到接近全参数微调的效果显存占用和速度都有巨大优势。这是个人开发者微调大模型的必备技能。评估是关键指令微调后模型可能会“胡言乱语”或格式错误。需要设计简单的评估脚本例如让模型回答一组标准问题人工或使用另一个LLM如GPT-4来评估其回答的相关性、有用性和无害性。6. 常见问题排查与性能优化技巧实录在跟随项目实践的过程中你几乎一定会遇到下面这些问题。这里记录了我踩过的坑和解决方案。6.1 内存溢出CUDA Out Of Memory, OOM这是最常见的问题尤其是在预训练和加载大模型时。症状训练开始不久或加载模型时程序崩溃并报错RuntimeError: CUDA out of memory。排查与解决监控显存在代码开始时加入torch.cuda.empty_cache()并在每个关键步骤后使用torch.cuda.memory_allocated()/1024**3打印当前显存占用GB。减小批次大小和序列长度这是最直接有效的方法。将batch_size和max_seq_len减半显存消耗通常会成倍下降。使用梯度累积Gradient Accumulation如果想让有效批次大小不变但物理批次大小较小可以使用梯度累积。例如设置batch_size4, accumulation_steps4相当于每4个step才更新一次参数有效批次大小为16。只需在loss.backward()时不立即optimizer.step()而是累积accumulation_steps次后再更新。启用混合精度训练AMP使用torch.cuda.amp自动进行混合精度训练可以显著减少显存占用并加速计算。但要注意这可能会引入数值不稳定性需要小心。检查模型参数确认你的模型配置没有无意中设置得过大。一个emb_dim2048, n_layers24的模型在消费级GPU上是无法训练的。6.2 训练损失不下降或出现NaN症状训练了几个epoch损失值居高不下或者突然变成NaN。排查与解决检查数据确保你的输入数据中没有异常值如非常大的数字或NaN。文本数据是否被正确分词ID是否在词表范围内检查学习率学习率可能太高了。尝试将其降低一个数量级例如从1e-3降到1e-4。检查梯度裁剪确保已经实施了梯度裁剪。如果没有梯度爆炸会导致参数更新步长巨大损失变成NaN。检查初始化模型参数的初始化方式很重要。Transformer通常使用Xavier或Kaiming初始化。如果你是自己定义线性层确保使用了合理的初始化。加入损失监控在训练循环中不仅打印平均损失也打印每个批次的损失。观察损失是平稳不降还是剧烈波动后爆炸。平稳不降可能是学习率太低或模型能力不足剧烈波动可能是学习率太高或批次内数据差异太大。6.3 模型生成的结果是乱码或重复词症状使用训练好的模型生成文本时输出是毫无意义的字符重复或者不断重复同一个词。排查与解决检查采样策略生成文本时你是从模型的输出概率分布中贪婪地选择概率最大的词Greedy Decoding还是使用了采样Sampling贪婪解码很容易导致重复和乏味的输出。尝试使用核采样Top-p sampling或Top-k采样并调整温度Temperature。温度参数T控制输出的随机性T接近0时接近贪婪解码T较大时更随机。检查训练是否充分模型可能根本没有学会语言的基本规律损失还很高。继续训练或者检查训练数据是否质量太差、量太少。检查生成循环的逻辑确保在自回归生成时你正确地将模型上一次生成的词作为下一次输入的的一部分并且应用了因果掩码。一个常见的错误是错误地处理了输入序列的拼接。6.4 加载预训练权重失败项目后期章节会教你加载像GPT-2这样公开的预训练模型权重进行微调。症状在加载state_dict时出现Missing keys或Unexpected keys错误。排查与解决严格对齐键名PyTorch保存的state_dict是一个字典键名必须和你的模型定义中的参数名完全一致。使用print(model.state_dict().keys())和print(pretrained_dict.keys())仔细对比差异。处理前缀有时预训练权重的键名带有前缀如transformer.h.0.attn.c_attn.weight而你的模型参数名可能是layers.0.attention.query.weight。你需要编写一个简单的键名映射函数来转换。维度匹配即使键名匹配也要检查张量的维度是否一致。例如预训练模型的嵌入维度是768而你的模型是512就无法直接加载。7. 超越本书将所学应用于实际项目完成LLMs-from-scratch的所有核心实践后你已经不再是LLM世界的门外汉了。你拥有了拆解任何一个Transformer类模型的能力。接下来你可以尝试复现更先进的架构利用你对注意力、FFN、归一化等基础组件的理解去阅读Llama、Mistral、Gemma等最新模型的论文尝试根据论文描述用PyTorch实现它们的核心改进点如RoPE位置编码、SwiGLU激活函数、Grouped-Query Attention等。尝试模型压缩与优化了解模型量化Quantization、知识蒸馏Knowledge Distillation和剪枝Pruning的基本原理。你可以尝试将你训练的小模型用INT8量化观察精度和速度的变化。深入理解训练技巧探索更复杂的优化器如Lion、学习率调度器Cosine with Warm Restarts、以及稳定大模型训练的技巧如Flash Attention的实现原理。构建端到端应用将你微调好的模型使用FastAPI或Gradio封装成一个简单的Web服务创建一个聊天机器人或文本分类工具。这会让你熟悉模型部署的整个流程。这个项目最大的价值是给了你一张清晰的地图和一把锋利的斧头。地图是LLM的知识体系而斧头是“从零实现”带来的深刻理解。有了这些AI时代最令人兴奋的森林正等待你去探索。记住所有现在看起来高深莫测的模型和技术都是由这些基础组件构成的。你现在已经掌握了组装它们的能力。
从零构建大语言模型：PyTorch实践指南与Transformer核心实现
发布时间：2026/6/24 13:04:33
1. 从零构建大语言模型一本真正让你“知其所以然”的实践指南如果你对ChatGPT、Claude这些大语言模型LLM的内部运作机制感到好奇想知道那些动辄千亿参数的“黑箱”究竟是如何被训练出来的那么你很可能已经尝试过阅读相关的论文或技术博客。但结果往往是面对复杂的数学公式和抽象的系统架构图依然感觉隔着一层厚厚的毛玻璃知其然却不知其所以然。这正是我最初学习时的困境直到我遇到了Sebastian Raschka的《Build a Large Language Model (From Scratch)》这本书及其配套的开源代码库rasbt/LLMs-from-scratch。这不是一本单纯的理论书而是一份“从零开始”的完整建造蓝图。它不依赖任何现成的LLM库如Hugging Face Transformers而是引导你亲手用PyTorch从最基础的文本数据处理开始一步步搭建起一个功能完整的GPT风格模型并完成预训练和微调。这个过程就像是从烧制砖块开始最终亲手盖起一座房子你对每一块砖、每一根梁的位置和作用都将了如指掌。这个项目适合所有具备扎实Python基础并对深度学习有基本了解的开发者、学生或技术爱好者。无论你是想深入理解Transformer架构的每一个细节为后续的模型优化和研究打下坚实基础还是单纯想获得“亲手造出一个能对话的AI”的巨大成就感跟随这个项目走一遍都将是一次无与伦比的学习体验。它剥离了工业级框架的复杂性直击核心原理让你获得的不是浮于表面的API调用技巧而是真正构建和驾驭LLM的底层能力。接下来我将结合自己的实践为你深入拆解这个项目的核心价值、学习路径以及那些官方文档里不会写的“踩坑”心得。2. 项目核心设计哲学与学习路径解析2.1 为什么选择“从零开始”在当今开源模型和框架唾手可得的时代“从零开始”构建似乎是一种低效的“重复造轮子”行为。但恰恰相反这正是本项目最具价值的设计哲学。市面上大多数LLM教程或课程起点往往是直接加载Hugging Face上的预训练模型进行微调或应用。这固然快捷但却让你错过了理解模型最核心、最精妙部分的机会——例如注意力机制是如何具体计算并实现并行化的位置编码是如何融入模型而不破坏其结构的自回归生成文本时那个关键的“键值缓存”KV Cache是如何工作的LLMs-from-scratch项目反其道而行之它假设你手头没有任何现成的Transformer组件。你需要从定义嵌入层Embedding Layer开始亲手实现缩放点积注意力Scaled Dot-Product Attention将其组合成多头注意力Multi-Head Attention再搭建前馈网络FFN和层归一化LayerNorm最终像搭积木一样组装成Transformer解码器块GPT使用的是纯解码器架构。这个过程强迫你去思考每一个张量的维度变化、每一个矩阵乘法的意义以及梯度是如何在这些自定义的模块中流动的。当你最终看到自己写的模型开始输出有意义的文本时那种对模型“完全掌控”的理解深度和成就感是任何调用API的方式都无法给予的。2.2 循序渐进的学习地图与资源搭配作者Sebastian Raschka为学习者规划了一条极其清晰的路径整个项目结构就是一本活的教科书。它主要分为核心章节和扩展Bonus材料两大部分。核心章节第2-7章是主干道必须按顺序完成第2章处理文本数据。从这里开始非常关键它教你如何将原始文本转化为模型能理解的数字ID序列即实现一个简单的分词器Tokenizer和数据加载器DataLoader。你会学到字节对编码BPE的基本思想虽然书中使用了简化版本但配套的Bonus材料里提供了完整的BPE实现。第3章编码注意力机制。这是Transformer的灵魂。你会从最基础的向量点积注意力实现起然后加入缩放因子Scaling最后实现可以并行计算的多头注意力。这一步是理解LLM如何“关注”不同位置信息的关键。第4章实现GPT模型。将上一章的注意力机制模块化结合前馈网络、残差连接和层归一化构建出完整的Transformer解码器层。然后堆叠多层加上最后的语言模型头LM Head你的第一个GPT模型骨架就诞生了。第5章在无标签数据上预训练。这是最“硬核”也最耗时的部分。你需要准备一个文本数据集如维基百科文章编写训练循环定义损失函数通常是交叉熵并开始训练模型预测下一个词。你会亲身体会到训练LLM对计算资源和时间的需求书中也提供了在消费级GPU甚至CPU上运行的小规模示例。第6章 第7章微调。让通用模型变得有用。第6章教你如何在下游任务如文本分类上微调模型第7章则深入指令微调Instruction Tuning这是让模型学会遵循人类指令、进行对话的关键技术。Bonus材料是探索的支线极大地丰富了学习维度。例如在实现基础GPT后你可以去探索KV Cache理解并实现推理加速的关键技术。LoRA学习参数高效微调方法用极小的参数量适配新任务。其他先进架构项目后期更新了Llama、Qwen、Gemma等流行架构的“从零实现”让你能对比不同模型设计的差异。提示强烈建议将书籍、代码仓库和作者提供的17小时视频课程结合使用。书籍提供系统的理论解释和代码上下文视频课程可以直观地看到每一行代码的编写过程和调试思路而代码仓库则是你动手实践的沙盒。三者结合学习效果最佳。3. 环境搭建与核心工具链实战要点3.1 Python与PyTorch环境配置避坑指南项目官方推荐使用uv这个新兴的Python包管理器和pip的替代品来创建环境因为它速度极快且可复现性极强。但对于国内用户直接使用可能会遇到包下载慢或失败的问题。我的实战经验是可以灵活变通。方案一推荐使用conda pip国内镜像 如果你已经安装了Anaconda或Miniconda这是最稳妥的方式。# 1. 创建新环境指定Python版本书中代码兼容3.8-3.11 conda create -n llm-from-scratch python3.10 -y conda activate llm-from-scratch # 2. 安装PyTorch务必去官网https://pytorch.org/get-started/locally/根据你的CUDA版本复制命令。 # 例如对于CUDA 12.1 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 # 3. 安装其他核心依赖使用国内镜像加速 pip install numpy tqdm matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple为什么这么做Conda在管理Python版本和某些科学计算库如MKL时比纯pip更稳定。先通过PyTorch官网安装能确保CUDA版本匹配避免后续莫名其妙的GPU无法调用问题。方案二使用项目推荐的uv 如果你追求极致的依赖锁定和速度且网络通畅可以尝试uv。# 安装uv curl -LsSf https://astral.sh/uv/install.sh | sh # 进入项目目录同步依赖uv会读取项目中的pyproject.toml或requirements.txt uv sync关键检查点 环境配置好后务必运行一个简单的测试脚本验证GPU是否可用import torch print(fPyTorch version: {torch.__version__}) print(fCUDA available: {torch.cuda.is_available()}) if torch.cuda.is_available(): print(fCUDA device: {torch.cuda.get_device_name(0)})如果CUDA不可用你需要检查PyTorch版本与CUDA驱动版本的兼容性这是新手最常见的“拦路虎”。3.2 代码结构导航与学习节奏把控克隆下来的代码仓库结构清晰但与普通项目不同它的核心是Jupyter Notebook.ipynb文件。LLMs-from-scratch/ ├── ch02/ # 第二章代码 │ ├── 01_main-chapter-code/ # 核心章节代码必须看 │ │ ├── ch02.ipynb # 主笔记本 │ │ └── dataloader.ipynb # 总结 │ └── 05_bpe-from-scratch/ # Bonus: 完整BPE实现 ├── ch03/ ├── ch04/ ...学习节奏建议不要直接运行打开一个章节的主笔记本如ch04.ipynb后先从头到尾阅读一遍理解每个代码块的目的。作者在代码间穿插了大量的Markdown文本解释这些是精华。动手敲不要复制建议你新建一个自己的Notebook或Python脚本跟着书中的讲解亲手键入每一行代码。这个过程能强迫你思考每一处细节遇到报错时你的调试能力会得到极大锻炼。善用“总结”文件每个章节的01_main-chapter-code目录下通常有一个以*_summary.py或*_summary.ipynb命名的文件。这是该章节所有核心代码的整合版非常适合在理解后用于复习或作为自己项目的起点。按需探索Bonus不要在第一次学习时就试图啃完所有Bonus材料那会让你迷失。先走通核心章节的主线建立信心和整体认知。当你在后续实践中遇到具体问题比如想优化推理速度时再回头来针对性学习相应的Bonus章节如KV Cache。4. 从零到一动手实现核心组件详解4.1 实现缩放点积注意力机制注意力机制是Transformer的基石其核心公式虽然只有一行但实现时需要考虑矩阵运算的维度和效率。我们来看一个简化但完整的实现import torch import torch.nn as nn import torch.nn.functional as F class SelfAttention(nn.Module): def __init__(self, d_in, d_out, dropout0.1): super().__init__() self.dropout nn.Dropout(dropout) # 将输入投影到查询Q、键K、值V空间 self.W_query nn.Linear(d_in, d_out, biasFalse) self.W_key nn.Linear(d_in, d_out, biasFalse) self.W_value nn.Linear(d_in, d_out, biasFalse) def forward(self, x): # x shape: (batch_size, seq_len, d_in) queries self.W_query(x) # (b, seq, d_out) keys self.W_key(x) # (b, seq, d_out) values self.W_value(x) # (b, seq, d_out) # 计算注意力分数Q * K^T # keys.transpose(1, 2) 将维度从 (b, seq, d_out) 转为 (b, d_out, seq) attn_scores queries keys.transpose(1, 2) # (b, seq, seq) # 缩放除以键向量维度的平方根防止点积过大导致softmax梯度消失 d_k keys.shape[-1] attn_weights F.softmax(attn_scores / (d_k ** 0.5), dim-1) # (b, seq, seq) attn_weights self.dropout(attn_weights) # 加权求和 context_vec attn_weights values # (b, seq, d_out) return context_vec关键点解析维度变换理解keys.transpose(1, 2)这一步至关重要。它使得queries(b, seq, d) 和keys(b, d, seq) 能够进行矩阵乘法得到 (b, seq, seq) 的注意力分数矩阵其中每个元素score[i, j]表示第i个查询向量与第j个键向量的相关性。缩放因子sqrt(d_k)这是原始论文中的关键技巧。当d_k键向量的维度较大时点积的结果可能非常大将softmax函数推向梯度极小的饱和区导致训练困难。除以sqrt(d_k)可以稳定梯度。Dropout在注意力权重上应用Dropout是一种有效的正则化方法可以防止模型对某些特定的注意力模式过度依赖。4.2 构建完整的GPT模型前向传播在实现了多头注意力本质上是将上述过程在“头”维度上并行化之后我们就可以组装Transformer块了。一个GPT解码器块主要包括层归一化、多头注意力、残差连接、前馈网络、再次的层归一化和残差连接。class TransformerBlock(nn.Module): def __init__(self, cfg): super().__init__() self.attn MultiHeadAttention(d_incfg[emb_dim], d_outcfg[emb_dim], num_headscfg[n_heads], dropoutcfg[drop_rate]) self.ff FeedForward(cfg) # 一个简单的两层MLP self.norm1 nn.LayerNorm(cfg[emb_dim]) self.norm2 nn.LayerNorm(cfg[emb_dim]) self.drop_resid nn.Dropout(cfg[drop_rate]) def forward(self, x): # 第一个子层带残差连接的多头注意力 shortcut x x self.norm1(x) x self.attn(x) # 自注意力看到的是整个序列在训练时 x self.drop_resid(x) x x shortcut # 残差连接 # 第二个子层带残差连接的前馈网络 shortcut x x self.norm2(x) x self.ff(x) x self.drop_resid(x) x x shortcut return x为什么是“解码器”且用于GPT注意这个块里没有“编码器-解码器注意力”只有自注意力。这是因为GPT是纯解码器Decoder-Only架构它只使用掩码自注意力Masked Self-Attention。在训练时为了确保模型只能根据前面的词预测下一个词我们需要在注意力分数矩阵上应用一个因果掩码Causal Mask将未来位置的信息屏蔽掉即设置为一个极大的负数如-1e9这样在softmax之后未来位置的权重就几乎为0。这是实现自回归生成的关键。4.3 编写训练循环与理解损失函数预训练的本质是让模型根据给定的上文预测下一个词Next Token Prediction。这被建模为一个多分类问题。假设我们的词表大小是V模型对序列中每个位置都会输出一个V维的向量表示每个词作为下一个词出现的概率经过softmax。损失函数就是标准的交叉熵损失。import torch.optim as optim from torch.utils.data import DataLoader def train_epoch(model, train_loader, optimizer, device): model.train() total_loss 0 for batch_idx, (input_batch, target_batch) in enumerate(train_loader): # input_batch: (b, seq_len), target_batch: (b, seq_len) input_batch, target_batch input_batch.to(device), target_batch.to(device) optimizer.zero_grad() # 前向传播模型输出 (b, seq_len, vocab_size) logits model(input_batch) # 注意这里输入是完整的序列但内部使用了因果掩码 # 计算损失通常我们预测每个位置的下一个词所以目标要偏移一位 # 假设我们使用最后一个位置的logits来预测下一个词语言模型标准做法 # 更常见的做法是将logits展平与展平的目标计算损失 loss F.cross_entropy(logits.view(-1, logits.size(-1)), target_batch.view(-1), ignore_index-100) # -100通常用于填充位置不计入损失 loss.backward() # 梯度裁剪防止梯度爆炸这对训练Transformer至关重要 torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm1.0) optimizer.step() total_loss loss.item() return total_loss / len(train_loader)核心细节与技巧目标偏移在标准的语言模型训练中对于输入序列[x1, x2, ..., xT]我们希望模型在位置i的输出是预测x_{i1}。因此在准备数据时target_batch通常是input_batch向右移动一位。上面的简化代码中target_batch应该已经是偏移后的目标。梯度裁剪Gradient ClippingTransformer模型由于层数深容易产生梯度爆炸问题。clip_grad_norm_函数将所有参数的梯度范数限制在一个阈值内这里是1.0这是稳定训练的必要操作。忽略索引ignore_index在批处理中序列通常会被填充Padding到相同长度。这些填充位置不应该贡献损失。在交叉熵损失中设置ignore_index为填充符的ID如-100可以自动忽略这些位置。5. 预训练与微调实战中的关键决策与调优5.1 小规模预训练数据、超参数与硬件权衡对于个人学习者在消费级GPU如RTX 4090/3090甚至3060上从头预训练一个“有用”的模型几乎是不可能的因为那需要海量数据和算力。但本书项目的巧妙之处在于它旨在教育而非生产。因此你可以用一个较小的数据集如几MB的文本和一个微型模型例如嵌入维度1286层8个头总参数量可能不到1000万在几个小时内完成预训练。关键决策点数据集选择不要一开始就用维基百科dump。可以从更小、更干净的数据集开始比如古登堡计划中的一本英文书。这能让你快速跑通整个流程看到损失下降和文本生成质量的初步变化建立正反馈。模型规模在config.py或类似配置文件中你会定义模型超参数。对于学习可以从“纳米”级别开始model_config { vocab_size: 50257, # GPT-2的词表大小 emb_dim: 768, # 嵌入维度可以降到128或256 n_layers: 6, # Transformer层数可以降到2-4 n_heads: 12, # 注意力头数可以降到4或8 drop_rate: 0.1, # Dropout率 qkv_bias: False, # 是否在QKV投影中加入偏置 }批次大小与序列长度这是内存消耗的主要决定因素。总内存 ≈ 模型参数量 * 2 (fp16) * 3 (前向、梯度、优化器状态) 批次大小 * 序列长度 * 嵌入维度 * 常数因子。在显存有限的情况下优先保证能跑起来。可以尝试batch_size8, seq_len256。优化器与学习率AdamW是当前训练LLM的事实标准。学习率需要小心设置一个常见的策略是使用带热身的线性衰减lr lr_max * min(step_num / warmup_steps, sqrt(warmup_steps/step_num))。对于小模型可以从3e-4或1e-4开始尝试。5.2 指令微调Instruction Tuning实战解析预训练得到的模型是一个“语言统计大师”但它不知道如何回答你的问题。指令微调就是教会模型遵循指令格式。这个过程需要准备一个(指令, 输入, 输出)格式的数据集。数据格式构建示例# 一条指令微调数据的格式 example { instruction: 将以下英文翻译成中文。, input: Hello, world!, output: 你好世界 } # 在训练时我们需要将它们拼接成一个提示Prompt prompt_template ### Instruction:\n{instruction}\n\n### Input:\n{input}\n\n### Response:\n # 填充后得到模型输入### Instruction:\n将以下英文翻译成中文。\n\n### Input:\nHello, world!\n\n### Response:\n # 训练目标target就是对应的输出你好世界训练技巧只计算响应部分的损失在计算损失时我们需要一个“损失掩码”Loss Mask只对“### Response:”之后的部分即我们期望模型生成的部分计算损失指令和输入部分被掩码掉。这确保了模型只学习如何生成响应而不是记忆指令。使用低秩适配LoRA从头微调所有参数既慢又容易过拟合。项目附录E实现了LoRA它只训练注入到注意力层中的一小部分低秩矩阵却能达到接近全参数微调的效果显存占用和速度都有巨大优势。这是个人开发者微调大模型的必备技能。评估是关键指令微调后模型可能会“胡言乱语”或格式错误。需要设计简单的评估脚本例如让模型回答一组标准问题人工或使用另一个LLM如GPT-4来评估其回答的相关性、有用性和无害性。6. 常见问题排查与性能优化技巧实录在跟随项目实践的过程中你几乎一定会遇到下面这些问题。这里记录了我踩过的坑和解决方案。6.1 内存溢出CUDA Out Of Memory, OOM这是最常见的问题尤其是在预训练和加载大模型时。症状训练开始不久或加载模型时程序崩溃并报错RuntimeError: CUDA out of memory。排查与解决监控显存在代码开始时加入torch.cuda.empty_cache()并在每个关键步骤后使用torch.cuda.memory_allocated()/1024**3打印当前显存占用GB。减小批次大小和序列长度这是最直接有效的方法。将batch_size和max_seq_len减半显存消耗通常会成倍下降。使用梯度累积Gradient Accumulation如果想让有效批次大小不变但物理批次大小较小可以使用梯度累积。例如设置batch_size4, accumulation_steps4相当于每4个step才更新一次参数有效批次大小为16。只需在loss.backward()时不立即optimizer.step()而是累积accumulation_steps次后再更新。启用混合精度训练AMP使用torch.cuda.amp自动进行混合精度训练可以显著减少显存占用并加速计算。但要注意这可能会引入数值不稳定性需要小心。检查模型参数确认你的模型配置没有无意中设置得过大。一个emb_dim2048, n_layers24的模型在消费级GPU上是无法训练的。6.2 训练损失不下降或出现NaN症状训练了几个epoch损失值居高不下或者突然变成NaN。排查与解决检查数据确保你的输入数据中没有异常值如非常大的数字或NaN。文本数据是否被正确分词ID是否在词表范围内检查学习率学习率可能太高了。尝试将其降低一个数量级例如从1e-3降到1e-4。检查梯度裁剪确保已经实施了梯度裁剪。如果没有梯度爆炸会导致参数更新步长巨大损失变成NaN。检查初始化模型参数的初始化方式很重要。Transformer通常使用Xavier或Kaiming初始化。如果你是自己定义线性层确保使用了合理的初始化。加入损失监控在训练循环中不仅打印平均损失也打印每个批次的损失。观察损失是平稳不降还是剧烈波动后爆炸。平稳不降可能是学习率太低或模型能力不足剧烈波动可能是学习率太高或批次内数据差异太大。6.3 模型生成的结果是乱码或重复词症状使用训练好的模型生成文本时输出是毫无意义的字符重复或者不断重复同一个词。排查与解决检查采样策略生成文本时你是从模型的输出概率分布中贪婪地选择概率最大的词Greedy Decoding还是使用了采样Sampling贪婪解码很容易导致重复和乏味的输出。尝试使用核采样Top-p sampling或Top-k采样并调整温度Temperature。温度参数T控制输出的随机性T接近0时接近贪婪解码T较大时更随机。检查训练是否充分模型可能根本没有学会语言的基本规律损失还很高。继续训练或者检查训练数据是否质量太差、量太少。检查生成循环的逻辑确保在自回归生成时你正确地将模型上一次生成的词作为下一次输入的的一部分并且应用了因果掩码。一个常见的错误是错误地处理了输入序列的拼接。6.4 加载预训练权重失败项目后期章节会教你加载像GPT-2这样公开的预训练模型权重进行微调。症状在加载state_dict时出现Missing keys或Unexpected keys错误。排查与解决严格对齐键名PyTorch保存的state_dict是一个字典键名必须和你的模型定义中的参数名完全一致。使用print(model.state_dict().keys())和print(pretrained_dict.keys())仔细对比差异。处理前缀有时预训练权重的键名带有前缀如transformer.h.0.attn.c_attn.weight而你的模型参数名可能是layers.0.attention.query.weight。你需要编写一个简单的键名映射函数来转换。维度匹配即使键名匹配也要检查张量的维度是否一致。例如预训练模型的嵌入维度是768而你的模型是512就无法直接加载。7. 超越本书将所学应用于实际项目完成LLMs-from-scratch的所有核心实践后你已经不再是LLM世界的门外汉了。你拥有了拆解任何一个Transformer类模型的能力。接下来你可以尝试复现更先进的架构利用你对注意力、FFN、归一化等基础组件的理解去阅读Llama、Mistral、Gemma等最新模型的论文尝试根据论文描述用PyTorch实现它们的核心改进点如RoPE位置编码、SwiGLU激活函数、Grouped-Query Attention等。尝试模型压缩与优化了解模型量化Quantization、知识蒸馏Knowledge Distillation和剪枝Pruning的基本原理。你可以尝试将你训练的小模型用INT8量化观察精度和速度的变化。深入理解训练技巧探索更复杂的优化器如Lion、学习率调度器Cosine with Warm Restarts、以及稳定大模型训练的技巧如Flash Attention的实现原理。构建端到端应用将你微调好的模型使用FastAPI或Gradio封装成一个简单的Web服务创建一个聊天机器人或文本分类工具。这会让你熟悉模型部署的整个流程。这个项目最大的价值是给了你一张清晰的地图和一把锋利的斧头。地图是LLM的知识体系而斧头是“从零实现”带来的深刻理解。有了这些AI时代最令人兴奋的森林正等待你去探索。记住所有现在看起来高深莫测的模型和技术都是由这些基础组件构成的。你现在已经掌握了组装它们的能力。
