简介一份面向生物信息学研究者与深度学习初学者的PyTorchTransformer建模文档聚焦基因表达谱分类任务系统讲解数据预处理、特征选择、Transformer编码器、全连接层与输出层设计以及训练调优和评估分析的完整流程。资源为单个PDF文件大小2.15MB目录支持章节跳转与大纲定位方便按需查阅已有98人学习下载。内容既拆解PyTorch动态计算图与注意力机制原理也通过癌症亚型分类、疾病诊断辅助、药物反应预测等案例展示落地方式针对基因数据高维性、噪声与不平衡等挑战给出了具体处理策略。正文从研究背景、模型构建、训练优化一直铺陈到案例应用与未来展望读者可参照其中的模型类定义、训练循环和评估指标计算方法进行复现整体兼顾理论讲解、代码思路与实践参考。1. 为什么 PyTorch 和 Transformer 适合做基因表达谱分类把 PyTorch 用在基因表达谱分类上最值钱的不是模型有多深而是它能把高维表达矩阵里的长程依赖关系真正利用起来。RNA-seq 出来的表达矩阵通常是几万行基因乘以几十或几百个样本样本少、维度高这种“p n”问题一直是传统方法的死穴。早年拿 SVM、决策树甚至带核方法的模型硬套特征一多就过拟合光是把两万个基因筛到可训练规模就要折腾好几天。后来把 Transformer 的编码器搬过来配合 PyTorch 的 Autograd 调参发现这条路比想象中顺手注意力机制直接建模基因之间的关联而基因调控网络本身就有强依赖结构。这篇拆解按深度学习建模的完整流程从数据预处理、编码器设计、训练调参到评估验证把这个项目完整过一遍适合正在做癌症亚型识别、疾病诊断辅助或者药物响应预测的读者作为参考基线。2. 表达谱数据预处理标准化、特征筛选与泄漏规避一上手就是高维矩阵。原始的 counts 或 TPM 矩阵里各个基因表达量级的差异非常大低表达基因和高表达基因可能差好几个数量级。直接喂给模型训练会不稳定注意力权重也会被高表达基因主导结果就是你以为模型学到了“TP53 高表达所以分到这一类”实际上它学到的可能是批次效应。所以预处理的第一件事是把计数矩阵转成适合模型输入的形态这个环节直接决定后面训练曲线的下限。2.1 先做对数变换再谈标准化RNA-seq 数据的分布接近负二项分布常规做法是先做 log1p 变换把动态范围压下来再对每个基因做 Z-score 标准化让表达量分布到均值 0、方差 1 的区间。import pandas as pd import numpy as np from sklearn.preprocessing import StandardScaler # 读取表达矩阵行为样本列为基因 # 如果原始数据是“基因 x 样本”先转置成“样本 x 基因” data pd.read_csv(expression_matrix.csv, index_col0).T # log1p 压缩动态范围防止个别高表达基因主导梯度 data_log np.log1p(data) # 只对特征做标准化不对标签做 scaler StandardScaler() data_std scaler.fit_transform(data_log) data_std pd.DataFrame(data_std, indexdata.index, columnsdata.columns) print(data_std.shape)index_col0是把第一列当成样本名或基因名log1p等价于log(x1)对零值友好。StandardScaler按每个基因单独计算均值和方差。注意scaler只能先在训练集上fit再用同一个参数transform验证集和测试集否则会引入数据泄漏测试集上算出来的准确率和 F1 会虚高 5 到 10 个百分点。2.2 缺失值和异常值的取舍表达谱里的缺失值不多但一旦出现往往是探针设计或测序深度造成的系统性缺失直接dropna会损失样本不划算。我一般用SimpleImputer按基因中位数填充中位数比均值更抗异常值。异常值检测用 IQR 方法但只标记、不直接删因为部分“异常”高表达基因在疾病样本里可能是真实信号。from sklearn.impute import SimpleImputer # 中位数填充对高维稀疏矩阵更稳健 imputer SimpleImputer(strategymedian) data_imputed imputer.fit_transform(data_log)2.3 特征选择方差过滤比 PCA 更利于解释高维问题不筛特征训练会非常慢而且模型容易记住噪声。常见做法是先按方差过滤掉在绝大多数样本里表达量恒定或接近恒定的基因再用 SelectKBest 按 ANOVA F 值挑选与标签关系最密切的 top-k 基因。方法适用场景数据形态保留可解释性VarianceThreshold删除近零方差基因保留原特征高SelectKBest(F 值)与标签线性相关的基因筛选保留原特征高PCA降维压缩生成新特征低Lasso稀疏特征选择保留原特征中from sklearn.feature_selection import VarianceThreshold, SelectKBest, f_classif # 先去掉在样本间几乎没波动的基因 var_sel VarianceThreshold(threshold0.01) data_var var_sel.fit_transform(data_std) # 再按 F 值挑出前 2000 个基因 kbest SelectKBest(f_classif, k2000) data_sel kbest.fit_transform(data_var, labels) selected_genes data_std.columns[var_sel.get_support()][kbest.get_support()] print(f筛选后特征数: {data_sel.shape[1]})k取多少2000 到 5000 是 Transformer 编码器性价比不错的区间太大训练慢太小会丢掉低表达但关键的调控基因。这里不建议直接用 PCA因为 PCA 生成的新特征无法映射回基因名后面做注意力权重归因时根本解释不了模型到底看了哪些基因。提示特征选择同样要在交叉验证内部做只看训练集。先全局筛特征再切分属于典型的数据泄漏测试集指标会失真。处理完表达矩阵后按标签分层抽样划分训练集和验证集保证每个类别在切分后的比例一致。这一步的具体代码放到第 4 章训练流程里一起讲因为 DataLoader 的构建和它强相关。3. 用 PyTorch 手写 Transformer 编码器位置编码与多头注意力实现表达谱分类本质上是序列分类但和 NLP 不同基因的顺序本身没有绝对的生物学意义。固定一个顺序只是为了给位置编码一个稳定的坐标参考让模型在学习基因间关联时有几何位置可用。编码器擅长把整条序列压缩成上下文表征这正好适合“从全局表达状态判断样本类别”这一类任务。PyTorch 的nn.Module机制让编码层的组装很直接调试时也能在每一层之后随时打印张量形状这一点在排查维度不匹配时特别省时间。3.1 为什么只保留编码器基因表达谱分类只需要读入一个样本的表达向量输出一个类别不生成序列所以直接砍掉解码器用编码器输出端的平均池化接全连接层。这样参数少、训练稳定思路和文本分类里的 BERT 一致。整个模型结构里真正核心的是多头自注意力和前馈网络这两块属于 Transformer 的基础框架也是手写价值最大的部分。3.2 位置编码给基因顺序一个坐标参考Transformer 本身没有顺序概念需要注入位置信息。对表达谱来说位置编码可以理解为给基因顺序加了一个固定坐标让注意力在计算基因关联权重时对基因在矩阵中的位置敏感。下面用正弦余弦编码实现这也是经典 Transformer 论文里的原始方案。import torch import torch.nn as nn import math class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len5000): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len, dtypetorch.float).unsqueeze(1) div_term torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term) pe pe.unsqueeze(0) # [1, max_len, d_model] self.register_buffer(pe, pe) def forward(self, x): return x self.pe[:, :x.size(1), :]div_term用指数衰减控制不同维度的频率前几个维度负责粗粒度位置信息后面的维度负责细粒度位置差异。把pe注册为buffer模型保存和加载时不会把它当作可训练参数同时又能随模型移动到 GPU 上。3.3 多头注意力与残差编码层PyTorch 自带的nn.MultiheadAttention已经把 Q、K、V 投影和缩放点积注意力的张量运算封装好了但有两个参数必须理解batch_firstTrue时输入是[batch, seq, hidden]默认情况下则是[seq, batch, hidden]这个顺序问题是我在实际项目里见过最多的报错来源。下面搭一个编码层class TransformerEncoderLayer(nn.Module): def __init__(self, d_model, nhead, dim_feedforward, dropout0.1): super().__init__() self.self_attn nn.MultiheadAttention( d_model, nhead, dropoutdropout, batch_firstTrue ) self.linear1 nn.Linear(d_model, dim_feedforward) self.linear2 nn.Linear(dim_feedforward, d_model) self.norm1 nn.LayerNorm(d_model) self.norm2 nn.LayerNorm(d_model) self.dropout1 nn.Dropout(dropout) self.dropout2 nn.Dropout(dropout) def forward(self, x): # x: [batch, seq_len, d_model] attn_out, _ self.self_attn(x, x, x) x self.norm1(x self.dropout1(attn_out)) ff_out self.linear2(torch.relu(self.linear1(x))) x self.norm2(x self.dropout2(ff_out)) return x残差连接加后置LayerNorm的方式在样本量小的生物数据上比 pre-norm 更稳定。前馈网络中间层dim_feedforward一般取d_model的四倍太小会损失非线性表达能力太大在样本量不足时容易记住训练集噪声。3.4 分类头与模型实例化多层编码器输出后接平均池化。样本数少的场景下平均池化比单独的[CLS]token 更抗过拟合实现也更简单。class GeneTransformer(nn.Module): def __init__(self, num_genes, num_classes, d_model128, nhead8, num_layers3, dim_feedforward512, dropout0.2): super().__init__() self.input_proj nn.Linear(1, d_model) # 每个基因的表达值升维 self.pos_enc PositionalEncoding(d_model) self.encoder nn.ModuleList([ TransformerEncoderLayer(d_model, nhead, dim_feedforward, dropout) for _ in range(num_layers) ]) self.head nn.Sequential( nn.Linear(d_model, 64), nn.ReLU(), nn.Dropout(dropout), nn.Linear(64, num_classes) ) def forward(self, x): # x: [batch, num_genes, 1] x self.input_proj(x) # [batch, num_genes, d_model] x self.pos_enc(x) for layer in self.encoder: x layer(x) x x.mean(dim1) # 平均池化得到 [batch, d_model] return self.head(x)输入层先接Linear(1, d_model)相当于给每个基因的标准化表达值学习一个独立嵌入空间再通过自注意力完成基因间的信息交换。模型实例化时先model GeneTransformer(num_genesdata_sel.shape[1], num_classes3)再用一行随机输入验证正向传播的形状确认无误后再进入训练阶段。4. 训练循环、优化器选型与超参数收敛路径模型结构定下来只是开始真正耗时的是训练和调参。PyTorch 环境搭建本身没有太多坑自己装机的话先确认 CUDA 版本和 PyTorch 版本配对再用 conda 单独建一个环境避免和系统其他 Python 包冲突。下面这部分按照实际项目顺序展开数据加载、损失函数、优化器、训练循环、早停和超参数设置每个环节都给可以直接抄走的配置。4.1 DataLoader 与数据划分先用train_test_split按标签分层切分出训练集和测试集再用TensorDataset包成 DataLoader。批次大小受显存限制同时也要考虑类别均衡。from sklearn.model_selection import train_test_split from torch.utils.data import DataLoader, TensorDataset X_train, X_test, y_train, y_test train_test_split( data_sel, labels, test_size0.2, stratifylabels, random_state42 ) train_dataset TensorDataset( torch.tensor(X_train, dtypetorch.float32).unsqueeze(-1), torch.tensor(y_train, dtypetorch.long) ) test_dataset TensorDataset( torch.tensor(X_test, dtypetorch.float32).unsqueeze(-1), torch.tensor(y_test, dtypetorch.long) ) train_loader DataLoader(train_dataset, batch_size16, shuffleTrue) test_loader DataLoader(test_dataset, batch_size64, shuffleFalse)stratifylabels保证训练集和测试集里各类别比例一致在不平衡数据上非常重要。unsqueeze(-1)把[batch, genes]变成[batch, genes, 1]和模型输入格式对齐。random_state42固定切分方式保证实验结果可复现。4.2 损失函数与优化器选型基因表达谱分类绝大多数是单标签分类默认用CrossEntropyLoss。样本不平衡时不能直接硬套给少数类加大权重比简单过采样更稳也省去重复采样带来的信息冗余。优化器推荐AdamW它比Adam多了正确的权重衰减实现配合weight_decay可以同时起到正则化作用。from torch.optim import AdamW # 根据训练集标签计算类别权重少数类获得更高权重 class_counts torch.bincount(torch.tensor(y_train)) class_weights 1.0 / class_counts.float() class_weights class_weights / class_weights.sum() criterion nn.CrossEntropyLoss(weightclass_weights) optimizer AdamW(model.parameters(), lr1e-4, weight_decay1e-5)class_weights归一化后保证所有类别权重和为 1避免整体 loss 尺度变化过大。学习率初始值 1e-4 在AdamW下偏保守但基因数据样本量小保守一点比激进收敛更省时间。4.3 训练循环与早停实现下面是一个完整可跑的简化训练循环包含早停和模型保存。验证集不参与梯度更新只用来判断当前模型参数是否值得保留。best_loss float(inf) patience 10 no_improve 0 for epoch in range(100): model.train() total_loss 0.0 for xb, yb in train_loader: optimizer.zero_grad() logits model(xb) loss criterion(logits, yb) loss.backward() optimizer.step() total_loss loss.item() model.eval() val_loss 0.0 with torch.no_grad(): for xb, yb in test_loader: logits model(xb) val_loss criterion(logits, yb).item() avg_val_loss val_loss / len(test_loader) if avg_val_loss best_loss: best_loss avg_val_loss torch.save(model.state_dict(), gene_transformer.pt) no_improve 0 else: no_improve 1 if no_improve patience: break早停看的是验证损失而不是训练损失patience取 10 到 20 比较合理。如果验证损失反复波动优先换验证集划分方式而不是盲目加大patience。另一个值得注意的地方是损失下降不代表 F1 上升在不平衡数据上尤其明显所以最终选模型最好综合多个指标决定。4.4 超参数调整范围与方法最常调的四组超参数是d_model、nhead、num_layers和dropout参考取值范围如下表超参数推荐初始值调整范围影响d_model12864 ~ 256过小欠拟合过大在小样本上过拟合nhead84 ~ 16头数需整除 d_model越多子空间特征建模越细num_layers32 ~ 6层数加深感受野变大训练时长线性增加dropout0.20.1 ~ 0.3防过拟合关键参数样本越少越要加大lr1e-45e-5 ~ 5e-4AdamW 下偏小更稳batch_size168 ~ 64批次太大收敛慢且不稳定提示d_model调整为 64 时nhead必须同步改成 4 或 8PyTorch 的nn.MultiheadAttention要求d_model % nhead 0否则初始化直接报错。调参顺序我一般固定为先扫学习率再调层数和头数最后回头微调 dropout。样本量不大时网格搜索成本可控也可以用 Optuna 做贝叶斯搜索但每个 trial 都要挂上早停否则搜索过程会被无效训练占满。5. 注意力权重读取与模型生物学合理性验证模型练完不能只看准确率。对生物信息学场景来说模型找到的基因是否具有生物学意义才是真正让人放心的点。这里分享一个验证技巧把多头注意力的权重导出来看看模型到底在关注哪些基因再用混淆矩阵做细粒度错误分析。5.1 评估指标完整计算先算整体指标再看每个类别的表现。二分类场景补一个 ROC-AUC多分类用 one-vs-rest 方式平均。from sklearn.metrics import accuracy_score, f1_score, roc_auc_score, confusion_matrix model.load_state_dict(torch.load(gene_transformer.pt)) model.eval() all_preds, all_labels, all_probs [], [], [] with torch.no_grad(): for xb, yb in test_loader: logits model(xb) probs torch.softmax(logits, dim1) preds logits.argmax(dim1) all_preds.extend(preds.numpy()) all_labels.extend(yb.numpy()) all_probs.extend(probs.numpy()) print(Accuracy:, accuracy_score(all_labels, all_preds)) print(Macro F1:, f1_score(all_labels, all_preds, averagemacro)) print(ROC-AUC:, roc_auc_score(all_labels, all_probs, multi_classovr)) cm confusion_matrix(all_labels, all_preds) print(cm)Macro F1对少数类更敏感比 accuracy 更能反映不平衡数据上的真实表现。5.2 提取注意力权重nn.MultiheadAttention在 forward 时返回(attn_output, attn_output_weights)只要在编码层里把权重缓存下来就能看到每个注意力头对基因位置的加权情况。把平均注意力权重降序排列取 top-20 基因和文献里已知的标志基因做交集验证交集越大模型越可信。attn_cache {} class TransformerEncoderLayer(nn.Module): def forward(self, x): attn_out, attn_w self.self_attn(x, x, x) attn_cache[self] attn_w.detach() # [batch, heads, q_len, k_len] x self.norm1(x self.dropout1(attn_out)) ff_out self.linear2(torch.relu(self.linear1(x))) x self.norm2(x self.dropout2(ff_out)) return x # 取最后一个编码层所有 head 的平均权重 avg_attn torch.stack(list(attn_cache.values())).mean(dim0) avg_attn avg_attn.mean(dim(0, 1, 2)) # 压缩成每个基因一个注意力分数 top_genes avg_attn.argsort(descendingTrue)[:20] print(selected_genes[top_genes])5.3 用混淆矩阵定位容易混淆的亚型打印cm后重点看对角线之外的高值位置。如果两个亚型在基因表达上本来就只有微弱差异Transformer 会把它们分到相近的类别这时增加对应亚型的训练样本或者把这两个难分类型合并后做多层分类通常比盲目增加num_layers更有效。注意力权重还能当泄漏探测器用如果模型只关注不到 10 个基因就达到接近完美的准确率先别高兴检查这些基因是不是批次相关的列而不是生物学信号。本文还有配套的精品资源点击获取