简介基于BERT-BiLSTM-CRF的中文命名实体识别Python项目面向计算机相关专业学生适用于毕业设计、期末大作业和课程设计等场景通过BERT预训练、双向LSTM与CRF层结合可有效提升中文实体识别准确率帮助解决模型搭建、训练与部署问题。包内共22个文件以8个Python脚本为主覆盖模型定义、训练、预测、评估等完整流程同时包含5个TXT文本数据集标签与说明、5个XML工程配置、1份Markdown项目说明及JSON配置文件压缩包约2.4MB目录结构清晰。该资源已有663人学习下载代码注释详细从数据预处理到模型训练均有讲解新手也能较快上手。项目提供完整的标注数据集划分train/dev/test包含BERT-BiLSTM-CRF核心模型、预测与评估脚本下载后简单配置即可运行作为导师认可的高分项目对答辩展示和深度学习NLP学习均有较高参考价值。1. 为什么BERT-BiLSTM-CRF成了中文NER的默认起点做信息抽取的同行应该都体会过中文命名实体识别最棘手的问题不在模型而在错误传导——分词错一个字实体边界跟着错后面的关系抽取全被带偏。BERT-BiLSTM-CRF被大量项目当成默认起点不是因为它刷榜无敌而是语义、上下文、标签约束三个维度拆得干净每一层都能单独调优。CRF层把「B-PER后不能直接跟I-ORG」这类转移约束交给模型从数据里学而不是堆人工规则。这份python源码附带标注数据集和项目说明适合做知识图谱、实体链接、舆情分析的团队直接跑通全流程再替换数据。下面按数据、编码、解码、训练、推断的顺序拆解把参数和坑都过一遍。2. 数据标注与预处理BIO标注体系下的实体边界2.1 数据集格式与标签映射这个项目的数据采用最常见的BIO标注格式每行一个「字 空格 标签」句子之间用空行隔开。默认覆盖人名PER、地名LOC、机构名ORG三类实体标签集合是B-PER、I-PER、B-LOC、I-LOC、B-ORG、I-ORG加上非实体标签O共7类。如果你想自定义实体比如药物名或者案件类型直接改标注文件和标签映射表即可模型结构不用动。def load_bio_data(file_path): sentences, labels [], [] chars, tags [], [] with open(file_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: if chars: sentences.append(chars) labels.append(tags) chars, tags [], [] else: char, tag line.split() chars.append(char) tags.append(tag) if chars: sentences.append(chars) labels.append(tags) return sentences, labels这段读文件的核心是空行切分strip()之后为空串表示一个句子结束把累计的chars和tags分别归档。split()不带参数时按连续空白切分能同时兼容空格和Tab两种分隔风格。文件末尾通常没有换行最后一个句子不会触发空行分支所以函数末尾必须补一次非空判断——这个边界坑在人工标注数据里出现频率很高漏掉会静默丢数据。标签映射表的构建建议先做一次全量统计再排序保证label2id和id2label两个字典的键值顺序一致def build_label_map(all_tags): unique sorted(set(all_tags)) label2id {tag: i for i, tag in enumerate(unique)} id2label {i: tag for tag, i in label2id.items()} return label2id, id2labellabel2id在训练时把字符串标签转成整数张量id2label在解码时把预测索引还原成可读标签。注意[CLS]和[SEP]这两个BERT特殊token不参与实体预测不需要给他们分配标签id只在序列拼接时统一补O并mask掉损失就行。2.2 中文分字与BERT的tokenize对齐中文NER基本都用字粒度而不是词粒度两个原因分词器自身有错误词粒度的错误会直接传导成实体边界错误bert-base-chinese的词汇表本身就是字级别的tokenizer.tokenize(南京市)输出的是[南, 京, 市]三个token。所以预处理阶段不需要额外分词按字切好之后直接交给tokenizer补特殊标记。def encode_example(chars, tags, tokenizer, label2id, max_len128): tokens [[CLS]] chars [[SEP]] input_ids tokenizer.convert_tokens_to_ids(tokens) label_ids [label2id[O]] [label2id[t] for t in tags] [label2id[O]] attention_mask [1] * len(input_ids) if len(input_ids) max_len: input_ids input_ids[:max_len] label_ids label_ids[:max_len] attention_mask attention_mask[:max_len] else: pad_len max_len - len(input_ids) input_ids [0] * pad_len label_ids [label2id[O]] * pad_len attention_mask [0] * pad_len return input_ids, label_ids, attention_mask这里最容易踩的坑是序列两端特殊token的标签对齐[CLS]在首、[SEP]在尾标签统一补O但这两个位置在算CRF损失时要把它们的分数mask掉否则模型会学到「[CLS]永远是O」这种毫无意义的强先验。填充位用0号input_id、attention_mask置0CRF和BiLSTM的mask逻辑都依赖这个标记区分有效位和填充位。2.3 Dataset与DataLoader的组装数据准备好后用torch.utils.data.Dataset包一层把collate_fn写清楚训练循环会干净很多。必须提前对齐的维度是input_ids、label_ids、attention_mask三个张量的序列维长度要严格一致且批次内所有样本都填充到同一个max_lenBiLSTM和CRF才能按矩阵方式并行算。class NERDataset(Dataset): def __init__(self, sentences, labels, tokenizer, label2id, max_len128): self.data [encode_example(c, t, tokenizer, label2id, max_len) for c, t in zip(sentences, labels)] def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx] def collate_fn(batch): input_ids torch.tensor([b[0] for b in batch], dtypetorch.long) label_ids torch.tensor([b[1] for b in batch], dtypetorch.long) attention_mask torch.tensor([b[2] for b in batch], dtypetorch.long) return input_ids, label_ids, attention_maskmax_len的取值直接关系到显存占用和长实体召回。新闻类短文本128够用但法律文书和病历经常有超过200字的句子我会先统计训练集句子长度的第95百分位按那个值定max_len而不是固定拍一个数。截断策略也值得单独测一下对于中文实体头部截断比尾部截断丢的有效信息更多因为句首往往是主语和核心实体出现的位置所以默认截尾部。提示填充位标签统一填O的id但计算损失时要用attention_mask把填充位排除否则CRF的转移矩阵会被大量无意义的O污染训练完实体边界的召回率明显下降。3. 特征层BERT字向量与BiLSTM双向编码的维度对齐3.1 为什么选bert-base-chinese项目底层特征用的是bert-base-chinese。选它而不是英文版bert-base-uncased原因很直接英文字表覆盖不了汉字。比它效果更好一些的roberta-wwm-ext虽然在下游任务上经常高1到2个点但权重体积更大、加载更慢CPU推理场景不划算。这个项目的定位是能跑通、能改、能部署所以选参数适中、社区生态最全的bert-base-chinese是合理默认。BERT输出的last_hidden_state维度是768可以直接整层送给BiLSTM也可以取最后四层加权求和再拼接。医疗、法律这类领域文本里后一种方式通常能提升0.5到1个F1点代价是每次前向多算三层注意力。项目源码取的是最后一层的输出这个选择简单后续想替换低成本。3.2 模型结构hidden_size与方向拼接BiLSTM在BERT之后还有必要吗这是新手问得最多的问题。BERT的注意力是全连接式的词与词之间互相可见但它不显式建模相邻标签之间的转移依赖BiLSTM把序列从头到尾、从尾到头各扫一遍前向和后向隐状态拼接后局部序列特征更贴近CRF层需要的输入形态。两者是互补而不是重复。class BertBiLSTMCRF(nn.Module): def __init__(self, bert_model, num_tags, hidden_size256, dropout0.5): super().__init__() self.bert bert_model self.bilstm nn.LSTM( input_size768, hidden_sizehidden_size, num_layers1, bidirectionalTrue, batch_firstTrue, ) self.dropout nn.Dropout(dropout) self.fc nn.Linear(hidden_size * 2, num_tags) self.crf CRF(num_tags, batch_firstTrue) def forward(self, input_ids, attention_mask, label_idsNone): bert_out self.bert(input_ids, attention_maskattention_mask).last_hidden_state lstm_out, _ self.bilstm(bert_out) lstm_out self.dropout(lstm_out) emissions self.fc(lstm_out) if label_ids is not None: loss -self.crf(emissions, label_ids, maskattention_mask.bool()) return loss return self.crf.decode(emissions, maskattention_mask.bool())双向LSTM的输出维度是hidden_size * 2所以fc层的输入必须写hidden_size * 2。hidden_size256时BiLSTM每个位置输出512维再映射到num_tags个标签得分。维度不匹配时报错是mat1 and mat2 shapes cannot be multiplied排查时先打印lstm_out.shape确认第二维是512再往下追。num_layers设1层还是2层要看数据量BERT已经贡献了充分的语义特征BiLSTM叠两层以上在小样本上很容易过拟合而且梯度回传到BERT层的路径变长训练抖动变大。我的惯例是小数据几千条用1层超过5万条标注数据再试2层提升通常不到1个点但训练时间增加三分之一。3.3 Dropout位置与BERT层的冻结策略Dropout放在BiLSTM输出之后而不是BERT输出之后这个顺序是调出来的。BERT自带约0.1的hidden dropout输入侧再叠一个高dropout会把预训练语义的噪声放大在BiLSTM之后加0.5的dropout抑制的是任务头过拟合对验证集F1的波动影响最直接。BERT层冻结策略直接影响训练效率和领域效果。特征提取模式下冻结BERT只训BiLSTM和CRF训练速度快两到三倍但领域文本上实体识别效果明显变差。我的经验是领域数据少于3000条时冻结BERT前6层只微调后6层和任务头数据量够就全参数微调。冻结用requires_grad_(False)但BERT里的LayerNorm统计量仍然会更新所以冻结状态下也要把model.train()和model.eval()切换做对否则验证时的统计量是乱的。下表是各层输入输出维度的对应关系调参时直接对照层输入维度输出维度说明BERT(batch, seq_len)(batch, seq_len, 768)取last_hidden_stateBiLSTM(batch, seq_len, 768)(batch, seq_len, 512)双向拼接256*2Linear(batch, seq_len, 512)(batch, seq_len, num_tags)每个字的标签得分CRF(batch, seq_len, num_tags)(batch, seq_len)维特比解码结果这张表值得直接贴到代码注释里。调试过程中只要某一层的输出和表对不上问题基本出在input_size和hidden_size的声明位置。特别注意batch_firstTruePyTorch的LSTM默认batch在第二维忘设这个参数会让后面所有按batch_first写的矩阵运算全部报错。4. CRF解码层转移矩阵学习与维特比路径推理4.1 转移矩阵的初始化与损失函数CRF层维护一个(num_tags, num_tags)的转移矩阵M[i][j]表示从标签i转移到标签j的得分。这个矩阵随机初始化训练中通过负对数似然损失更新。序列的最终得分由两部分相加BiLSTM输出的发射分数每个字属于每个标签的得分和转移矩阵提供的转移分数。损失函数让真实标签路径的得分在所有可能路径中尽可能高这比逐位置交叉熵更接近「整条序列最优」的目标。from torchcrf import CRF def compute_crf_loss(crf, emissions, label_ids, mask): # emissions: (batch, seq_len, num_tags) # label_ids: (batch, seq_len) 整数标签 # mask: (batch, seq_len) 布尔型True为有效位 loss -crf(emissions, label_ids, maskmask) return loss项目里用的是pytorch-crf这个库安装命令是pip install pytorch-crf代码里导入名是torchcrf。负号别写漏crf的forward返回的是真实标签路径的对数似然取负才是要最小化的损失。mask参数在这里同时做两件事排除填充位置的发射分数、排除填充位置的转移累计。这两个mask任何一个漏掉训练出来的模型在短句子上会疯狂输出O因为填充位把转移矩阵的统计带偏了。4.2 维特比解码的实现逻辑推理时不能用贪心策略——每个位置取最大发射分数的标签。贪心忽略了相邻标签的转移约束比如前一个位置预测了B-PER当前位置发射分数最高的却是I-ORG贪心会直接选I-ORG产生非法序列。维特比算法用动态规划解决这个问题第一步初始化各标签的累计得分之后每个位置对每个标签计算「上一步累计得分 转移分数 当前发射分数」取最大值并记录前驱指针最后回溯整条路径。def viterbi_decode(crf, emissions, mask): # emissions: (batch, seq_len, num_tags) # 返回值: List[List[int]]每个句子一条最优标签序列 return crf.decode(emissions, maskmask)decode返回的是batch内每条样本的最优标签整数序列长度等于seq_len包含[CLS]和[SEP]两个位置的标签后处理时手动去掉。时间复杂度是O(seq_len * num_tags^2)num_tags7时几乎无感但如果把标签体系扩到50类单条解码耗时明显上升所以标签设计尽量精简复合实体类型可以放在后处理阶段再细分。4.3 CRF与Softmax分类的本质差异BiLSTM输出直接接Softmax逐位置分类也能出标签序列但每个位置独立决策当前位置完全不看前一个位置的预测结果。CRF显式建模相邻标签的转移得分训练数据里从来没有出现过的非法转移——比如「B-PER → I-ORG」——会被压成很大的负分数解码时这条路径天然被排除。中文文本里人名、地名、机构名经常相邻出现没有转移约束时模型容易把两个相邻实体合并成一个CRF对这类边界错误抑制非常明显。两者的训练目标也不一样。Softmax是逐位置交叉熵每个位置的梯度互不相干CRF是整条路径的序列损失某个字标错了会影响整条路径的得分对比梯度信号更全局。代价是CRF收敛稍慢、对mask处理更敏感。实际项目里两者的差距通常在1到3个F1点领域文本噪声越大CRF的优势越突出。提示解码结果出现「O后面紧接I-」这类非法的模式时先检查mask是否正确排除填充位不要急着怀疑CRF实现有问题。小batch小于8训练时这类问题更容易暴露把batch size调到16以上通常能缓解。5. 训练策略、早停与实体级评估5.1 分层学习率与优化器选择BERT-BiLSTM-CRF训练时需要两组学习率BERT预训练参数对步长敏感随机初始化的BiLSTM和CRF对新任务则需要一个相对大的步长快速拟合。常用的组合是AdamW BERT层2e-5 任务层1e-3参数组分开传。这比统一用一个学习率的效果好很多BERT层学太快会破坏预训练的语义分布任务层学太慢则迟迟不收敛。from transformers import AdamW named_params list(model.named_parameters()) bert_params [p for n, p in named_params if bert in n] task_params [p for n, p in named_params if bert not in n] optimizer AdamW([ {params: bert_params, lr: 2e-5}, {params: task_params, lr: 1e-3}, ])全参数微调时BERT层学习率不建议超过5e-5超过之后的表现是训练loss照常下降、验证F1来回震荡因为预训练权重被新任务的梯度冲得太多。任务层学习率低于5e-4会收敛太慢高于3e-3又容易让CRF层过拟合小样本。这两个参数是整份源码里最值得先调的。5.2 训练循环、早停与模型保存NER任务不是epoch越多越好。数据集在几千条规模时第3到第5个epoch之后验证F1基本开始回落。早停策略建议盯验证F1patience设2连续两个epoch没刷新就回滚到最佳checkpoint能省下不少训练时间。best_f1, bad_epochs 0.0, 0 for epoch in range(epochs): train_one_epoch(model, train_loader, optimizer, device) dev_f1 evaluate(model, dev_loader, device) if dev_f1 best_f1: best_f1 dev_f1 torch.save({ state_dict: model.state_dict(), label2id: label2id, max_len: max_len, }, best_ner.pt) bad_epochs 0 else: bad_epochs 1 if bad_epochs 2: breakevaluate函数里model.eval()和torch.no_grad()必须成对出现否则dropout会漏到验证前向里F1的数值虚高且每次都不同。checkpoint不建议只存state_dict把label2id和max_len一起存进去推理时直接加载省掉每次重新组装的功夫。5.3 用seqeval做实体级F1评估字符级准确率在NER上没有参考价值一段100字的文本90个字是O模型全预测O也有90%的准确率。正确的评估口径是实体级——先把预测的BIO片段合并成实体再与真实实体做完全匹配。seqeval库就是干这个的。from seqeval.metrics import classification_report y_true [[B-PER, I-PER, O, B-LOC], [O, B-ORG]] y_pred [[B-PER, I-PER, O, B-LOC], [O, B-ORG]] report classification_report(y_true, y_pred) print(report)seqeval要求输入是按句子组织的二维标签列表元素是字符串。它内部先把「B-开头、后续I-」的连续片段合并成实体然后逐个实体比完全匹配再算precision、recall、F1。报告里重点看weighted avg这一行accuracy是token级的类别不均衡时会虚高不要拿它当决策依据。训练超参数的参考起点如下覆盖了大多数中文NER数据集参数推荐值调整方向BERT层学习率2e-5领域差异大时降到1e-5任务层学习率1e-3过拟合时降到5e-4batch size32显存不足先降到16max_len128按序列长度95分位取值hidden_size256小数据用128dropout0.5过拟合时升到0.6这组参数是稳定起点。batch size减半时学习率建议等比下调否则梯度噪声变大CRF层收敛变慢验证F1的波动会明显加大。6. 推理阶段的工程化滑窗切分与实体去重6.1 长文本滑窗切分推理阶段最容易被忽略的是长文本问题。BERT的序列长度上限是512但真实业务里的新闻、合同、病历动辄上千字直接截断会丢尾部实体。我的做法是滑窗切分窗口长度200字步长150字相邻窗口重叠50字。这样跨窗口边界的实体最多只被切一次且能在两个窗口里都出现靠去重逻辑修复。def sliding_predict(text, model, tokenizer, id2label, device, window200, overlap50, max_len128): step window - overlap results [] for start in range(0, len(text), step): seg text[start:start window] inputs tokenizer(seg, return_tensorspt, truncationTrue, max_lengthmax_len) inputs {k: v.to(device) for k, v in inputs.items()} with torch.no_grad(): pred model(inputs[input_ids], inputs[attention_mask])[0] tokens tokenizer.convert_ids_to_tokens(inputs[input_ids][0]) ents decode_span(tokens[1:-1], pred[1:-1], id2label) for name, etype in ents: offset start seg.find(name) results.append({entity: name, type: etype, offset: offset}) return results这里overlap的取值要大于你业务里最常见的实体长度。我的经验是最少50字实体普遍较长比如机构全称时提到80字否则长实体被拦腰截断后两个窗口都识别不完整去重也没法修复。6.2 预测结果的后处理与去重规则滑窗重复预测带来的重复实体需要去重。去重不能只按实体文本同一个名字在不同位置出现是合法的事件必须同时比较文本和偏移量。偏移量可以用seg.find(name)粗略估算窗口边界处偶尔偏移偏差一两个字更稳的做法是记录窗口起点在窗口内部用字符索引精确换算。重叠区域那个窗口中识别到的实体如果和主窗口结果文本相同且位置差值小于overlap的一半直接丢弃次窗口的副本。decode_span这个函数把BIO标签序列合并成实体列表合并规则是遇到B-开新实体后续同类型I-持续追加遇到O或者其他类型B-就结算当前实体——这四行逻辑是整个推理管线的收口务必单独写单元测试覆盖。本文还有配套的精品资源点击获取 BERT-BiLSTM-CRF中文命名实体识别：从数据标注到模型部署全流程解析
简介基于BERT-BiLSTM-CRF的中文命名实体识别Python项目面向计算机相关专业学生适用于毕业设计、期末大作业和课程设计等场景通过BERT预训练、双向LSTM与CRF层结合可有效提升中文实体识别准确率帮助解决模型搭建、训练与部署问题。包内共22个文件以8个Python脚本为主覆盖模型定义、训练、预测、评估等完整流程同时包含5个TXT文本数据集标签与说明、5个XML工程配置、1份Markdown项目说明及JSON配置文件压缩包约2.4MB目录结构清晰。该资源已有663人学习下载代码注释详细从数据预处理到模型训练均有讲解新手也能较快上手。项目提供完整的标注数据集划分train/dev/test包含BERT-BiLSTM-CRF核心模型、预测与评估脚本下载后简单配置即可运行作为导师认可的高分项目对答辩展示和深度学习NLP学习均有较高参考价值。1. 为什么BERT-BiLSTM-CRF成了中文NER的默认起点做信息抽取的同行应该都体会过中文命名实体识别最棘手的问题不在模型而在错误传导——分词错一个字实体边界跟着错后面的关系抽取全被带偏。BERT-BiLSTM-CRF被大量项目当成默认起点不是因为它刷榜无敌而是语义、上下文、标签约束三个维度拆得干净每一层都能单独调优。CRF层把「B-PER后不能直接跟I-ORG」这类转移约束交给模型从数据里学而不是堆人工规则。这份python源码附带标注数据集和项目说明适合做知识图谱、实体链接、舆情分析的团队直接跑通全流程再替换数据。下面按数据、编码、解码、训练、推断的顺序拆解把参数和坑都过一遍。2. 数据标注与预处理BIO标注体系下的实体边界2.1 数据集格式与标签映射这个项目的数据采用最常见的BIO标注格式每行一个「字 空格 标签」句子之间用空行隔开。默认覆盖人名PER、地名LOC、机构名ORG三类实体标签集合是B-PER、I-PER、B-LOC、I-LOC、B-ORG、I-ORG加上非实体标签O共7类。如果你想自定义实体比如药物名或者案件类型直接改标注文件和标签映射表即可模型结构不用动。def load_bio_data(file_path): sentences, labels [], [] chars, tags [], [] with open(file_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: if chars: sentences.append(chars) labels.append(tags) chars, tags [], [] else: char, tag line.split() chars.append(char) tags.append(tag) if chars: sentences.append(chars) labels.append(tags) return sentences, labels这段读文件的核心是空行切分strip()之后为空串表示一个句子结束把累计的chars和tags分别归档。split()不带参数时按连续空白切分能同时兼容空格和Tab两种分隔风格。文件末尾通常没有换行最后一个句子不会触发空行分支所以函数末尾必须补一次非空判断——这个边界坑在人工标注数据里出现频率很高漏掉会静默丢数据。标签映射表的构建建议先做一次全量统计再排序保证label2id和id2label两个字典的键值顺序一致def build_label_map(all_tags): unique sorted(set(all_tags)) label2id {tag: i for i, tag in enumerate(unique)} id2label {i: tag for tag, i in label2id.items()} return label2id, id2labellabel2id在训练时把字符串标签转成整数张量id2label在解码时把预测索引还原成可读标签。注意[CLS]和[SEP]这两个BERT特殊token不参与实体预测不需要给他们分配标签id只在序列拼接时统一补O并mask掉损失就行。2.2 中文分字与BERT的tokenize对齐中文NER基本都用字粒度而不是词粒度两个原因分词器自身有错误词粒度的错误会直接传导成实体边界错误bert-base-chinese的词汇表本身就是字级别的tokenizer.tokenize(南京市)输出的是[南, 京, 市]三个token。所以预处理阶段不需要额外分词按字切好之后直接交给tokenizer补特殊标记。def encode_example(chars, tags, tokenizer, label2id, max_len128): tokens [[CLS]] chars [[SEP]] input_ids tokenizer.convert_tokens_to_ids(tokens) label_ids [label2id[O]] [label2id[t] for t in tags] [label2id[O]] attention_mask [1] * len(input_ids) if len(input_ids) max_len: input_ids input_ids[:max_len] label_ids label_ids[:max_len] attention_mask attention_mask[:max_len] else: pad_len max_len - len(input_ids) input_ids [0] * pad_len label_ids [label2id[O]] * pad_len attention_mask [0] * pad_len return input_ids, label_ids, attention_mask这里最容易踩的坑是序列两端特殊token的标签对齐[CLS]在首、[SEP]在尾标签统一补O但这两个位置在算CRF损失时要把它们的分数mask掉否则模型会学到「[CLS]永远是O」这种毫无意义的强先验。填充位用0号input_id、attention_mask置0CRF和BiLSTM的mask逻辑都依赖这个标记区分有效位和填充位。2.3 Dataset与DataLoader的组装数据准备好后用torch.utils.data.Dataset包一层把collate_fn写清楚训练循环会干净很多。必须提前对齐的维度是input_ids、label_ids、attention_mask三个张量的序列维长度要严格一致且批次内所有样本都填充到同一个max_lenBiLSTM和CRF才能按矩阵方式并行算。class NERDataset(Dataset): def __init__(self, sentences, labels, tokenizer, label2id, max_len128): self.data [encode_example(c, t, tokenizer, label2id, max_len) for c, t in zip(sentences, labels)] def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx] def collate_fn(batch): input_ids torch.tensor([b[0] for b in batch], dtypetorch.long) label_ids torch.tensor([b[1] for b in batch], dtypetorch.long) attention_mask torch.tensor([b[2] for b in batch], dtypetorch.long) return input_ids, label_ids, attention_maskmax_len的取值直接关系到显存占用和长实体召回。新闻类短文本128够用但法律文书和病历经常有超过200字的句子我会先统计训练集句子长度的第95百分位按那个值定max_len而不是固定拍一个数。截断策略也值得单独测一下对于中文实体头部截断比尾部截断丢的有效信息更多因为句首往往是主语和核心实体出现的位置所以默认截尾部。提示填充位标签统一填O的id但计算损失时要用attention_mask把填充位排除否则CRF的转移矩阵会被大量无意义的O污染训练完实体边界的召回率明显下降。3. 特征层BERT字向量与BiLSTM双向编码的维度对齐3.1 为什么选bert-base-chinese项目底层特征用的是bert-base-chinese。选它而不是英文版bert-base-uncased原因很直接英文字表覆盖不了汉字。比它效果更好一些的roberta-wwm-ext虽然在下游任务上经常高1到2个点但权重体积更大、加载更慢CPU推理场景不划算。这个项目的定位是能跑通、能改、能部署所以选参数适中、社区生态最全的bert-base-chinese是合理默认。BERT输出的last_hidden_state维度是768可以直接整层送给BiLSTM也可以取最后四层加权求和再拼接。医疗、法律这类领域文本里后一种方式通常能提升0.5到1个F1点代价是每次前向多算三层注意力。项目源码取的是最后一层的输出这个选择简单后续想替换低成本。3.2 模型结构hidden_size与方向拼接BiLSTM在BERT之后还有必要吗这是新手问得最多的问题。BERT的注意力是全连接式的词与词之间互相可见但它不显式建模相邻标签之间的转移依赖BiLSTM把序列从头到尾、从尾到头各扫一遍前向和后向隐状态拼接后局部序列特征更贴近CRF层需要的输入形态。两者是互补而不是重复。class BertBiLSTMCRF(nn.Module): def __init__(self, bert_model, num_tags, hidden_size256, dropout0.5): super().__init__() self.bert bert_model self.bilstm nn.LSTM( input_size768, hidden_sizehidden_size, num_layers1, bidirectionalTrue, batch_firstTrue, ) self.dropout nn.Dropout(dropout) self.fc nn.Linear(hidden_size * 2, num_tags) self.crf CRF(num_tags, batch_firstTrue) def forward(self, input_ids, attention_mask, label_idsNone): bert_out self.bert(input_ids, attention_maskattention_mask).last_hidden_state lstm_out, _ self.bilstm(bert_out) lstm_out self.dropout(lstm_out) emissions self.fc(lstm_out) if label_ids is not None: loss -self.crf(emissions, label_ids, maskattention_mask.bool()) return loss return self.crf.decode(emissions, maskattention_mask.bool())双向LSTM的输出维度是hidden_size * 2所以fc层的输入必须写hidden_size * 2。hidden_size256时BiLSTM每个位置输出512维再映射到num_tags个标签得分。维度不匹配时报错是mat1 and mat2 shapes cannot be multiplied排查时先打印lstm_out.shape确认第二维是512再往下追。num_layers设1层还是2层要看数据量BERT已经贡献了充分的语义特征BiLSTM叠两层以上在小样本上很容易过拟合而且梯度回传到BERT层的路径变长训练抖动变大。我的惯例是小数据几千条用1层超过5万条标注数据再试2层提升通常不到1个点但训练时间增加三分之一。3.3 Dropout位置与BERT层的冻结策略Dropout放在BiLSTM输出之后而不是BERT输出之后这个顺序是调出来的。BERT自带约0.1的hidden dropout输入侧再叠一个高dropout会把预训练语义的噪声放大在BiLSTM之后加0.5的dropout抑制的是任务头过拟合对验证集F1的波动影响最直接。BERT层冻结策略直接影响训练效率和领域效果。特征提取模式下冻结BERT只训BiLSTM和CRF训练速度快两到三倍但领域文本上实体识别效果明显变差。我的经验是领域数据少于3000条时冻结BERT前6层只微调后6层和任务头数据量够就全参数微调。冻结用requires_grad_(False)但BERT里的LayerNorm统计量仍然会更新所以冻结状态下也要把model.train()和model.eval()切换做对否则验证时的统计量是乱的。下表是各层输入输出维度的对应关系调参时直接对照层输入维度输出维度说明BERT(batch, seq_len)(batch, seq_len, 768)取last_hidden_stateBiLSTM(batch, seq_len, 768)(batch, seq_len, 512)双向拼接256*2Linear(batch, seq_len, 512)(batch, seq_len, num_tags)每个字的标签得分CRF(batch, seq_len, num_tags)(batch, seq_len)维特比解码结果这张表值得直接贴到代码注释里。调试过程中只要某一层的输出和表对不上问题基本出在input_size和hidden_size的声明位置。特别注意batch_firstTruePyTorch的LSTM默认batch在第二维忘设这个参数会让后面所有按batch_first写的矩阵运算全部报错。4. CRF解码层转移矩阵学习与维特比路径推理4.1 转移矩阵的初始化与损失函数CRF层维护一个(num_tags, num_tags)的转移矩阵M[i][j]表示从标签i转移到标签j的得分。这个矩阵随机初始化训练中通过负对数似然损失更新。序列的最终得分由两部分相加BiLSTM输出的发射分数每个字属于每个标签的得分和转移矩阵提供的转移分数。损失函数让真实标签路径的得分在所有可能路径中尽可能高这比逐位置交叉熵更接近「整条序列最优」的目标。from torchcrf import CRF def compute_crf_loss(crf, emissions, label_ids, mask): # emissions: (batch, seq_len, num_tags) # label_ids: (batch, seq_len) 整数标签 # mask: (batch, seq_len) 布尔型True为有效位 loss -crf(emissions, label_ids, maskmask) return loss项目里用的是pytorch-crf这个库安装命令是pip install pytorch-crf代码里导入名是torchcrf。负号别写漏crf的forward返回的是真实标签路径的对数似然取负才是要最小化的损失。mask参数在这里同时做两件事排除填充位置的发射分数、排除填充位置的转移累计。这两个mask任何一个漏掉训练出来的模型在短句子上会疯狂输出O因为填充位把转移矩阵的统计带偏了。4.2 维特比解码的实现逻辑推理时不能用贪心策略——每个位置取最大发射分数的标签。贪心忽略了相邻标签的转移约束比如前一个位置预测了B-PER当前位置发射分数最高的却是I-ORG贪心会直接选I-ORG产生非法序列。维特比算法用动态规划解决这个问题第一步初始化各标签的累计得分之后每个位置对每个标签计算「上一步累计得分 转移分数 当前发射分数」取最大值并记录前驱指针最后回溯整条路径。def viterbi_decode(crf, emissions, mask): # emissions: (batch, seq_len, num_tags) # 返回值: List[List[int]]每个句子一条最优标签序列 return crf.decode(emissions, maskmask)decode返回的是batch内每条样本的最优标签整数序列长度等于seq_len包含[CLS]和[SEP]两个位置的标签后处理时手动去掉。时间复杂度是O(seq_len * num_tags^2)num_tags7时几乎无感但如果把标签体系扩到50类单条解码耗时明显上升所以标签设计尽量精简复合实体类型可以放在后处理阶段再细分。4.3 CRF与Softmax分类的本质差异BiLSTM输出直接接Softmax逐位置分类也能出标签序列但每个位置独立决策当前位置完全不看前一个位置的预测结果。CRF显式建模相邻标签的转移得分训练数据里从来没有出现过的非法转移——比如「B-PER → I-ORG」——会被压成很大的负分数解码时这条路径天然被排除。中文文本里人名、地名、机构名经常相邻出现没有转移约束时模型容易把两个相邻实体合并成一个CRF对这类边界错误抑制非常明显。两者的训练目标也不一样。Softmax是逐位置交叉熵每个位置的梯度互不相干CRF是整条路径的序列损失某个字标错了会影响整条路径的得分对比梯度信号更全局。代价是CRF收敛稍慢、对mask处理更敏感。实际项目里两者的差距通常在1到3个F1点领域文本噪声越大CRF的优势越突出。提示解码结果出现「O后面紧接I-」这类非法的模式时先检查mask是否正确排除填充位不要急着怀疑CRF实现有问题。小batch小于8训练时这类问题更容易暴露把batch size调到16以上通常能缓解。5. 训练策略、早停与实体级评估5.1 分层学习率与优化器选择BERT-BiLSTM-CRF训练时需要两组学习率BERT预训练参数对步长敏感随机初始化的BiLSTM和CRF对新任务则需要一个相对大的步长快速拟合。常用的组合是AdamW BERT层2e-5 任务层1e-3参数组分开传。这比统一用一个学习率的效果好很多BERT层学太快会破坏预训练的语义分布任务层学太慢则迟迟不收敛。from transformers import AdamW named_params list(model.named_parameters()) bert_params [p for n, p in named_params if bert in n] task_params [p for n, p in named_params if bert not in n] optimizer AdamW([ {params: bert_params, lr: 2e-5}, {params: task_params, lr: 1e-3}, ])全参数微调时BERT层学习率不建议超过5e-5超过之后的表现是训练loss照常下降、验证F1来回震荡因为预训练权重被新任务的梯度冲得太多。任务层学习率低于5e-4会收敛太慢高于3e-3又容易让CRF层过拟合小样本。这两个参数是整份源码里最值得先调的。5.2 训练循环、早停与模型保存NER任务不是epoch越多越好。数据集在几千条规模时第3到第5个epoch之后验证F1基本开始回落。早停策略建议盯验证F1patience设2连续两个epoch没刷新就回滚到最佳checkpoint能省下不少训练时间。best_f1, bad_epochs 0.0, 0 for epoch in range(epochs): train_one_epoch(model, train_loader, optimizer, device) dev_f1 evaluate(model, dev_loader, device) if dev_f1 best_f1: best_f1 dev_f1 torch.save({ state_dict: model.state_dict(), label2id: label2id, max_len: max_len, }, best_ner.pt) bad_epochs 0 else: bad_epochs 1 if bad_epochs 2: breakevaluate函数里model.eval()和torch.no_grad()必须成对出现否则dropout会漏到验证前向里F1的数值虚高且每次都不同。checkpoint不建议只存state_dict把label2id和max_len一起存进去推理时直接加载省掉每次重新组装的功夫。5.3 用seqeval做实体级F1评估字符级准确率在NER上没有参考价值一段100字的文本90个字是O模型全预测O也有90%的准确率。正确的评估口径是实体级——先把预测的BIO片段合并成实体再与真实实体做完全匹配。seqeval库就是干这个的。from seqeval.metrics import classification_report y_true [[B-PER, I-PER, O, B-LOC], [O, B-ORG]] y_pred [[B-PER, I-PER, O, B-LOC], [O, B-ORG]] report classification_report(y_true, y_pred) print(report)seqeval要求输入是按句子组织的二维标签列表元素是字符串。它内部先把「B-开头、后续I-」的连续片段合并成实体然后逐个实体比完全匹配再算precision、recall、F1。报告里重点看weighted avg这一行accuracy是token级的类别不均衡时会虚高不要拿它当决策依据。训练超参数的参考起点如下覆盖了大多数中文NER数据集参数推荐值调整方向BERT层学习率2e-5领域差异大时降到1e-5任务层学习率1e-3过拟合时降到5e-4batch size32显存不足先降到16max_len128按序列长度95分位取值hidden_size256小数据用128dropout0.5过拟合时升到0.6这组参数是稳定起点。batch size减半时学习率建议等比下调否则梯度噪声变大CRF层收敛变慢验证F1的波动会明显加大。6. 推理阶段的工程化滑窗切分与实体去重6.1 长文本滑窗切分推理阶段最容易被忽略的是长文本问题。BERT的序列长度上限是512但真实业务里的新闻、合同、病历动辄上千字直接截断会丢尾部实体。我的做法是滑窗切分窗口长度200字步长150字相邻窗口重叠50字。这样跨窗口边界的实体最多只被切一次且能在两个窗口里都出现靠去重逻辑修复。def sliding_predict(text, model, tokenizer, id2label, device, window200, overlap50, max_len128): step window - overlap results [] for start in range(0, len(text), step): seg text[start:start window] inputs tokenizer(seg, return_tensorspt, truncationTrue, max_lengthmax_len) inputs {k: v.to(device) for k, v in inputs.items()} with torch.no_grad(): pred model(inputs[input_ids], inputs[attention_mask])[0] tokens tokenizer.convert_ids_to_tokens(inputs[input_ids][0]) ents decode_span(tokens[1:-1], pred[1:-1], id2label) for name, etype in ents: offset start seg.find(name) results.append({entity: name, type: etype, offset: offset}) return results这里overlap的取值要大于你业务里最常见的实体长度。我的经验是最少50字实体普遍较长比如机构全称时提到80字否则长实体被拦腰截断后两个窗口都识别不完整去重也没法修复。6.2 预测结果的后处理与去重规则滑窗重复预测带来的重复实体需要去重。去重不能只按实体文本同一个名字在不同位置出现是合法的事件必须同时比较文本和偏移量。偏移量可以用seg.find(name)粗略估算窗口边界处偶尔偏移偏差一两个字更稳的做法是记录窗口起点在窗口内部用字符索引精确换算。重叠区域那个窗口中识别到的实体如果和主窗口结果文本相同且位置差值小于overlap的一半直接丢弃次窗口的副本。decode_span这个函数把BIO标签序列合并成实体列表合并规则是遇到B-开新实体后续同类型I-持续追加遇到O或者其他类型B-就结算当前实体——这四行逻辑是整个推理管线的收口务必单独写单元测试覆盖。本文还有配套的精品资源点击获取