1. NYT-10数据集简介与背景NYT-10是自然语言处理领域广泛使用的关系抽取基准数据集最早出现在Riedel等研究者2010年的论文中。这个数据集的核心价值在于它结合了纽约时报的新闻文本与Freebase知识库的实体关系标注为关系抽取任务提供了高质量的监督信号。数据集中的文本全部来自纽约时报的新闻报道命名实体识别采用了斯坦福大学的NER工具实体之间的关系则通过Freebase知识库进行远监督标注。这种组合方式既保证了文本的多样性又确保了关系标注的准确性。我在实际项目中多次使用这个数据集发现它对训练关系抽取模型特别有效尤其是需要处理复杂语义关系的场景。数据集包含两个主要部分训练集nyt10_train.txt和测试集nyt10_test.txt还有一个关系映射文件nyt10_rel2id.json。训练集大约有5万多个句子涵盖了多种实体关系类型。测试集则用于评估模型性能确保实验结果的可比性。2. 从OpenNRE下载NYT-10数据集2.1 基础下载方法最直接的下载方式是通过OpenNRE项目的GitHub仓库。这个清华大学自然语言处理实验室维护的项目提供了便捷的下载脚本。具体操作如下mkdir nyt10 wget -P nyt10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_rel2id.json wget -P nyt10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_train.txt wget -P nyt10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_test.txt这个方法下载的数据集大小约为170MB是经过精简的版本。我在多个项目中都使用过这个版本对于大多数关系抽取任务来说已经足够。2.2 解决SSL证书问题很多用户在Windows系统下执行上述命令时会遇到SSL证书验证失败的问题。错误信息通常会提示cannot verify certificate。这是因为wget默认会验证SSL证书而某些网络环境下这个验证可能会失败。解决方法很简单只需要在每个wget命令后添加--no-check-certificate参数wget --no-check-certificate -P nyt10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_rel2id.json这个参数告诉wget跳过SSL证书验证。虽然从安全性角度来说不是最佳实践但对于下载公开数据集这种场景是可以接受的。我在公司内网环境下测试过这个方法能稳定解决下载问题。3. 从Tsinghua Cloud下载完整版数据集3.1 获取完整数据集如果需要更完整的数据集版本清华云存储提供了一个约3GB的压缩包。这个版本包含了原始protobuf格式的数据和转换脚本。下载链接如下https://cloud.tsinghua.edu.cn/f/11391e48b72749d8b60a/?dl1下载完成后你会得到一个压缩文件解压后目录结构通常包含原始protobuf数据文件protobuf2json.py转换脚本README.md说明文件Document.proto协议定义文件3.2 数据格式转换完整版数据集需要经过格式转换才能使用。主要步骤如下首先安装protobuf编译器# 在Ubuntu上 sudo apt-get install protobuf-compiler # 在Mac上 brew install protobuf然后执行格式转换protoc --proto_path. --python_out. Document.proto python protobuf2json.py这里有个常见坑点原始脚本中的文件解码问题。在Python 3环境下需要修改protobuf2json.py中的get_entities函数def get_entities(file_name): print(Loading entities...) f open(file_name, rb) for line in f.readlines(): line line.rstrip().decode() # 关键修改添加decode() guid, word, type line.split(\t) guid2entity[guid] {id: guid, word: word, type: type} f.close() print(Finish loading, got {} entities totally.format(len(guid2entity)))这个修改解决了Python 3中bytes到str的转换问题。我曾在三个不同项目里都遇到过这个问题每次都要花时间排查现在看到这个错误信息就能立即想到解决方案。4. 数据集预处理实战4.1 基础预处理步骤无论从哪个渠道获取的数据集都需要进行一些基础预处理数据清洗去除特殊字符、HTML标签等文本标准化统一大小写、处理缩写等实体对齐确保实体标注与文本一致对于OpenNRE下载的版本预处理相对简单因为数据已经是整理好的格式。一个典型的预处理流程如下import json # 加载关系映射 with open(nyt10_rel2id.json) as f: rel2id json.load(f) # 处理训练数据 train_data [] with open(nyt10_train.txt) as f: for line in f: items line.strip().split(\t) if len(items) 4: text, head, tail, relation items train_data.append({ text: text, head: head, tail: tail, relation: relation })4.2 处理完整版数据集完整版数据集的预处理要复杂一些。除了基础清洗外还需要处理protobuf格式的原始数据转换实体和关系格式构建与精简版一致的训练/测试划分这里分享一个我在实际项目中使用的预处理脚本片段from collections import defaultdict import json def process_nyt10_full(raw_dir, output_dir): # 加载实体和关系 entities load_entities(f{raw_dir}/entities.txt) relations load_relations(f{raw_dir}/relations.txt) # 处理句子和标注 sentences process_sentences(f{raw_dir}/sentences.txt) annotations process_annotations(f{raw_dir}/annotations.txt) # 保存处理后的数据 save_processed_data(output_dir, sentences, annotations, relations) def load_entities(file_path): entities {} with open(file_path, r, encodingutf-8) as f: for line in f: guid, word, type line.strip().split(\t) entities[guid] {word: word, type: type} return entities5. 常见问题与解决方案5.1 下载速度慢的问题很多用户反映从国内下载数据集速度很慢。根据我的经验可以尝试以下方法使用清华云镜像速度通常较快更换网络环境比如切换到校园网使用下载工具如axel替代wgetaxel -n 10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_train.txt这个命令会启用10个连接并行下载能显著提升下载速度。我在下载大型数据集时经常使用这个方法。5.2 数据不一致问题不同来源的NYT-10数据集可能存在细微差异。我对比过多个版本发现主要区别在于数据量完整版包含更多句子和关系实例标注细节某些实体的边界标注略有不同关系分布某些低频关系的出现频率不同建议在论文中明确说明使用的是哪个版本的数据集以确保实验结果的可复现性。5.3 内存不足问题处理完整版数据集时可能会遇到内存不足的情况。我的解决方案是使用生成器而非列表加载数据分批处理大型文件使用更高效的数据结构如pandas DataFrame这里分享一个内存友好的数据加载方法def batch_loader(file_path, batch_size1000): with open(file_path, r) as f: batch [] for line in f: batch.append(line.strip()) if len(batch) batch_size: yield batch batch [] if batch: yield batch6. 数据集应用建议6.1 模型训练技巧基于我使用NYT-10训练关系抽取模型的经验分享几个实用技巧处理类别不平衡NYT-10中关系分布极不均衡建议使用加权损失函数实体信息利用除了文本外充分利用实体类型信息能提升模型性能负采样策略设计合理的负采样方法对模型训练至关重要一个简单的PyTorch数据加载器实现from torch.utils.data import Dataset class NYT10Dataset(Dataset): def __init__(self, file_path, rel2id, max_len128): self.data [] self.rel2id rel2id self.max_len max_len self.load_data(file_path) def load_data(self, file_path): with open(file_path, r) as f: for line in f: text, head, tail, relation line.strip().split(\t) self.data.append({ text: text, head: head, tail: tail, relation: self.rel2id[relation] }) def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx]6.2 评估注意事项在NYT-10上评估模型时有几个关键点需要注意评估指标选择除了准确率还应考虑PN、PR曲线等更适合关系抽取的指标对比基线建议与PCNN、CNN等经典方法进行对比错误分析仔细分析模型错误案例找出改进方向我在项目中通常会进行详细的错误分析比如统计模型在不同关系类型上的表现差异这往往能发现一些有趣的现象和改进方向。
NYT-10数据集下载与预处理实战指南
发布时间：2026/5/21 16:49:11
1. NYT-10数据集简介与背景NYT-10是自然语言处理领域广泛使用的关系抽取基准数据集最早出现在Riedel等研究者2010年的论文中。这个数据集的核心价值在于它结合了纽约时报的新闻文本与Freebase知识库的实体关系标注为关系抽取任务提供了高质量的监督信号。数据集中的文本全部来自纽约时报的新闻报道命名实体识别采用了斯坦福大学的NER工具实体之间的关系则通过Freebase知识库进行远监督标注。这种组合方式既保证了文本的多样性又确保了关系标注的准确性。我在实际项目中多次使用这个数据集发现它对训练关系抽取模型特别有效尤其是需要处理复杂语义关系的场景。数据集包含两个主要部分训练集nyt10_train.txt和测试集nyt10_test.txt还有一个关系映射文件nyt10_rel2id.json。训练集大约有5万多个句子涵盖了多种实体关系类型。测试集则用于评估模型性能确保实验结果的可比性。2. 从OpenNRE下载NYT-10数据集2.1 基础下载方法最直接的下载方式是通过OpenNRE项目的GitHub仓库。这个清华大学自然语言处理实验室维护的项目提供了便捷的下载脚本。具体操作如下mkdir nyt10 wget -P nyt10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_rel2id.json wget -P nyt10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_train.txt wget -P nyt10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_test.txt这个方法下载的数据集大小约为170MB是经过精简的版本。我在多个项目中都使用过这个版本对于大多数关系抽取任务来说已经足够。2.2 解决SSL证书问题很多用户在Windows系统下执行上述命令时会遇到SSL证书验证失败的问题。错误信息通常会提示cannot verify certificate。这是因为wget默认会验证SSL证书而某些网络环境下这个验证可能会失败。解决方法很简单只需要在每个wget命令后添加--no-check-certificate参数wget --no-check-certificate -P nyt10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_rel2id.json这个参数告诉wget跳过SSL证书验证。虽然从安全性角度来说不是最佳实践但对于下载公开数据集这种场景是可以接受的。我在公司内网环境下测试过这个方法能稳定解决下载问题。3. 从Tsinghua Cloud下载完整版数据集3.1 获取完整数据集如果需要更完整的数据集版本清华云存储提供了一个约3GB的压缩包。这个版本包含了原始protobuf格式的数据和转换脚本。下载链接如下https://cloud.tsinghua.edu.cn/f/11391e48b72749d8b60a/?dl1下载完成后你会得到一个压缩文件解压后目录结构通常包含原始protobuf数据文件protobuf2json.py转换脚本README.md说明文件Document.proto协议定义文件3.2 数据格式转换完整版数据集需要经过格式转换才能使用。主要步骤如下首先安装protobuf编译器# 在Ubuntu上 sudo apt-get install protobuf-compiler # 在Mac上 brew install protobuf然后执行格式转换protoc --proto_path. --python_out. Document.proto python protobuf2json.py这里有个常见坑点原始脚本中的文件解码问题。在Python 3环境下需要修改protobuf2json.py中的get_entities函数def get_entities(file_name): print(Loading entities...) f open(file_name, rb) for line in f.readlines(): line line.rstrip().decode() # 关键修改添加decode() guid, word, type line.split(\t) guid2entity[guid] {id: guid, word: word, type: type} f.close() print(Finish loading, got {} entities totally.format(len(guid2entity)))这个修改解决了Python 3中bytes到str的转换问题。我曾在三个不同项目里都遇到过这个问题每次都要花时间排查现在看到这个错误信息就能立即想到解决方案。4. 数据集预处理实战4.1 基础预处理步骤无论从哪个渠道获取的数据集都需要进行一些基础预处理数据清洗去除特殊字符、HTML标签等文本标准化统一大小写、处理缩写等实体对齐确保实体标注与文本一致对于OpenNRE下载的版本预处理相对简单因为数据已经是整理好的格式。一个典型的预处理流程如下import json # 加载关系映射 with open(nyt10_rel2id.json) as f: rel2id json.load(f) # 处理训练数据 train_data [] with open(nyt10_train.txt) as f: for line in f: items line.strip().split(\t) if len(items) 4: text, head, tail, relation items train_data.append({ text: text, head: head, tail: tail, relation: relation })4.2 处理完整版数据集完整版数据集的预处理要复杂一些。除了基础清洗外还需要处理protobuf格式的原始数据转换实体和关系格式构建与精简版一致的训练/测试划分这里分享一个我在实际项目中使用的预处理脚本片段from collections import defaultdict import json def process_nyt10_full(raw_dir, output_dir): # 加载实体和关系 entities load_entities(f{raw_dir}/entities.txt) relations load_relations(f{raw_dir}/relations.txt) # 处理句子和标注 sentences process_sentences(f{raw_dir}/sentences.txt) annotations process_annotations(f{raw_dir}/annotations.txt) # 保存处理后的数据 save_processed_data(output_dir, sentences, annotations, relations) def load_entities(file_path): entities {} with open(file_path, r, encodingutf-8) as f: for line in f: guid, word, type line.strip().split(\t) entities[guid] {word: word, type: type} return entities5. 常见问题与解决方案5.1 下载速度慢的问题很多用户反映从国内下载数据集速度很慢。根据我的经验可以尝试以下方法使用清华云镜像速度通常较快更换网络环境比如切换到校园网使用下载工具如axel替代wgetaxel -n 10 https://thunlp.oss-cn-qingdao.aliyuncs.com/opennre/benchmark/nyt10/nyt10_train.txt这个命令会启用10个连接并行下载能显著提升下载速度。我在下载大型数据集时经常使用这个方法。5.2 数据不一致问题不同来源的NYT-10数据集可能存在细微差异。我对比过多个版本发现主要区别在于数据量完整版包含更多句子和关系实例标注细节某些实体的边界标注略有不同关系分布某些低频关系的出现频率不同建议在论文中明确说明使用的是哪个版本的数据集以确保实验结果的可复现性。5.3 内存不足问题处理完整版数据集时可能会遇到内存不足的情况。我的解决方案是使用生成器而非列表加载数据分批处理大型文件使用更高效的数据结构如pandas DataFrame这里分享一个内存友好的数据加载方法def batch_loader(file_path, batch_size1000): with open(file_path, r) as f: batch [] for line in f: batch.append(line.strip()) if len(batch) batch_size: yield batch batch [] if batch: yield batch6. 数据集应用建议6.1 模型训练技巧基于我使用NYT-10训练关系抽取模型的经验分享几个实用技巧处理类别不平衡NYT-10中关系分布极不均衡建议使用加权损失函数实体信息利用除了文本外充分利用实体类型信息能提升模型性能负采样策略设计合理的负采样方法对模型训练至关重要一个简单的PyTorch数据加载器实现from torch.utils.data import Dataset class NYT10Dataset(Dataset): def __init__(self, file_path, rel2id, max_len128): self.data [] self.rel2id rel2id self.max_len max_len self.load_data(file_path) def load_data(self, file_path): with open(file_path, r) as f: for line in f: text, head, tail, relation line.strip().split(\t) self.data.append({ text: text, head: head, tail: tail, relation: self.rel2id[relation] }) def __len__(self): return len(self.data) def __getitem__(self, idx): return self.data[idx]6.2 评估注意事项在NYT-10上评估模型时有几个关键点需要注意评估指标选择除了准确率还应考虑PN、PR曲线等更适合关系抽取的指标对比基线建议与PCNN、CNN等经典方法进行对比错误分析仔细分析模型错误案例找出改进方向我在项目中通常会进行详细的错误分析比如统计模型在不同关系类型上的表现差异这往往能发现一些有趣的现象和改进方向。
