简介面向自然语言处理与知识图谱构建的数学学科数据集包含 6661 个样本、706 个实体及 11250 个实体关系对共覆盖 12 种关系适用于命名实体识别、实体关系抽取、文本分类等典型任务可直接服务于数学学科知识图谱建设与相关深度学习实验。资源包为 rar 压缩格式共 6 个文件约 502KB。核心文件包括 entity、train_data、test_data、context_entity、sql 与 txt其中 train_data 和 test_data 提供训练与测试样本entity 与 context_entity 描述实体及上下文实体关系sql 为关系数据库脚本txt 为说明文档整体结构简洁适合快速上手。已有 3257 人学习/下载可供 NLP 学习者、知识图谱研究者及需要学科标注数据开展模型验证的开发者使用。下载后可直接拆分使用也可将 sql 导入数据库进行关系查询便于围绕该学科开展实体识别与关系抽取实验txt 说明文档可帮助理解字段含义与数据组织方式作为构建垂直领域知识图谱的原始数据基础非常方便。 做NLP这几年我越来越觉得通用语料库堆出来的模型一碰到垂直领域就露怯。尤其是初中数学这种对逻辑严谨性和符号规范性要求极高的学科拿通用中文语料去训练模型生成的答案经常让人哭笑不得——要么公式符号乱飞要么解题步骤逻辑断裂。所以我一直有个执念与其在公开数据集里大海捞针不如自己动手构建一套真正适配初中数学学科的自然语言处理数据集。这篇文章就把我踩过的坑、试过的方法、总结出来的经验完整梳理一遍。整个项目本质上不是下载几个json文件就完事而是一场从采集、清洗、标注到验证的全流程工程实践。无论你是想做数学题自动解答、知识点标签预测还是题目相似度检索、错题归因分析这套数据集的构建思路都能直接复用。我会把数据源怎么选、清洗规则怎么定、标注体系怎么设计、最终怎么验证都讲透。1. 为什么初中数学需要专属NLP数据集——通用数据集的真实短板1.1 通用语料在数学场景下的水土不服先泼一盆冷水市面上的通用中文NLP数据集拉过来做数学文本任务效果基本是灾难级的。原因很朴素——数学文本的语言模式跟新闻、维基百科完全不同。通用语料里的句子是主谓宾自然流动的而数学题文本的结构是高度压缩的条件分句密集堆叠、逻辑关系用符号或半符号化表达、数量关系藏在文字背后。比如已知二次函数yax²bxc的图象经过点A(1,2)和B(-1,6)求a、b的值这句话里有函数式、有点坐标、有求值指令通用分词器碰到ax²bxc这种片段切分的结果大概率是惨不忍睹的。另一个问题是符号体系。数学文本天然混排汉字、英文字母、希腊字母、数字、运算符号、上下标编码层面就比纯文字复杂得多。通用数据集在清洗时通常会做去符号化处理把非中文字符一股脑过滤掉。但这套流程放到数学语料上就是灾难——你把²和√删了题目就没法看了。所以结论很直接数学学科NLP任务必须要有专属的、保留完整数学符号语义的数据集。这不是锦上添花而是刚需。1.2 数学学科文本的三个非典型特征既然要构建专属数据集就得先摸清数学文本跟普通文本到底差在哪。我总结下来最核心的有三点。第一是强结构化的题目组织模式。一道初中数学题无论来自教材还是中考试卷几乎都可以拆成题干-条件-问题三段式选择题还要加选项解答题还要挂答案和解析。这种结构化特征如果不好好利用只用普通的句子-标签模式去处理信息损失非常大。第二是知识点标签与解题能力的高度耦合。初中数学的知识点体系是清晰可枚举的——有理数、整式运算、一元一次方程、二元一次方程组、不等式组、一次函数、二次函数、反比例函数、三角形全等与相似、圆、统计与概率等。每个题目背后对应的知识点标签本身就是极好的监督信号而且相比通用情感分类这个信号几乎没有标注歧义一致性极高。第三是文本与视觉信息的强关联。初中数学大量题目配图——函数图象、几何图形、统计图表。纯文本数据集天然丢掉了图里的信息但至少要在文本中保留如图、如图1所示这类指代标记方便后续做多模态扩展时对齐。这一点很多人构建数据集时完全忽略后面想做图文联合模型就傻眼了。2. 采集策略从教材到题库的多源配比思路2.1 数据源的取舍与优先级确定数据源之前先明确版权边界。我的原则是优先采集合规的公开数据二次加工时做语义级改写商用前必须做版权复核。实际采集时我按优先级分了四层。第一优先级是人教版、北师大版、苏教版等主流教材的课后习题。教材内容结构清晰知识点覆盖全面题目难度梯度合理是数据集的骨架。缺点是题量有限且答案不一定公开。第二优先级是历年中考真题。这是质量最高、最接近真实考查目标的语料。各地中考试卷结构规范有标准答案和评分标准非常适合做答案和解析标注。建议按省份和年份归档方便做难度分层。第三优先级是公开在线题库的公开抓取内容。这类数据量大、题型丰富但噪声也大——同一道题在不同平台的表述差异很大甚至部分题目有错误。这一层数据适合做扩充但必须经过清洗和校验。第四优先级是教辅资料和竞赛入门题。教辅的解析往往更细致能提供更丰富的解题过程样本竞赛入门题则用来补充思维难度高的题目。但这类数据版权风险更高建议只提取少量做多样化扩展。我不建议一上来就追求数据量爆炸。很多人一听说做数据集立刻写爬虫抓几十万道题结果清洗阶段直接崩溃。合理路径是先拿一到两年的真题和教材同步题把几百到几千条高质量样本跑通全流程再考虑规模化。2.2 数据配比怎么定才不偏科数据配比是个容易翻车的地方。如果完全随机从题库抓取大概率得到的是偏重函数和几何的题目代数和统计概率被严重稀释因为考试里函数和几何占比本来就高。但让数据集整体覆盖所有初中知识点对下游任务泛化非常重要。我的做法是按课程标准的知识模块设定目标比例然后按比例做分层抽样。以数与代数、图形与几何、统计与概率三大模块为例可以按5:4:1的基准分配再在每个模块内按具体知识点细分。这样训练出的模型不会出现遇到圆的问题就懵遇到方程就正常的偏科现象。另外题目难度也要分层。我参考中考基础题、中档题、压轴题的比例按7:2:1来配比。基础题保证模型学到基本模式中档题提供推理深度压轴题则让模型见识真正复杂的条件编排和思路跳跃。压轴题数量虽然少但对评测模型上限至关重要。3. 清洗与去重数学文本预处理里那些通用流程做不到的事3.1 公式、符号与纯文本的边界处理数学文本的清洗第一原则就是不要轻易删除字符。通用NLP清洗管道里的去特殊符号规则在数学语料里必须彻底重写。具体来说我把清洗分成几层操作。第一层是编码规范化。全角半角统一、中文标点保留、英文大小写保留。这里特别注意的是数学符号的Unicode规范化把常见运算符、关系符、上下标统一映射到标准Unicode码位比如把²统一保留为U00B2字符而不是转成^2文本除非你后续要统一转LaTeX。第二层是公式抽取与占位。我会先用正则把明显的公式块例如以( )或[ ]包裹的LaTeX片段或纯符号串抽取出来替换成特殊占位符比如MATH0/MATH。理由很简单分词器对公式的切分能力很差如果不在清洗阶段隔离它们会把整个句子的分词结果搅乱。占位符可以在后续的模型输入阶段再替换回LaTeX格式。第三层是OCR文本纠错。如果数据源是扫描版或部分平台的OCR结果常见错误包括把5识别成3、把√丢掉、把∠ABC识别成ZABC等。这一层没有办法完全自动化我的经验是跑一遍错题候选筛查——找到题目编号异常、符号占位异常、解析为空等特征的记录人工抽查修正。3.2 图表类题目的降维与信息保留初中数学大量题目依赖图表但纯文本NLP数据集没法直接装图片。这里有两个可选路线。第一条路线是剔除图形依赖题。如果题目说如图在△ABC中ABACD为BC上一点那么图只是辅助文字条件已经完整这类题可以保留。但如果题目核心条件全在图里文字几乎无法复原图形信息这类题建议整体剔除避免训练出瞎猜模型。第二条路线是为图形题建立描述层。对保留的图形辅助题我会用自然语言为图中的关键要素写一段描述性文本比如三角形ABC中ABAC底角为40度或直线ykxb经过第一、第二、第三象限。这样文本数据保留的推理链更完整也为未来接入图像生成或视觉编码器留下接口。我建议所有图片都要做是否信息关键的二分标记存到元数据字段里。这样后续想专门做图表理解任务时可以直接筛选子集。3.3 去重不能只看字面同题异构问题数学题去重是我踩过最深的一个坑。一开始我用的文本去重方式——MinHash或SimHash计算文本相似度——对数学题几乎无效。为什么因为同一道题可以有多种表述方式数字换掉x3变x5、条件顺序调整、主被动语态切换甚至选项顺序打乱。但在数学语义上它们就是同一道题。我最后采用的方法是语义指纹法对每道题做条件抽取把已知条件排序后拼接成规范化条件串再结合问题部分做Hash。具体来说我会把已知若当等引导的条件子句提取出来统一改写为条件[编号]{规范化表达式}的格式再连同最终问题一起生成SHA-256指纹。这样即使两个题目的表层文字不同只要条件和问题语义一致指纹就相同实现真正的语义级去重。这个方法的准确率不是100%但对初中数学这种条件和问题边界清晰的文本类型效果已经非常能打。实测下来能把题库里接近15%-20%的重复题目识别出来这个比例在从在线题库采集的数据里相当常见。4. 标注体系设计先定任务再定标签别把数据集做成大杂烩4.1 按任务拆解标注目标数据集的标注体系一定要从你到底想用这个数据集做什么任务倒推。我把标注目标拆成三层每一层对应一类NLP应用。第一层是题目要素标注。包括题目类型选择题、填空题、解答题、知识点标签细分到二级知识点比如二次函数图象与性质、难度等级基础、中等、困难。这一层标注做好就能训练题目自动分类、知识点打标模型也可以做智能组卷。第二层是结构信息标注。包括题干段落切分、条件句识别、问题句识别、选项文本识别、答案文本。这一层是训练信息抽取模型的基础也可以用来做题目语义检索和结构化入库。第三层是解题过程标注。这是最难的一层需要把解答题的解析步骤拆成推理步骤序列每一步标注依据的知识点和前序步骤依赖关系。这层数据量不需要大但质量要求极高它是做解题思路生成、步骤级纠错等进阶任务的核心资产。这里提醒一句很多人做数据集恨不得把能标的字段全标上结果标注成本爆炸质量还失控。更务实的做法是先定一个主任务把第一层和第二层作为默认标注第三层作为可选高价值标注。4.2 标注规范与一致性校验标注成本大头在规范和校验。初中数学有一点比通用文本好——知识边界清晰标注者不需要太多领域外的判断。但即便如此不同标注者对难度的感知也千差万别。同一道压轴题有人标困难有人标中等。我推荐采用双人独立标注仲裁机制。每道题至少两个人标注一致率低于95%的字段要进入仲裁流程。同时要定期算Cohens Kappa系数如果某位标注者的标注跟其他人的一致性持续偏低就得重新培训或换人。标注规范文档至少要包含三部分知识点标签的层级字典不能随便自由发挥、难度判定的参考锚点题给出3到5道难度确定的典型题作为坐标、题目文本中的特殊标记规则比如如图怎么标、公式块怎么切。这套规范不是一次性写死的每跑完一批标注都要开会修订。4.3 质量抽检与迭代闭环标注完成不等于数据集完成。我处理质量问题的策略是抽检-反馈-修订三环闭环。抽检时按题型和知识点分层抽样而不是全量随机。抽检发现问题后不只修改单条数据还要把错误的类型汇总反推是标注规范没写清还是标注者理解偏差还是数据源本身有错。我见过最典型的案例一批二次函数平移题解析步骤里频繁出现左加右减和上加下减的口诀。有的标注者把口诀本身当作步骤写进解析有的则把口诀展开成把抛物线向左平移2个单位所以x替换为x2。这种不一致会导致模型学到混乱的解题规则。发现问题后我在规范里明确要求口诀可以作为辅助注释但必须附带等价的代数变换步骤。这个修订让后续标注质量的Kappa系数从0.82提升到0.91。5. 落地场景与验证从数据到模型的最后一公里5.1 最适合起步的NLP任务如果你的数据量不大几千条级别我强烈建议从知识点标签预测和题目难度分类这两个任务起步。原因很简单这两个任务的标注质量最容易保证标签类别是可枚举的评价指标直观而且模型结果可以直接反馈到数据集的清洗效果上。我实际跑过一轮知识点标签预测用BERT系列模型在清洗后的8000条数据上做微调类别是32个初中数学二级知识点测试集准确率能到88%以上。这个结果表明只要数据质量和知识点标签体系足够扎实传统文本分类方法就能拿到可用的基线。等数据量到几万条可以尝试做题目相似度检索。基于结构信息标注把题目向量化用对比学习训练一个匹配模型它能够做到找到与当前题目考察点、难度、题型都相似的题这就是智能组卷和错题推荐的核心能力。5.2 训练集/验证集/测试集的划分陷阱最常见的错误是按全数据集随机划分。但对数学题来说随机划分会带来严重的数据泄露——同一道题的同题异构版本可能同时出现在训练集和测试集。我在3.3节提到的语义指纹在这里派上了用场切分前必须先按语义指纹做去重确保测试集里的题跟训练集没有语义级别重叠。更严格的做法是按知识点和难度分层划分。先按知识点分层然后每个知识点内按难度分层最后做随机抽样。这样能保证测试集的知识点分布和难度分布在统计上跟训练集一致避免测试集恰好全是函数题但模型只在代数题上训练过这种明显偏置。如果数据集面向真正的考试场景还可以考虑按来源划分。比如用2022年及之前的真题做训练2023年真题做测试。这种划分更贴近真实场景能衡量模型的泛化能力但数据量如果不够大很容易欠拟合。5.3 实测中的常见失效模式说几个我实测里反反复复踩到的坑给你们提前打个预防针。第一个坑模型对数字极度敏感。训练集里大量题目的系数都是小整数模型会偷偷学会看到整数就猜答案的捷径。在测试集里把系数换成小数或分数准确率立刻骤降。解决方案是在数据增强时对题目里的数字做随机替换强制模型关注数值之间的运算关系而不是数值本身。第二个坑解析文本的长度方差极大。选择题解析可能只有一句话压轴题解析可能几百字。用来做序列生成训练时长尾分布会导致模型倾向于输出短答案。我建议要么按长度分层采样要么对超长解析做步骤拆分把整题解析生成切分成逐步预测下一推理步骤的训练目标。第三个坑知识点体系的粒度不一致。一开始我从不同来源收集知识点标签有的标到一级分类函数有的标到三级分类二次函数图象的平移导致分类模型学得混乱。最后我统一了标签体系所有题目必须标到二级知识点一级分类从二级标签自动聚合不再单独标注。这大大简化了后续处理。最后说一下这个数据集后续还能怎么扩展。我目前在做的是给文本数据对齐一个图字段——对初中几何题把题目配图的几何对象、相对位置关系用结构化描述存进去后续可以训练图文联合的数学推理模型。这个方向潜力很大但数据构建成本也高建议先把纯文本版本的数据集打磨到满意程度再动手。本文还有配套的精品资源点击获取