Nomic-Embed-Text-V2-MoE与数据库课程设计实现学术论文查重系统原型最近在带学生做数据库课程设计发现一个挺有意思的现象很多同学把选题方向瞄准了“论文查重”。想法是好的但真做起来往往卡在“怎么判断两段文字相似”这个核心问题上。传统的基于关键词匹配的方法稍微改几个词、调一下语序就很容易蒙混过关。正好最近Nomic AI开源的Nomic-Embed-Text-V2-MoE模型在文本嵌入领域表现很亮眼。它是个混合专家模型能生成高质量的文本向量而且完全开源免费。我就想能不能把这个前沿的AI模型和我们经典的数据库课程设计结合起来做一个更智能、更实用的论文查重系统原型呢说干就干。这篇文章我就来分享一下我们是怎么用这个模型配合关系型数据库搭建出一个从数据存储、文本编码到相似度比对全流程打通的简易查重系统。整个过程不复杂但把AI和数据库的知识点都串起来了特别适合作为课程设计的实战案例。如果你也在做类似的项目或者对如何将大模型能力落地到具体业务中感兴趣那接下来的内容应该能给你不少启发。1. 为什么用向量做查重先理清思路在动手建表写代码之前我们得先想明白一件事传统的查重方法为什么不够用而用向量也叫嵌入的方法优势在哪想象一下你有两段话A句“深度学习模型通过多层神经网络提取特征。”B句“特征提取由深度神经网络的多层结构完成。”如果只用关键词匹配“深度学习”、“神经网络”、“特征”、“提取”这些词都出现了相似度会很高。但如果用更“笨”的方法比如逐字比对或者简单的分词重合度计算因为语序和表述完全不同可能会判定为不相似。而向量嵌入的方法能很好地捕捉到这两句话在语义上的高度一致性。Nomic-Embed-Text-V2-MoE干的就是这个事。它把一段文本无论长短转换成一个固定长度的数字列表比如768个数字。这个列表就是文本的“向量表示”或“语义指纹”。语义相近的文本它们的向量在数学空间里的“距离”就会很近反之语义迥异的文本向量距离就远。所以我们查重的逻辑就变成了入库把所有待查重的论文通过模型转换成向量存进数据库。查询把需要查重的新论文也转换成向量。比对在数据库里快速计算新论文向量和库里所有已有论文向量的“距离”相似度。判定根据距离远近相似度高低找出可能重复的论文。这样一来即使字面表达不同只要意思一样我们也能把它揪出来。这就是语义查重的核心价值。2. 系统设计与核心组件明确了核心思路我们来看看这个原型系统由哪几块“积木”搭成。整个系统可以分成三个主要部分环环相扣。2.1 整体架构俯瞰我们的系统架构很简单但该有的都有如下图所示[用户提交新论文] ↓ [文本预处理与向量化] ← (调用 Nomic-Embed-Text-V2-MoE 模型) ↓ [核心数据库操作] → (存储/查询向量与元数据) ↓ [相似度计算与结果展示] → (生成可视化报告)流程说明输入用户上传一篇新的学术论文通常是文本格式。处理系统对论文进行必要的清洗如去除格式、分章节然后调用Nomic嵌入模型将整篇论文或分章节的文本转化为向量。存储与比对将新论文的向量和基本信息存入数据库。同时系统会计算该向量与数据库中所有历史论文向量的相似度。输出将相似度超过阈值的结果筛选出来生成一份可视化的查重报告告诉用户哪些部分可能重复以及重复的可能来源。2.2 数据库表结构设计数据库是整个系统的“记忆中枢”。我们选择常用的MySQL或PostgreSQL来设计表。核心是两张表第一张表papers(论文元数据表)这张表存放论文的基本信息和传统数据库设计没什么区别。CREATE TABLE papers ( paper_id INT PRIMARY KEY AUTO_INCREMENT, -- 论文唯一ID title VARCHAR(500) NOT NULL, -- 论文标题 author VARCHAR(255), -- 作者 abstract TEXT, -- 摘要 submission_date DATE DEFAULT (CURDATE()),-- 提交日期 file_path VARCHAR(500) -- 原文文件存储路径可选 );第二张表paper_embeddings(论文向量表)这是最关键的表建立了论文和其向量表示之间的关联。这里有个设计选择是把整篇论文编码成一个向量还是分块如按段落、按页编码成多个向量 对于查重分块编码更精细能定位到重复的具体章节。所以我们采用分块策略。CREATE TABLE paper_embeddings ( embedding_id BIGINT PRIMARY KEY AUTO_INCREMENT, paper_id INT NOT NULL, -- 关联的论文ID chunk_index INT NOT NULL, -- 文本块的序号如第1段第2段 chunk_text TEXT NOT NULL, -- 原始文本块内容 embedding_vector LONGTEXT NOT NULL, -- 存储向量。注意这里用TEXT类型存储序列化后的向量 FOREIGN KEY (paper_id) REFERENCES papers(paper_id) ON DELETE CASCADE );注意embedding_vector字段我们用了LONGTEXT类型。实际存储时需要将Python列表格式的向量如[0.1, 0.2, ...]转换成JSON字符串或逗号分隔的字符串再存入。PostgreSQL有原生的数组或vector扩展类型用起来会更方便。2.3 核心算法相似度计算向量存好了怎么比这里涉及两个关键算法向量相似度度量最常用的是余弦相似度。它计算两个向量夹角的余弦值范围在[-1, 1]之间。对于我们已经归一化的Nomic嵌入向量这个值在[0, 1]之间值越大越相似。计算效率很高。最近邻搜索当数据库里有成千上万的向量时逐一计算余弦相似度会很慢。这就是向量数据库要解决的痛点。但在我们的课程设计原型里数据量不大可以直接用关系型数据库配合一些优化来模拟。我们可以在SQL层面进行计算以存储为逗号分隔字符串为例-- 假设新论文的某个文本块向量已转换为字符串 new_vec_str -- 这是一个简化示例实际中可能需要用程序计算 SELECT p.paper_id, p.title, pe.chunk_index, pe.chunk_text, -- 这里需要一个自定义函数来计算余弦相似度 (cosine_sim) cosine_sim(pe.embedding_vector, :new_vec_str) AS similarity FROM paper_embeddings pe JOIN papers p ON pe.paper_id p.paper_id WHERE cosine_sim(pe.embedding_vector, :new_vec_str) 0.8 -- 设定一个相似度阈值 ORDER BY similarity DESC;当然在MySQL中实现cosine_sim函数比较麻烦。更实际的做法是在Python应用中一次性从数据库读出所有需要比对的向量然后在内存中用NumPy进行高效的批量计算。这就是下一部分我们要实现的。3. 动手实现从编码到比对的完整流程理论说再多不如一行代码。我们用一个简化的Python流程来串起整个系统。假设你已经安装好了transformers,torch,numpy,pymysql或psycopg2这些库。3.1 第一步加载模型与文本编码首先我们需要把Nomic-Embed-Text-V2-MoE模型用起来。感谢Transformers库加载开源模型非常方便。from transformers import AutoTokenizer, AutoModel import torch import numpy as np # 1. 加载模型和分词器 model_name nomic-ai/nomic-embed-text-v2-moe tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name, trust_remote_codeTrue, safe_serializationTrue) def get_embedding(text): 将单段文本编码为向量 # 2. 处理输入 inputs tokenizer(text, paddingTrue, truncationTrue, return_tensorspt, max_length8192) # 3. 模型推理 with torch.no_grad(): outputs model(**inputs) # 4. 获取嵌入向量。通常取最后一层隐藏状态的平均值作为句子表示 # 注意不同模型的池化方式可能不同需参考其官方文档或代码 embeddings outputs.last_hidden_state.mean(dim1).squeeze() # 5. 归一化余弦相似度要求向量归一化 embeddings torch.nn.functional.normalize(embeddings, p2, dim0) return embeddings.numpy() # 转换为numpy数组方便后续计算3.2 第二步连接数据库与向量存储接下来我们把编码好的向量连同论文信息存到之前设计好的数据库里。import pymysql import json def store_paper_and_embeddings(title, author, full_text): 存储一篇论文及其分块向量 # 1. 连接数据库 conn pymysql.connect(hostlocalhost, userroot, passwordyour_password, databasepaper_check) cursor conn.cursor() # 2. 存储论文元数据 sql_paper INSERT INTO papers (title, author) VALUES (%s, %s) cursor.execute(sql_paper, (title, author)) paper_id cursor.lastrowid # 3. 文本分块这里简单按句号分句实际可按段落或固定长度 chunks [chunk.strip() for chunk in full_text.split(。) if chunk.strip()] # 4. 为每个文本块生成向量并存储 insert_embedding_sql INSERT INTO paper_embeddings (paper_id, chunk_index, chunk_text, embedding_vector) VALUES (%s, %s, %s, %s) for idx, chunk in enumerate(chunks): vector get_embedding(chunk) # 将numpy数组转换为JSON字符串存储 vector_json json.dumps(vector.tolist()) cursor.execute(insert_embedding_sql, (paper_id, idx, chunk, vector_json)) conn.commit() cursor.close() conn.close() print(f论文{title}存储完成共{len(chunks)}个文本块。) return paper_id3.3 第三步实现批量相似度比对当新论文入库时我们需要将其与库中所有历史文本块进行比对。def check_for_duplicates(new_paper_text, threshold0.85): 查重核心函数比对并返回相似度高的文本块 conn pymysql.connect(hostlocalhost, userroot, passwordyour_password, databasepaper_check) cursor conn.cursor(pymysql.cursors.DictCursor) # 返回字典格式 # 1. 获取数据库中所有已有的向量和文本 cursor.execute( SELECT pe.embedding_id, pe.paper_id, pe.chunk_index, pe.chunk_text, pe.embedding_vector, p.title FROM paper_embeddings pe JOIN papers p ON pe.paper_id p.paper_id ) all_existing cursor.fetchall() if not all_existing: print(数据库为空无需比对。) return [] # 2. 将数据库中存储的JSON字符串向量转回numpy数组 existing_vectors [] existing_meta [] # 保存对应的元数据 for row in all_existing: vec_array np.array(json.loads(row[embedding_vector])) existing_vectors.append(vec_array) existing_meta.append({ embedding_id: row[embedding_id], paper_id: row[paper_id], title: row[title], chunk_index: row[chunk_index], chunk_text: row[chunk_text] }) existing_vectors np.stack(existing_vectors) # 堆叠成矩阵 # 3. 对新论文进行分块并编码 new_chunks [chunk.strip() for chunk in new_paper_text.split(。) if chunk.strip()] duplicate_results [] for new_idx, new_chunk in enumerate(new_chunks): new_vec get_embedding(new_chunk).reshape(1, -1) # 变成1xN的矩阵 # 4. 批量计算余弦相似度 (利用矩阵运算效率远高于循环) # 因为向量已归一化余弦相似度 点积 similarities np.dot(existing_vectors, new_vec.T).flatten() # 5. 找出超过阈值的相似项 high_sim_indices np.where(similarities threshold)[0] for idx in high_sim_indices: duplicate_results.append({ new_chunk_index: new_idx, new_chunk_text: new_chunk, matched_paper_title: existing_meta[idx][title], matched_chunk_text: existing_meta[idx][chunk_text], similarity: float(similarities[idx]) # 转换为Python float类型 }) cursor.close() conn.close() return duplicate_results3.4 第四步结果可视化与报告生成干巴巴的数据不好看我们用一个简单的控制台输出和生成HTML报告的方式来展示结果。def generate_report(duplicate_results, new_paper_title): 生成查重报告 if not duplicate_results: print(f《{new_paper_title}》查重完成未发现高度相似文本。) return print(f\n 查重报告《{new_paper_title}》 ) print(f共发现 {len(duplicate_results)} 处可能重复的文本块。\n) # 按相似度排序 duplicate_results.sort(keylambda x: x[similarity], reverseTrue) for i, res in enumerate(duplicate_results, 1): print(f【疑似重复点 {i}】) print(f 相似度{res[similarity]:.2%}) print(f 您论文中的段落第{res[new_chunk_index]1}段) print(f “{res[new_chunk_text][:100]}...”) # 只显示前100字符 print(f 与论文《{res[matched_paper_title]}》中的段落相似) print(f “{res[matched_chunk_text][:100]}...”) print(- * 50) # 简单生成一个HTML报告可选 html_content f htmlbody h1论文查重报告《{new_paper_title}》/h1 p共发现 {len(duplicate_results)} 处可能重复。/p for res in duplicate_results: html_content f div styleborder:1px solid #ccc; margin:10px; padding:10px; h3相似度{res[similarity]:.2%}/h3 pstrong您的文本/strong{res[new_chunk_text]}/p pstrong匹配的原文来自《{res[matched_paper_title]}》/strong{res[matched_chunk_text]}/p /div html_content /body/html with open(freport_{new_paper_title}.html, w, encodingutf-8) as f: f.write(html_content) print(f\n详细报告已生成至report_{new_paper_title}.html)4. 把原型用起来一个完整的场景演示光说不练假把式。我们模拟一个简单的场景看看这个系统跑起来是什么效果。假设数据库里已经存了一篇关于“机器学习”的旧论文。现在一个“小聪明”学生交上来一篇新论文其中部分段落是修改了语序和同义词的“洗稿”内容。# 模拟场景 if __name__ __main__: # 假设数据库中已有一篇论文 old_paper_title 机器学习在图像识别中的应用综述 old_paper_text 深度学习是机器学习的一个重要分支。它通过构建多层神经网络来学习数据的层次化特征表示。 卷积神经网络特别适用于图像处理任务。其在图像分类、目标检测等领域取得了突破性进展。 # 先存储这篇“旧论文” store_paper_and_embeddings(old_paper_title, 张三, old_paper_text) # “小聪明”学生的新论文第二段是洗稿内容 new_paper_title 人工智能视觉技术的最新进展 new_paper_text 人工智能近年来发展迅速。图像处理任务常常采用一种称为卷积神经网络的结构。 作为机器学习的一个关键领域深度学习利用多层次的神经网络结构来提取数据的深层特征。 这项技术在图像分类和目标识别等应用中表现卓越。 print(开始查重分析...) # 进行查重比对阈值设为0.82 duplicates check_for_duplicates(new_paper_text, threshold0.82) # 生成报告 generate_report(duplicates, new_paper_title)运行这段代码你会在控制台看到类似这样的输出 查重报告《人工智能视觉技术的最新进展》 共发现 1 处可能重复的文本块。 【疑似重复点 1】 相似度88.50% 您论文中的段落第3段 “作为机器学习的一个关键领域深度学习利用多层次的神经网络结构来提取数据的深层特征...” 与论文《机器学习在图像识别中的应用综述》中的段落相似 “深度学习是机器学习的一个重要分支。它通过构建多层神经网络来学习数据的层次化特征表示...”看到了吗尽管两段话的用词和语序不同但我们的系统通过语义向量比对成功识别出了它们高度相似。这就是语义查重的威力。5. 回顾与思考走完整个流程我们再回头看看这个课程设计原型。它确实很简单但把几个关键点都串起来了前沿的AI模型Nomic-Embed、经典的数据库设计表结构、关系、核心的算法向量相似度计算、以及一个完整的应用闭环。对于数据库课程设计来说这个项目有几个不错的亮点贴近实际需求论文查重是学生和教师都关心的真实问题。技术栈综合涵盖了关系型数据库CRUD、文本处理、AI模型调用、数值计算等多个方面。可扩展性强这只是一个原型。你可以在此基础上做很多扩展比如性能优化当论文库很大时用专业的向量数据库如Milvus, Pinecone或支持向量索引的关系数据库如PgVector替换当前的暴力搜索。功能增强实现按章节、按参考文献查重生成更详细的重复率统计和来源分析。界面美化用Flask或Streamlit做一个简单的Web界面上传文件、点击按钮、查看报告。算法改进尝试不同的文本分块策略、相似度聚合方法如考虑重复段的连续性和分布。当然也要看到局限性。比如模型对特别专业的术语、公式的编码效果分块查重可能破坏长文的整体逻辑连贯性阈值设置需要根据实际语料反复调试等。这些都是实践中需要不断摸索和调整的地方。总的来说用Nomic-Embed-Text-V2-MoE和数据库来做论文查重原型是一个很好的技术实践。它不仅仅是为了完成一个作业更是展示了如何将最新的AI能力通过扎实的工程技术落地到一个具体的应用场景里。希望这个分享能给你的项目或学习带来一些实实在在的参考。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Nomic-Embed-Text-V2-MoE与数据库课程设计：实现学术论文查重系统原型
发布时间：2026/7/2 21:59:26
Nomic-Embed-Text-V2-MoE与数据库课程设计实现学术论文查重系统原型最近在带学生做数据库课程设计发现一个挺有意思的现象很多同学把选题方向瞄准了“论文查重”。想法是好的但真做起来往往卡在“怎么判断两段文字相似”这个核心问题上。传统的基于关键词匹配的方法稍微改几个词、调一下语序就很容易蒙混过关。正好最近Nomic AI开源的Nomic-Embed-Text-V2-MoE模型在文本嵌入领域表现很亮眼。它是个混合专家模型能生成高质量的文本向量而且完全开源免费。我就想能不能把这个前沿的AI模型和我们经典的数据库课程设计结合起来做一个更智能、更实用的论文查重系统原型呢说干就干。这篇文章我就来分享一下我们是怎么用这个模型配合关系型数据库搭建出一个从数据存储、文本编码到相似度比对全流程打通的简易查重系统。整个过程不复杂但把AI和数据库的知识点都串起来了特别适合作为课程设计的实战案例。如果你也在做类似的项目或者对如何将大模型能力落地到具体业务中感兴趣那接下来的内容应该能给你不少启发。1. 为什么用向量做查重先理清思路在动手建表写代码之前我们得先想明白一件事传统的查重方法为什么不够用而用向量也叫嵌入的方法优势在哪想象一下你有两段话A句“深度学习模型通过多层神经网络提取特征。”B句“特征提取由深度神经网络的多层结构完成。”如果只用关键词匹配“深度学习”、“神经网络”、“特征”、“提取”这些词都出现了相似度会很高。但如果用更“笨”的方法比如逐字比对或者简单的分词重合度计算因为语序和表述完全不同可能会判定为不相似。而向量嵌入的方法能很好地捕捉到这两句话在语义上的高度一致性。Nomic-Embed-Text-V2-MoE干的就是这个事。它把一段文本无论长短转换成一个固定长度的数字列表比如768个数字。这个列表就是文本的“向量表示”或“语义指纹”。语义相近的文本它们的向量在数学空间里的“距离”就会很近反之语义迥异的文本向量距离就远。所以我们查重的逻辑就变成了入库把所有待查重的论文通过模型转换成向量存进数据库。查询把需要查重的新论文也转换成向量。比对在数据库里快速计算新论文向量和库里所有已有论文向量的“距离”相似度。判定根据距离远近相似度高低找出可能重复的论文。这样一来即使字面表达不同只要意思一样我们也能把它揪出来。这就是语义查重的核心价值。2. 系统设计与核心组件明确了核心思路我们来看看这个原型系统由哪几块“积木”搭成。整个系统可以分成三个主要部分环环相扣。2.1 整体架构俯瞰我们的系统架构很简单但该有的都有如下图所示[用户提交新论文] ↓ [文本预处理与向量化] ← (调用 Nomic-Embed-Text-V2-MoE 模型) ↓ [核心数据库操作] → (存储/查询向量与元数据) ↓ [相似度计算与结果展示] → (生成可视化报告)流程说明输入用户上传一篇新的学术论文通常是文本格式。处理系统对论文进行必要的清洗如去除格式、分章节然后调用Nomic嵌入模型将整篇论文或分章节的文本转化为向量。存储与比对将新论文的向量和基本信息存入数据库。同时系统会计算该向量与数据库中所有历史论文向量的相似度。输出将相似度超过阈值的结果筛选出来生成一份可视化的查重报告告诉用户哪些部分可能重复以及重复的可能来源。2.2 数据库表结构设计数据库是整个系统的“记忆中枢”。我们选择常用的MySQL或PostgreSQL来设计表。核心是两张表第一张表papers(论文元数据表)这张表存放论文的基本信息和传统数据库设计没什么区别。CREATE TABLE papers ( paper_id INT PRIMARY KEY AUTO_INCREMENT, -- 论文唯一ID title VARCHAR(500) NOT NULL, -- 论文标题 author VARCHAR(255), -- 作者 abstract TEXT, -- 摘要 submission_date DATE DEFAULT (CURDATE()),-- 提交日期 file_path VARCHAR(500) -- 原文文件存储路径可选 );第二张表paper_embeddings(论文向量表)这是最关键的表建立了论文和其向量表示之间的关联。这里有个设计选择是把整篇论文编码成一个向量还是分块如按段落、按页编码成多个向量 对于查重分块编码更精细能定位到重复的具体章节。所以我们采用分块策略。CREATE TABLE paper_embeddings ( embedding_id BIGINT PRIMARY KEY AUTO_INCREMENT, paper_id INT NOT NULL, -- 关联的论文ID chunk_index INT NOT NULL, -- 文本块的序号如第1段第2段 chunk_text TEXT NOT NULL, -- 原始文本块内容 embedding_vector LONGTEXT NOT NULL, -- 存储向量。注意这里用TEXT类型存储序列化后的向量 FOREIGN KEY (paper_id) REFERENCES papers(paper_id) ON DELETE CASCADE );注意embedding_vector字段我们用了LONGTEXT类型。实际存储时需要将Python列表格式的向量如[0.1, 0.2, ...]转换成JSON字符串或逗号分隔的字符串再存入。PostgreSQL有原生的数组或vector扩展类型用起来会更方便。2.3 核心算法相似度计算向量存好了怎么比这里涉及两个关键算法向量相似度度量最常用的是余弦相似度。它计算两个向量夹角的余弦值范围在[-1, 1]之间。对于我们已经归一化的Nomic嵌入向量这个值在[0, 1]之间值越大越相似。计算效率很高。最近邻搜索当数据库里有成千上万的向量时逐一计算余弦相似度会很慢。这就是向量数据库要解决的痛点。但在我们的课程设计原型里数据量不大可以直接用关系型数据库配合一些优化来模拟。我们可以在SQL层面进行计算以存储为逗号分隔字符串为例-- 假设新论文的某个文本块向量已转换为字符串 new_vec_str -- 这是一个简化示例实际中可能需要用程序计算 SELECT p.paper_id, p.title, pe.chunk_index, pe.chunk_text, -- 这里需要一个自定义函数来计算余弦相似度 (cosine_sim) cosine_sim(pe.embedding_vector, :new_vec_str) AS similarity FROM paper_embeddings pe JOIN papers p ON pe.paper_id p.paper_id WHERE cosine_sim(pe.embedding_vector, :new_vec_str) 0.8 -- 设定一个相似度阈值 ORDER BY similarity DESC;当然在MySQL中实现cosine_sim函数比较麻烦。更实际的做法是在Python应用中一次性从数据库读出所有需要比对的向量然后在内存中用NumPy进行高效的批量计算。这就是下一部分我们要实现的。3. 动手实现从编码到比对的完整流程理论说再多不如一行代码。我们用一个简化的Python流程来串起整个系统。假设你已经安装好了transformers,torch,numpy,pymysql或psycopg2这些库。3.1 第一步加载模型与文本编码首先我们需要把Nomic-Embed-Text-V2-MoE模型用起来。感谢Transformers库加载开源模型非常方便。from transformers import AutoTokenizer, AutoModel import torch import numpy as np # 1. 加载模型和分词器 model_name nomic-ai/nomic-embed-text-v2-moe tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name, trust_remote_codeTrue, safe_serializationTrue) def get_embedding(text): 将单段文本编码为向量 # 2. 处理输入 inputs tokenizer(text, paddingTrue, truncationTrue, return_tensorspt, max_length8192) # 3. 模型推理 with torch.no_grad(): outputs model(**inputs) # 4. 获取嵌入向量。通常取最后一层隐藏状态的平均值作为句子表示 # 注意不同模型的池化方式可能不同需参考其官方文档或代码 embeddings outputs.last_hidden_state.mean(dim1).squeeze() # 5. 归一化余弦相似度要求向量归一化 embeddings torch.nn.functional.normalize(embeddings, p2, dim0) return embeddings.numpy() # 转换为numpy数组方便后续计算3.2 第二步连接数据库与向量存储接下来我们把编码好的向量连同论文信息存到之前设计好的数据库里。import pymysql import json def store_paper_and_embeddings(title, author, full_text): 存储一篇论文及其分块向量 # 1. 连接数据库 conn pymysql.connect(hostlocalhost, userroot, passwordyour_password, databasepaper_check) cursor conn.cursor() # 2. 存储论文元数据 sql_paper INSERT INTO papers (title, author) VALUES (%s, %s) cursor.execute(sql_paper, (title, author)) paper_id cursor.lastrowid # 3. 文本分块这里简单按句号分句实际可按段落或固定长度 chunks [chunk.strip() for chunk in full_text.split(。) if chunk.strip()] # 4. 为每个文本块生成向量并存储 insert_embedding_sql INSERT INTO paper_embeddings (paper_id, chunk_index, chunk_text, embedding_vector) VALUES (%s, %s, %s, %s) for idx, chunk in enumerate(chunks): vector get_embedding(chunk) # 将numpy数组转换为JSON字符串存储 vector_json json.dumps(vector.tolist()) cursor.execute(insert_embedding_sql, (paper_id, idx, chunk, vector_json)) conn.commit() cursor.close() conn.close() print(f论文{title}存储完成共{len(chunks)}个文本块。) return paper_id3.3 第三步实现批量相似度比对当新论文入库时我们需要将其与库中所有历史文本块进行比对。def check_for_duplicates(new_paper_text, threshold0.85): 查重核心函数比对并返回相似度高的文本块 conn pymysql.connect(hostlocalhost, userroot, passwordyour_password, databasepaper_check) cursor conn.cursor(pymysql.cursors.DictCursor) # 返回字典格式 # 1. 获取数据库中所有已有的向量和文本 cursor.execute( SELECT pe.embedding_id, pe.paper_id, pe.chunk_index, pe.chunk_text, pe.embedding_vector, p.title FROM paper_embeddings pe JOIN papers p ON pe.paper_id p.paper_id ) all_existing cursor.fetchall() if not all_existing: print(数据库为空无需比对。) return [] # 2. 将数据库中存储的JSON字符串向量转回numpy数组 existing_vectors [] existing_meta [] # 保存对应的元数据 for row in all_existing: vec_array np.array(json.loads(row[embedding_vector])) existing_vectors.append(vec_array) existing_meta.append({ embedding_id: row[embedding_id], paper_id: row[paper_id], title: row[title], chunk_index: row[chunk_index], chunk_text: row[chunk_text] }) existing_vectors np.stack(existing_vectors) # 堆叠成矩阵 # 3. 对新论文进行分块并编码 new_chunks [chunk.strip() for chunk in new_paper_text.split(。) if chunk.strip()] duplicate_results [] for new_idx, new_chunk in enumerate(new_chunks): new_vec get_embedding(new_chunk).reshape(1, -1) # 变成1xN的矩阵 # 4. 批量计算余弦相似度 (利用矩阵运算效率远高于循环) # 因为向量已归一化余弦相似度 点积 similarities np.dot(existing_vectors, new_vec.T).flatten() # 5. 找出超过阈值的相似项 high_sim_indices np.where(similarities threshold)[0] for idx in high_sim_indices: duplicate_results.append({ new_chunk_index: new_idx, new_chunk_text: new_chunk, matched_paper_title: existing_meta[idx][title], matched_chunk_text: existing_meta[idx][chunk_text], similarity: float(similarities[idx]) # 转换为Python float类型 }) cursor.close() conn.close() return duplicate_results3.4 第四步结果可视化与报告生成干巴巴的数据不好看我们用一个简单的控制台输出和生成HTML报告的方式来展示结果。def generate_report(duplicate_results, new_paper_title): 生成查重报告 if not duplicate_results: print(f《{new_paper_title}》查重完成未发现高度相似文本。) return print(f\n 查重报告《{new_paper_title}》 ) print(f共发现 {len(duplicate_results)} 处可能重复的文本块。\n) # 按相似度排序 duplicate_results.sort(keylambda x: x[similarity], reverseTrue) for i, res in enumerate(duplicate_results, 1): print(f【疑似重复点 {i}】) print(f 相似度{res[similarity]:.2%}) print(f 您论文中的段落第{res[new_chunk_index]1}段) print(f “{res[new_chunk_text][:100]}...”) # 只显示前100字符 print(f 与论文《{res[matched_paper_title]}》中的段落相似) print(f “{res[matched_chunk_text][:100]}...”) print(- * 50) # 简单生成一个HTML报告可选 html_content f htmlbody h1论文查重报告《{new_paper_title}》/h1 p共发现 {len(duplicate_results)} 处可能重复。/p for res in duplicate_results: html_content f div styleborder:1px solid #ccc; margin:10px; padding:10px; h3相似度{res[similarity]:.2%}/h3 pstrong您的文本/strong{res[new_chunk_text]}/p pstrong匹配的原文来自《{res[matched_paper_title]}》/strong{res[matched_chunk_text]}/p /div html_content /body/html with open(freport_{new_paper_title}.html, w, encodingutf-8) as f: f.write(html_content) print(f\n详细报告已生成至report_{new_paper_title}.html)4. 把原型用起来一个完整的场景演示光说不练假把式。我们模拟一个简单的场景看看这个系统跑起来是什么效果。假设数据库里已经存了一篇关于“机器学习”的旧论文。现在一个“小聪明”学生交上来一篇新论文其中部分段落是修改了语序和同义词的“洗稿”内容。# 模拟场景 if __name__ __main__: # 假设数据库中已有一篇论文 old_paper_title 机器学习在图像识别中的应用综述 old_paper_text 深度学习是机器学习的一个重要分支。它通过构建多层神经网络来学习数据的层次化特征表示。 卷积神经网络特别适用于图像处理任务。其在图像分类、目标检测等领域取得了突破性进展。 # 先存储这篇“旧论文” store_paper_and_embeddings(old_paper_title, 张三, old_paper_text) # “小聪明”学生的新论文第二段是洗稿内容 new_paper_title 人工智能视觉技术的最新进展 new_paper_text 人工智能近年来发展迅速。图像处理任务常常采用一种称为卷积神经网络的结构。 作为机器学习的一个关键领域深度学习利用多层次的神经网络结构来提取数据的深层特征。 这项技术在图像分类和目标识别等应用中表现卓越。 print(开始查重分析...) # 进行查重比对阈值设为0.82 duplicates check_for_duplicates(new_paper_text, threshold0.82) # 生成报告 generate_report(duplicates, new_paper_title)运行这段代码你会在控制台看到类似这样的输出 查重报告《人工智能视觉技术的最新进展》 共发现 1 处可能重复的文本块。 【疑似重复点 1】 相似度88.50% 您论文中的段落第3段 “作为机器学习的一个关键领域深度学习利用多层次的神经网络结构来提取数据的深层特征...” 与论文《机器学习在图像识别中的应用综述》中的段落相似 “深度学习是机器学习的一个重要分支。它通过构建多层神经网络来学习数据的层次化特征表示...”看到了吗尽管两段话的用词和语序不同但我们的系统通过语义向量比对成功识别出了它们高度相似。这就是语义查重的威力。5. 回顾与思考走完整个流程我们再回头看看这个课程设计原型。它确实很简单但把几个关键点都串起来了前沿的AI模型Nomic-Embed、经典的数据库设计表结构、关系、核心的算法向量相似度计算、以及一个完整的应用闭环。对于数据库课程设计来说这个项目有几个不错的亮点贴近实际需求论文查重是学生和教师都关心的真实问题。技术栈综合涵盖了关系型数据库CRUD、文本处理、AI模型调用、数值计算等多个方面。可扩展性强这只是一个原型。你可以在此基础上做很多扩展比如性能优化当论文库很大时用专业的向量数据库如Milvus, Pinecone或支持向量索引的关系数据库如PgVector替换当前的暴力搜索。功能增强实现按章节、按参考文献查重生成更详细的重复率统计和来源分析。界面美化用Flask或Streamlit做一个简单的Web界面上传文件、点击按钮、查看报告。算法改进尝试不同的文本分块策略、相似度聚合方法如考虑重复段的连续性和分布。当然也要看到局限性。比如模型对特别专业的术语、公式的编码效果分块查重可能破坏长文的整体逻辑连贯性阈值设置需要根据实际语料反复调试等。这些都是实践中需要不断摸索和调整的地方。总的来说用Nomic-Embed-Text-V2-MoE和数据库来做论文查重原型是一个很好的技术实践。它不仅仅是为了完成一个作业更是展示了如何将最新的AI能力通过扎实的工程技术落地到一个具体的应用场景里。希望这个分享能给你的项目或学习带来一些实实在在的参考。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
![华为OD机试2025C卷-字符串变换最小次数[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率](http://pic.xiahunao.cn/yaotu/华为OD机试2025C卷-字符串变换最小次数[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率)
![华为OD机试2025C卷-内存资源分配[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率](http://pic.xiahunao.cn/yaotu/华为OD机试2025C卷-内存资源分配[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率)
