nlp_gte_sentence-embedding_chinese-large部署教程Jupyter7860端口Web访问全步骤你是不是遇到过这样的问题手里有一堆文档想快速找到和某个问题最相关的内容却只能靠关键词搜索结果要么漏掉重要信息要么搜出一堆不相关的内容或者你想把用户的问题和知识库里的答案自动匹配起来但简单的文字匹配总是差那么点意思今天我要给你介绍一个能彻底解决这些问题的“神器”——GTE中文向量模型。它就像一个超级智能的文本理解专家能把任何一段话变成一个高维度的“数字指纹”。有了这个指纹你就能做真正的语义搜索、智能问答和文档聚类了。这个教程我会手把手带你在Jupyter环境中通过7860端口把这个强大的模型部署成一个随时可用的Web服务。整个过程非常简单就算你之前没怎么接触过向量模型也能跟着一步步搞定。1. 认识你的新工具GTE中文向量模型在开始动手之前我们先花几分钟搞清楚我们要部署的到底是个什么东西它能帮你做什么。1.1 GTE是什么为什么选它GTE全称是General Text Embeddings你可以把它理解为一个“文本转数字”的专家。它由阿里达摩院推出最大的特点就是专门为中文优化过。想象一下你让模型理解“苹果”这个词。一个普通的模型可能分不清这指的是水果还是手机公司。但经过中文优化的GTE能结合上下文更准确地理解这个词在中文语境下的真实含义。这就是它的核心价值。它会把一段文本比如一句话、一段描述、一篇文章转换成一个1024维的向量。这个向量就是这段文本的“语义指纹”。语义相近的文本它们的“指纹”在数学空间里的距离也会很近。它的几个核心优势专为中文而生在中文文本上的理解和表示能力更强。轻量高效模型大小约621MB在保证效果的同时对算力要求相对友好。能力全面支持长达512个token的文本大约相当于250-300个汉字能处理段落级别的信息。速度快在GPU比如教程中用的RTX 4090 D上转换一条文本只需要几十毫秒。1.2 它能帮你做什么真实应用场景知道了原理我们来看看具体能用在哪儿。这绝不是个“玩具”而是能直接提升你工作效率的实用工具。告别关键词搜索实现语义搜索在你的文档库、知识库或产品库中用户输入一个问题或描述GTE能直接找到意思最接近的文档而不是仅仅包含相同关键词的文档。自动给文本“分堆”有一堆用户反馈、新闻文章或商品评论GTE可以自动计算它们之间的相似度把内容相近的自动归为一类帮你快速发现主流观点或问题类别。智能问答与匹配这是当前大模型应用RAG的核心环节。用户提问时先用GTE从海量知识库中快速、精准地检索出最相关的几段资料再交给大模型生成答案这样得到的答案既准确又有依据。内容去重与推荐判断两篇文章或两个产品描述是否在说同一件事实现智能去重。或者根据用户喜欢的内容推荐语义相似的其他内容。简单说任何需要让机器“理解”文本含义并据此进行比对、查找、分类的任务GTE都能大显身手。2. 环境准备与一键启动好了理论部分结束我们开始动手。整个部署过程被做成了“开箱即用”的镜像你几乎不需要配置任何复杂的环境。2.1 获取并启动镜像这个教程基于一个预配置好的Docker镜像。你不需要自己安装Python、PyTorch、Transformer库也不需要去下载那621MB的模型文件。所有这些都已经打包好了。获取镜像你会在相应的平台找到名为nlp_gte_sentence-embedding_chinese-large的镜像。直接点击创建或运行即可。等待启动镜像启动后系统会自动加载模型。这个过程需要大约2到5分钟请耐心等待。期间你可能会在日志中看到一些加载信息这是正常的。确认就绪如何知道它准备好了呢最直接的方式就是访问它的Web界面。2.2 找到你的访问地址关键步骤这是最重要的一步。这个模型的Web服务运行在7860端口。但通常你访问的是一个Jupyter环境。访问方法如下首先照常打开你的Jupyter Lab或Notebook的访问链接。这个链接通常是平台提供的包含一个随机生成的域名和端口比如https://gpu-pod-xxxx-8888.web.gpu.csdn.net。在浏览器地址栏里将链接中的端口号如8888直接替换成7860。按下回车。举个例子如果你的Jupyter访问地址是https://gpu-pod6971e8ad205cbf05c2f87992-8888.web.gpu.csdn.net/那么GTE模型的Web界面地址就是https://gpu-pod6971e8ad205cbf05c2f87992-7860.web.gpu.csdn.net/成功标志如果页面正常打开并且顶部显示“ 就绪 (GPU)”或“ 就绪 (CPU)”的状态那么恭喜你模型已经成功加载可以开始使用了GPU状态意味着正在使用显卡加速速度会快很多。3. 玩转Web界面三大核心功能详解打开Web界面你会看到一个简洁直观的操作面板。我们主要用它来体验和测试模型的三大核心功能。下面我逐一演示怎么用。3.1 功能一文本向量化这是最基础的功能把文字变成一串数字向量。你在哪里用当你需要把一段文本存入向量数据库比如Milvus, Pinecone时就必须先调用这个功能。怎么操作在“向量化”标签页下的输入框里填入任意一段中文或英文文本。比如“今天天气真好适合去公园散步。”点击“生成向量”或类似的按钮。你会看到什么向量维度[1, 1024]—— 这表示你得到了一个1行、1024列的数字数组这就是1024维的向量。向量预览[-0.012, 0.045, ...]—— 展示这个长向量的前几个数字让你有个直观感受。推理耗时15ms—— 告诉你生成这个向量花了多长时间可以直观感受GPU加速的速度。3.2 功能二文本相似度计算想知道两段话到底有多像用这个功能。你在哪里用比较两个句子是否表达同一个意思比如判断问答是否匹配、检查文档是否重复、评估模型生成文本与参考文本的相似度。怎么操作在“相似度计算”标签页下分别在第一和第二个输入框填入两段文本。文本A“我喜欢吃苹果。”文本B“苹果是一种美味的水果。”点击“计算相似度”。你会看到什么相似度得分0.82—— 这是一个介于0到1之间的分数越接近1表示越相似。相似程度高相似—— 界面会根据分数给出一个直观的文字评价。如何解读分数这是一个很有用的经验参考 0.75高相似。通常意味着核心语义几乎一致。0.45 - 0.75中等相似。话题相关但具体内容或角度有差异。 0.45低相似。基本不是一回事。3.3 功能三语义检索这是最强大、最实用的功能模拟了从知识库中精准查找的过程。你在哪里用构建智能客服知识库检索、文档管理系统、法律案例查询、论文查重辅助等等。怎么操作在“语义检索”标签页下找到“查询文本”Query输入框填入你的问题或想查找的关键描述。例如“如何部署Python的Flask应用”在“候选文本”的大输入框里模拟你的知识库每行放入一条候选内容。比如使用Docker可以快速部署Flask应用。 Python的pip是包管理工具。 Flask是一个轻量级的Web框架。 Nginx常用作Web服务器反向代理。设置TopK值比如2表示返回最相似的2条结果。点击“执行检索”。你会看到什么 系统会返回一个排序好的列表最上面的是与你的查询语义最匹配的候选文本。对于上面的例子它很可能会把“使用Docker可以快速部署Flask应用。”和“Flask是一个轻量级的Web框架。”排在前面并给出各自的相似度分数。而“Python的pip是包管理工具。”虽然包含Python但语义不匹配分数就会低。通过这个Web界面你可以充分测试和感受GTE模型的能力为后续的编程集成打下基础。4. 进阶使用通过Python API集成到你的项目Web界面很方便但真正要把它用起来还是得通过代码调用。别担心代码非常简单。4.1 基础调用获取文本向量首先在你的Jupyter Notebook中新建一个Python笔记本运行下面的代码。这个代码演示了如何加载模型并把文本转换成向量。# 导入必要的库 from transformers import AutoTokenizer, AutoModel import torch import numpy as np # 注意模型路径在镜像中是固定的直接使用即可 model_path /opt/gte-zh-large/model print(正在加载分词器...) tokenizer AutoTokenizer.from_pretrained(model_path) print(正在加载模型...) model AutoModel.from_pretrained(model_path).cuda() # .cuda() 表示放到GPU上运行 print(模型加载完毕) # 定义一个函数输入文本输出向量 def get_embedding(text): 将单条文本转换为向量。 参数: text: 字符串要转换的文本。 返回: 一个numpy数组形状为 (1, 1024)。 # 对文本进行分词和编码转换成模型需要的格式 inputs tokenizer(text, return_tensorspt, # 返回PyTorch张量 paddingTrue, truncationTrue, max_length512) # 模型支持的最大长度 # 将数据也放到GPU上 inputs {k: v.cuda() for k, v in inputs.items()} # 不计算梯度加快推理速度 with torch.no_grad(): outputs model(**inputs) # 取最后一层隐藏状态的第一个token[CLS]的向量作为整个句子的表示 # 然后从GPU移回CPU并转为numpy数组 sentence_embedding outputs.last_hidden_state[:, 0].cpu().numpy() return sentence_embedding # 试试看 test_text 自然语言处理是人工智能的重要方向。 vector get_embedding(test_text) print(f文本{test_text}) print(f生成的向量维度{vector.shape}) # 应该输出 (1, 1024) print(f向量前5个值{vector[0, :5]}) # 看一眼向量的前几个数字4.2 实战应用构建简易语义搜索引擎光有向量还不够我们来实现一个最简单的语义搜索功能体验一下它的威力。# 假设我们有一个小小的“知识库” knowledge_base [ 熊猫是中国的国宝主要生活在四川。, Python是一种流行的编程语言适合人工智能开发。, 故宫位于北京是明清两代的皇家宫殿。, 机器学习需要大量的数据和算力支持。, 西湖在杭州以其美丽的湖光山色闻名。 ] print(正在为知识库生成向量...) # 为知识库里的每句话生成向量并保存起来 kb_embeddings [] for sentence in knowledge_base: vec get_embedding(sentence) kb_embeddings.append(vec) # 将列表转换为一个大的numpy数组方便计算 kb_embeddings np.vstack(kb_embeddings) # 形状为 (5, 1024) print(知识库向量化完成) # 语义搜索函数 def semantic_search(query, kb_texts, kb_vectors, top_k3): 根据查询文本从知识库中找出最相似的top_k条。 参数: query: 查询文本。 kb_texts: 知识库原文列表。 kb_vectors: 知识库对应的向量数组。 top_k: 返回最相似的数量。 # 1. 将查询文本也变成向量 query_vec get_embedding(query) # 形状 (1, 1024) # 2. 计算查询向量和知识库所有向量的余弦相似度 # 余弦相似度 (A·B) / (||A|| * ||B||) from numpy.linalg import norm # 计算点积 dot_product np.dot(kb_vectors, query_vec.T).squeeze() # 计算模长 query_norm norm(query_vec) kb_norms norm(kb_vectors, axis1) # 计算相似度 similarities dot_product / (kb_norms * query_norm) # 3. 按相似度从高到低排序并取出索引 top_indices np.argsort(similarities)[::-1][:top_k] # 4. 打印结果 print(f查询 {query}) print(f返回最相似的 {top_k} 条结果) print(- * 40) for i, idx in enumerate(top_indices): print(f{i1}. [{similarities[idx]:.4f}] {kb_texts[idx]}) print() # 我们来问几个问题 semantic_search(有哪些著名的旅游景点, knowledge_base, kb_embeddings) semantic_search(关于动物保护的知识, knowledge_base, kb_embeddings) semantic_search(电脑编程相关, knowledge_base, kb_embeddings)运行这段代码你会看到即使用词不完全相同比如“旅游景点”和“西湖”、“故宫”模型也能根据语义准确地找到相关内容。这就是向量搜索的魅力。5. 服务管理与常见问题排错模型跑起来了我们还需要知道怎么管理和维护它。5.1 启动与停止服务虽然镜像启动时服务会自动加载但如果你需要手动重启服务可以通过Jupyter的终端来操作。启动服务 打开一个终端Terminal运行/opt/gte-zh-large/start.sh你会看到启动日志最终显示“模型加载完成”或类似信息。停止服务 在运行服务的终端窗口中直接按Ctrl C即可。 如果服务在后台运行可以查找并结束进程# 查找相关进程 ps aux | grep app.py # 结束进程 (假设进程ID是12345) kill 12345 # 或者强制结束所有相关进程 pkill -f app.py检查GPU状态 想知道模型是不是真的在用GPU加速在终端运行nvidia-smi这个命令会显示GPU的使用情况如果看到Python进程占用了显存那就说明GPU加速正在工作。5.2 常见问题与解决遇到问题别慌张大部分都是小情况。Q启动时刷了很多警告WARNING信息正常吗A完全正常。这些通常是某些库的版本提示或非致命性警告不影响模型的核心功能。启动脚本已经做了处理可以忽略它们。Q访问7860端口页面打不开或报错A请按顺序检查确认服务已启动完成一定要等到终端日志出现“模型加载完成”、“Running on local URL”等成功信息后再访问。确认端口号再次检查你的访问链接确保端口号已从Jupyter的端口如8888正确替换为7860。检查网络确认你的运行环境网络是通畅的。QWeb界面显示“就绪 (CPU)”是不是很慢A这表示模型在使用CPU进行推理。速度会比GPU慢不少但对于测试和小规模使用是可行的。如果环境有GPU但显示CPU可以检查CUDA驱动和PyTorch的GPU版本是否正常。Q服务器重启后需要重新部署吗A不需要重新部署镜像。但Web服务进程需要手动启动。只需像上面一样在终端中再次执行/opt/gte-zh-large/start.sh启动脚本即可。6. 总结走到这里你已经成功部署并初步掌握了GTE中文向量模型的使用。我们来回顾一下今天的收获理解了价值你知道了GTE是一个强大的中文文本向量化工具能将语义转化为可计算的距离为智能搜索、分类、匹配任务提供了基础。完成了部署你学会了如何在集成环境中通过切换至7860端口一键访问模型的开箱即用Web界面无需复杂配置。掌握了核心功能你通过Web界面实操了向量化、相似度计算和语义检索这三个核心功能并理解了它们对应的应用场景。学会了集成你掌握了通过Python代码调用模型API的方法并亲手写了一个简易的语义搜索Demo为将其集成到自己的项目中打下了基础。能够管理维护你知道了如何启动、停止服务以及如何排查一些常见问题让这个工具能稳定为你服务。这个模型就像一把钥匙为你打开了“语义理解”应用的大门。下一步你可以尝试将它与你本地的文档库结合打造一个专属的智能语义搜索工具。探索将其接入像LangChain这样的AI应用框架构建更复杂的智能体。尝试不同的向量数据库如Milvus, Chroma处理更大规模的数据。希望这篇教程能帮你顺利起步。在实际使用中多尝试多思考你会发现这个小小的模型能发挥出巨大的能量。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
nlp_gte_sentence-embedding_chinese-large部署教程：Jupyter+7860端口Web访问全步骤
发布时间：2026/7/30 9:30:17
nlp_gte_sentence-embedding_chinese-large部署教程Jupyter7860端口Web访问全步骤你是不是遇到过这样的问题手里有一堆文档想快速找到和某个问题最相关的内容却只能靠关键词搜索结果要么漏掉重要信息要么搜出一堆不相关的内容或者你想把用户的问题和知识库里的答案自动匹配起来但简单的文字匹配总是差那么点意思今天我要给你介绍一个能彻底解决这些问题的“神器”——GTE中文向量模型。它就像一个超级智能的文本理解专家能把任何一段话变成一个高维度的“数字指纹”。有了这个指纹你就能做真正的语义搜索、智能问答和文档聚类了。这个教程我会手把手带你在Jupyter环境中通过7860端口把这个强大的模型部署成一个随时可用的Web服务。整个过程非常简单就算你之前没怎么接触过向量模型也能跟着一步步搞定。1. 认识你的新工具GTE中文向量模型在开始动手之前我们先花几分钟搞清楚我们要部署的到底是个什么东西它能帮你做什么。1.1 GTE是什么为什么选它GTE全称是General Text Embeddings你可以把它理解为一个“文本转数字”的专家。它由阿里达摩院推出最大的特点就是专门为中文优化过。想象一下你让模型理解“苹果”这个词。一个普通的模型可能分不清这指的是水果还是手机公司。但经过中文优化的GTE能结合上下文更准确地理解这个词在中文语境下的真实含义。这就是它的核心价值。它会把一段文本比如一句话、一段描述、一篇文章转换成一个1024维的向量。这个向量就是这段文本的“语义指纹”。语义相近的文本它们的“指纹”在数学空间里的距离也会很近。它的几个核心优势专为中文而生在中文文本上的理解和表示能力更强。轻量高效模型大小约621MB在保证效果的同时对算力要求相对友好。能力全面支持长达512个token的文本大约相当于250-300个汉字能处理段落级别的信息。速度快在GPU比如教程中用的RTX 4090 D上转换一条文本只需要几十毫秒。1.2 它能帮你做什么真实应用场景知道了原理我们来看看具体能用在哪儿。这绝不是个“玩具”而是能直接提升你工作效率的实用工具。告别关键词搜索实现语义搜索在你的文档库、知识库或产品库中用户输入一个问题或描述GTE能直接找到意思最接近的文档而不是仅仅包含相同关键词的文档。自动给文本“分堆”有一堆用户反馈、新闻文章或商品评论GTE可以自动计算它们之间的相似度把内容相近的自动归为一类帮你快速发现主流观点或问题类别。智能问答与匹配这是当前大模型应用RAG的核心环节。用户提问时先用GTE从海量知识库中快速、精准地检索出最相关的几段资料再交给大模型生成答案这样得到的答案既准确又有依据。内容去重与推荐判断两篇文章或两个产品描述是否在说同一件事实现智能去重。或者根据用户喜欢的内容推荐语义相似的其他内容。简单说任何需要让机器“理解”文本含义并据此进行比对、查找、分类的任务GTE都能大显身手。2. 环境准备与一键启动好了理论部分结束我们开始动手。整个部署过程被做成了“开箱即用”的镜像你几乎不需要配置任何复杂的环境。2.1 获取并启动镜像这个教程基于一个预配置好的Docker镜像。你不需要自己安装Python、PyTorch、Transformer库也不需要去下载那621MB的模型文件。所有这些都已经打包好了。获取镜像你会在相应的平台找到名为nlp_gte_sentence-embedding_chinese-large的镜像。直接点击创建或运行即可。等待启动镜像启动后系统会自动加载模型。这个过程需要大约2到5分钟请耐心等待。期间你可能会在日志中看到一些加载信息这是正常的。确认就绪如何知道它准备好了呢最直接的方式就是访问它的Web界面。2.2 找到你的访问地址关键步骤这是最重要的一步。这个模型的Web服务运行在7860端口。但通常你访问的是一个Jupyter环境。访问方法如下首先照常打开你的Jupyter Lab或Notebook的访问链接。这个链接通常是平台提供的包含一个随机生成的域名和端口比如https://gpu-pod-xxxx-8888.web.gpu.csdn.net。在浏览器地址栏里将链接中的端口号如8888直接替换成7860。按下回车。举个例子如果你的Jupyter访问地址是https://gpu-pod6971e8ad205cbf05c2f87992-8888.web.gpu.csdn.net/那么GTE模型的Web界面地址就是https://gpu-pod6971e8ad205cbf05c2f87992-7860.web.gpu.csdn.net/成功标志如果页面正常打开并且顶部显示“ 就绪 (GPU)”或“ 就绪 (CPU)”的状态那么恭喜你模型已经成功加载可以开始使用了GPU状态意味着正在使用显卡加速速度会快很多。3. 玩转Web界面三大核心功能详解打开Web界面你会看到一个简洁直观的操作面板。我们主要用它来体验和测试模型的三大核心功能。下面我逐一演示怎么用。3.1 功能一文本向量化这是最基础的功能把文字变成一串数字向量。你在哪里用当你需要把一段文本存入向量数据库比如Milvus, Pinecone时就必须先调用这个功能。怎么操作在“向量化”标签页下的输入框里填入任意一段中文或英文文本。比如“今天天气真好适合去公园散步。”点击“生成向量”或类似的按钮。你会看到什么向量维度[1, 1024]—— 这表示你得到了一个1行、1024列的数字数组这就是1024维的向量。向量预览[-0.012, 0.045, ...]—— 展示这个长向量的前几个数字让你有个直观感受。推理耗时15ms—— 告诉你生成这个向量花了多长时间可以直观感受GPU加速的速度。3.2 功能二文本相似度计算想知道两段话到底有多像用这个功能。你在哪里用比较两个句子是否表达同一个意思比如判断问答是否匹配、检查文档是否重复、评估模型生成文本与参考文本的相似度。怎么操作在“相似度计算”标签页下分别在第一和第二个输入框填入两段文本。文本A“我喜欢吃苹果。”文本B“苹果是一种美味的水果。”点击“计算相似度”。你会看到什么相似度得分0.82—— 这是一个介于0到1之间的分数越接近1表示越相似。相似程度高相似—— 界面会根据分数给出一个直观的文字评价。如何解读分数这是一个很有用的经验参考 0.75高相似。通常意味着核心语义几乎一致。0.45 - 0.75中等相似。话题相关但具体内容或角度有差异。 0.45低相似。基本不是一回事。3.3 功能三语义检索这是最强大、最实用的功能模拟了从知识库中精准查找的过程。你在哪里用构建智能客服知识库检索、文档管理系统、法律案例查询、论文查重辅助等等。怎么操作在“语义检索”标签页下找到“查询文本”Query输入框填入你的问题或想查找的关键描述。例如“如何部署Python的Flask应用”在“候选文本”的大输入框里模拟你的知识库每行放入一条候选内容。比如使用Docker可以快速部署Flask应用。 Python的pip是包管理工具。 Flask是一个轻量级的Web框架。 Nginx常用作Web服务器反向代理。设置TopK值比如2表示返回最相似的2条结果。点击“执行检索”。你会看到什么 系统会返回一个排序好的列表最上面的是与你的查询语义最匹配的候选文本。对于上面的例子它很可能会把“使用Docker可以快速部署Flask应用。”和“Flask是一个轻量级的Web框架。”排在前面并给出各自的相似度分数。而“Python的pip是包管理工具。”虽然包含Python但语义不匹配分数就会低。通过这个Web界面你可以充分测试和感受GTE模型的能力为后续的编程集成打下基础。4. 进阶使用通过Python API集成到你的项目Web界面很方便但真正要把它用起来还是得通过代码调用。别担心代码非常简单。4.1 基础调用获取文本向量首先在你的Jupyter Notebook中新建一个Python笔记本运行下面的代码。这个代码演示了如何加载模型并把文本转换成向量。# 导入必要的库 from transformers import AutoTokenizer, AutoModel import torch import numpy as np # 注意模型路径在镜像中是固定的直接使用即可 model_path /opt/gte-zh-large/model print(正在加载分词器...) tokenizer AutoTokenizer.from_pretrained(model_path) print(正在加载模型...) model AutoModel.from_pretrained(model_path).cuda() # .cuda() 表示放到GPU上运行 print(模型加载完毕) # 定义一个函数输入文本输出向量 def get_embedding(text): 将单条文本转换为向量。 参数: text: 字符串要转换的文本。 返回: 一个numpy数组形状为 (1, 1024)。 # 对文本进行分词和编码转换成模型需要的格式 inputs tokenizer(text, return_tensorspt, # 返回PyTorch张量 paddingTrue, truncationTrue, max_length512) # 模型支持的最大长度 # 将数据也放到GPU上 inputs {k: v.cuda() for k, v in inputs.items()} # 不计算梯度加快推理速度 with torch.no_grad(): outputs model(**inputs) # 取最后一层隐藏状态的第一个token[CLS]的向量作为整个句子的表示 # 然后从GPU移回CPU并转为numpy数组 sentence_embedding outputs.last_hidden_state[:, 0].cpu().numpy() return sentence_embedding # 试试看 test_text 自然语言处理是人工智能的重要方向。 vector get_embedding(test_text) print(f文本{test_text}) print(f生成的向量维度{vector.shape}) # 应该输出 (1, 1024) print(f向量前5个值{vector[0, :5]}) # 看一眼向量的前几个数字4.2 实战应用构建简易语义搜索引擎光有向量还不够我们来实现一个最简单的语义搜索功能体验一下它的威力。# 假设我们有一个小小的“知识库” knowledge_base [ 熊猫是中国的国宝主要生活在四川。, Python是一种流行的编程语言适合人工智能开发。, 故宫位于北京是明清两代的皇家宫殿。, 机器学习需要大量的数据和算力支持。, 西湖在杭州以其美丽的湖光山色闻名。 ] print(正在为知识库生成向量...) # 为知识库里的每句话生成向量并保存起来 kb_embeddings [] for sentence in knowledge_base: vec get_embedding(sentence) kb_embeddings.append(vec) # 将列表转换为一个大的numpy数组方便计算 kb_embeddings np.vstack(kb_embeddings) # 形状为 (5, 1024) print(知识库向量化完成) # 语义搜索函数 def semantic_search(query, kb_texts, kb_vectors, top_k3): 根据查询文本从知识库中找出最相似的top_k条。 参数: query: 查询文本。 kb_texts: 知识库原文列表。 kb_vectors: 知识库对应的向量数组。 top_k: 返回最相似的数量。 # 1. 将查询文本也变成向量 query_vec get_embedding(query) # 形状 (1, 1024) # 2. 计算查询向量和知识库所有向量的余弦相似度 # 余弦相似度 (A·B) / (||A|| * ||B||) from numpy.linalg import norm # 计算点积 dot_product np.dot(kb_vectors, query_vec.T).squeeze() # 计算模长 query_norm norm(query_vec) kb_norms norm(kb_vectors, axis1) # 计算相似度 similarities dot_product / (kb_norms * query_norm) # 3. 按相似度从高到低排序并取出索引 top_indices np.argsort(similarities)[::-1][:top_k] # 4. 打印结果 print(f查询 {query}) print(f返回最相似的 {top_k} 条结果) print(- * 40) for i, idx in enumerate(top_indices): print(f{i1}. [{similarities[idx]:.4f}] {kb_texts[idx]}) print() # 我们来问几个问题 semantic_search(有哪些著名的旅游景点, knowledge_base, kb_embeddings) semantic_search(关于动物保护的知识, knowledge_base, kb_embeddings) semantic_search(电脑编程相关, knowledge_base, kb_embeddings)运行这段代码你会看到即使用词不完全相同比如“旅游景点”和“西湖”、“故宫”模型也能根据语义准确地找到相关内容。这就是向量搜索的魅力。5. 服务管理与常见问题排错模型跑起来了我们还需要知道怎么管理和维护它。5.1 启动与停止服务虽然镜像启动时服务会自动加载但如果你需要手动重启服务可以通过Jupyter的终端来操作。启动服务 打开一个终端Terminal运行/opt/gte-zh-large/start.sh你会看到启动日志最终显示“模型加载完成”或类似信息。停止服务 在运行服务的终端窗口中直接按Ctrl C即可。 如果服务在后台运行可以查找并结束进程# 查找相关进程 ps aux | grep app.py # 结束进程 (假设进程ID是12345) kill 12345 # 或者强制结束所有相关进程 pkill -f app.py检查GPU状态 想知道模型是不是真的在用GPU加速在终端运行nvidia-smi这个命令会显示GPU的使用情况如果看到Python进程占用了显存那就说明GPU加速正在工作。5.2 常见问题与解决遇到问题别慌张大部分都是小情况。Q启动时刷了很多警告WARNING信息正常吗A完全正常。这些通常是某些库的版本提示或非致命性警告不影响模型的核心功能。启动脚本已经做了处理可以忽略它们。Q访问7860端口页面打不开或报错A请按顺序检查确认服务已启动完成一定要等到终端日志出现“模型加载完成”、“Running on local URL”等成功信息后再访问。确认端口号再次检查你的访问链接确保端口号已从Jupyter的端口如8888正确替换为7860。检查网络确认你的运行环境网络是通畅的。QWeb界面显示“就绪 (CPU)”是不是很慢A这表示模型在使用CPU进行推理。速度会比GPU慢不少但对于测试和小规模使用是可行的。如果环境有GPU但显示CPU可以检查CUDA驱动和PyTorch的GPU版本是否正常。Q服务器重启后需要重新部署吗A不需要重新部署镜像。但Web服务进程需要手动启动。只需像上面一样在终端中再次执行/opt/gte-zh-large/start.sh启动脚本即可。6. 总结走到这里你已经成功部署并初步掌握了GTE中文向量模型的使用。我们来回顾一下今天的收获理解了价值你知道了GTE是一个强大的中文文本向量化工具能将语义转化为可计算的距离为智能搜索、分类、匹配任务提供了基础。完成了部署你学会了如何在集成环境中通过切换至7860端口一键访问模型的开箱即用Web界面无需复杂配置。掌握了核心功能你通过Web界面实操了向量化、相似度计算和语义检索这三个核心功能并理解了它们对应的应用场景。学会了集成你掌握了通过Python代码调用模型API的方法并亲手写了一个简易的语义搜索Demo为将其集成到自己的项目中打下了基础。能够管理维护你知道了如何启动、停止服务以及如何排查一些常见问题让这个工具能稳定为你服务。这个模型就像一把钥匙为你打开了“语义理解”应用的大门。下一步你可以尝试将它与你本地的文档库结合打造一个专属的智能语义搜索工具。探索将其接入像LangChain这样的AI应用框架构建更复杂的智能体。尝试不同的向量数据库如Milvus, Chroma处理更大规模的数据。希望这篇教程能帮你顺利起步。在实际使用中多尝试多思考你会发现这个小小的模型能发挥出巨大的能量。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
)
)
