GTESeqGPT多场景落地支持API服务化、Web界面集成与CLI命令调用1. 引言从模型到应用就差一个“接口”你手头有两个不错的AI模型一个擅长理解中文意思GTE一个能根据指令生成文字SeqGPT。单独看它们都是好工具。但问题来了怎么才能让不懂代码的业务同事、或者想快速验证想法的产品经理也能方便地用上它们呢这就是我们今天要解决的问题。本文将带你一步步把一个“藏在代码里”的AI项目变成一个支持三种调用方式的实用系统API服务让其他程序能通过网络请求调用。Web界面让非技术人员通过浏览器点点鼠标就能用。CLI命令让开发者或运维在命令行里快速测试和集成。无论你是想快速搭建一个内部工具还是为你的AI能力寻找更灵活的交付方式这篇文章都能给你一套完整的、可落地的方案。我们会从最基础的代码开始逐步升级最终让你看到一个功能完备的AI应用雏形。2. 项目回顾与多接口改造思路在开始改造之前我们先快速回顾一下原始项目的核心。2.1 原始项目核心功能原始项目基于两个模型GTE-Chinese-Large一个中文语义向量模型。简单说它能把一句话变成一串数字向量然后通过计算这些数字的“距离”来判断两句话意思是否相近。这构成了我们“智能搜索”的基础。SeqGPT-560m一个轻量化的文本生成模型。虽然只有5.6亿参数但经过指令微调后它能理解“写个标题”、“总结一下”这样的任务并生成相应的文字。原来的三个演示脚本main.py,vivid_search.py,vivid_gen.py已经证明了这两个模型在代码层面能跑通。但它们就像两个独立的“发动机”我们需要给它们装上“方向盘”、“油门踏板”和“仪表盘”让不同的人都能来驾驶。2.2 多接口架构设计我们的目标不是重写核心的AI推理逻辑而是为它包裹上不同的“外壳”。核心思路是抽象与封装抽象核心服务将GTE的向量化、相似度计算以及SeqGPT的文本生成封装成独立的、可复用的函数或类。这是所有接口的“心脏”。构建接口层API层使用像FastAPI这样的框架将核心服务函数映射到HTTP端点如/api/search,/api/generate。Web层使用简单的HTML/JS前端通过调用后端的API为用户提供图形化界面。CLI层使用像argparse或click这样的库将核心服务包装成命令行工具接受参数并输出结果。统一配置与管理确保所有接口共享相同的模型路径、配置参数便于维护。这样做的好处是无论未来需求如何变化我们只需要维护一套核心的AI逻辑而接口层可以独立扩展或替换。3. 第一步构建统一的AI核心服务在创建各种花哨的接口之前我们先得把“发动机”保养好并把它安装到一个标准的位置上。我们创建一个新的模块core_service.py。# core_service.py import torch from transformers import AutoModel, AutoTokenizer from typing import List, Dict, Any import numpy as np from numpy.linalg import norm class AICoreService: AI核心服务封装GTE向量化和SeqGPT生成功能 def __init__(self, gte_model_path: str, seqgpt_model_path: str): 初始化加载两个模型。 注意在实际部署中这部分加载可能比较耗时建议做成单例或服务常驻。 self.device torch.device(cuda if torch.cuda.is_available() else cpu) print(f正在加载模型到设备: {self.device}) # 加载GTE模型和分词器用于语义向量化 self.gte_tokenizer AutoTokenizer.from_pretrained(gte_model_path) self.gte_model AutoModel.from_pretrained(gte_model_path).to(self.device) self.gte_model.eval() # 加载SeqGPT模型和分词器用于文本生成 self.seqgpt_tokenizer AutoTokenizer.from_pretrained(seqgpt_model_path) self.seqgpt_model AutoModel.from_pretrained(seqgpt_model_path).to(self.device) self.seqgpt_model.eval() print(模型加载完毕) def get_embedding(self, text: str) - np.ndarray: 获取单句文本的语义向量 inputs self.gte_tokenizer(text, return_tensorspt, paddingTrue, truncationTrue).to(self.device) with torch.no_grad(): outputs self.gte_model(**inputs) # 取[CLS]位置的向量作为句子表示并转移到CPU转为numpy数组 embedding outputs.last_hidden_state[:, 0, :].cpu().numpy() return embedding[0] # 去掉batch维度 def semantic_search(self, query: str, corpus: List[str], top_k: int 3) - List[Dict[str, Any]]: 语义搜索在知识库corpus中查找与查询句query最相似的句子。 返回包含相似句子和分数的列表。 query_vec self.get_embedding(query) corpus_vecs np.array([self.get_embedding(sent) for sent in corpus]) # 计算余弦相似度 query_norm norm(query_vec) corpus_norms norm(corpus_vecs, axis1) similarities np.dot(corpus_vecs, query_vec) / (corpus_norms * query_norm) # 获取Top-K结果 top_indices np.argsort(similarities)[::-1][:top_k] results [] for idx in top_indices: results.append({ text: corpus[idx], score: float(similarities[idx]), # 转换为Python float类型 rank: len(results) 1 }) return results def generate_text(self, instruction: str, input_text: str ) - str: 根据指令和输入文本生成内容。 使用简单的Prompt模板[指令]{instruction}[输入]{input_text}[输出] prompt f[指令]{instruction}\n[输入]{input_text}\n[输出] inputs self.seqgpt_tokenizer(prompt, return_tensorspt, truncationTrue, max_length512).to(self.device) with torch.no_grad(): outputs self.seqgpt_model.generate( **inputs, max_new_tokens128, # 控制生成长度 do_sampleTrue, # 使用采样使输出更多样 temperature0.7, # 控制随机性 top_p0.9 # 核采样提高生成质量 ) generated_text self.seqgpt_tokenizer.decode(outputs[0], skip_special_tokensTrue) # 只提取“输出”之后的部分 output_prefix [输出] if output_prefix in generated_text: return generated_text.split(output_prefix)[-1].strip() else: return generated_text[len(prompt):].strip() # 退回策略 # 全局实例方便其他模块导入使用简易单例模式 # 注意实际生产环境可能需要更完善的资源管理 _model_paths { gte: ~/.cache/modelscope/hub/models/iic/nlp_gte_sentence-embedding_chinese-large, seqgpt: ~/.cache/modelscope/hub/models/iic/nlp_seqgpt-560m } ai_service AICoreService(_model_paths[gte], _model_paths[seqgpt])这个AICoreService类做了几件关键事统一初始化一次性加载两个模型管理设备GPU/CPU。提供原子操作get_embedding向量化、semantic_search语义搜索、generate_text文本生成成为了三个清晰的基础功能。隐藏复杂性模型加载、tokenizer处理、向量计算等细节都被封装起来对外提供简单的函数接口。有了这个坚实的核心我们就可以像搭积木一样快速构建上层的各种接口了。4. 第二步打造RESTful API服务FastAPI现在让我们给核心服务装上第一个“接口”一个可以通过HTTP请求调用的API。我们选择FastAPI因为它简单、快速并且能自动生成漂亮的交互式文档。# api_server.py from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import List, Optional import uvicorn from core_service import ai_service # 导入我们刚才写好的核心服务 app FastAPI( titleGTESeqGPT AI服务API, description提供语义搜索和轻量化文本生成的API接口, version1.0.0 ) # 定义API请求和响应的数据模型Schema class SearchRequest(BaseModel): query: str corpus: List[str] top_k: Optional[int] 3 class SearchResult(BaseModel): text: str score: float rank: int class GenerateRequest(BaseModel): instruction: str input_text: Optional[str] class GenerateResponse(BaseModel): generated_text: str app.get(/) async def root(): API根目录返回基础信息 return { service: GTESeqGPT AI Service, version: 1.0, endpoints: { search: /api/search (POST), generate: /api/generate (POST), docs: /docs (GET) } } app.post(/api/search, response_modelList[SearchResult]) async def semantic_search(request: SearchRequest): 语义搜索接口。 - **query**: 你的查询问题。 - **corpus**: 知识库文本列表。 - **top_k**: 返回最相似的结果数量默认为3。 try: results ai_service.semantic_search(request.query, request.corpus, request.top_k) return results except Exception as e: raise HTTPException(status_code500, detailf搜索过程中发生错误: {str(e)}) app.post(/api/generate, response_modelGenerateResponse) async def generate_text(request: GenerateRequest): 文本生成接口。 - **instruction**: 生成指令如“写一个标题”。 - **input_text**: (可选) 输入的文本内容。 try: generated ai_service.generate_text(request.instruction, request.input_text) return GenerateResponse(generated_textgenerated) except Exception as e: raise HTTPException(status_code500, detailf文本生成过程中发生错误: {str(e)}) if __name__ __main__: # 启动服务器默认监听本地8000端口 uvicorn.run(app, host0.0.0.0, port8000)这个API服务器提供了两个核心端点POST /api/search接收一个查询语句和一个知识库列表返回语义最相似的Top-K结果。POST /api/generate接收一个指令和可选的输入文本返回生成的文本。如何运行和测试保存文件为api_server.py。在终端运行python api_server.py。打开浏览器访问http://127.0.0.1:8000/docs。你会看到一个自动生成的交互式API文档Swagger UI可以直接在页面上填写参数并调用接口非常方便测试。API的优势标准化任何能发送HTTP请求的程序Python、Java、JavaScript、Go等都可以调用。易于集成可以轻松嵌入到现有的Web应用、移动App或自动化脚本中。独立部署可以将API服务器部署在内网或云服务器上供多方使用。5. 第三步开发用户友好的Web界面GradioAPI很好但对非开发者不友好。接下来我们用一个更直观的方式——Web界面。这里我们选用Gradio它可以用极少的代码快速构建机器学习模型的交互界面。# web_ui.py import gradio as gr from core_service import ai_service # 模拟一个简单的知识库实际应用中可以从数据库或文件加载 DEMO_KNOWLEDGE_BASE [ Python是一种解释型、高级、通用的编程语言。, 深度学习是机器学习的一个分支它使用多层神经网络。, FastAPI是一个用于构建API的现代、快速高性能的Web框架。, GPU图形处理器擅长并行计算常用于加速深度学习训练。, 北京是中国的首都是一座历史文化名城。, 咖啡是一种由烘焙咖啡豆制成的饮料含有咖啡因。 ] def search_demo(query: str, top_k: int): 语义搜索演示函数 if not query.strip(): return 请输入查询内容。 results ai_service.semantic_search(query, DEMO_KNOWLEDGE_BASE, top_k) # 格式化输出结果 output_lines [f查询**{query}**\n] output_lines.append(f在{len(DEMO_KNOWLEDGE_BASE)}条知识中找到最相关的{top_k}条\n) for res in results: output_lines.append(f{res[rank]}. **相似度 {res[score]:.4f}**{res[text]}) return \n.join(output_lines) def generate_demo(instruction: str, input_text: str): 文本生成演示函数 if not instruction.strip(): return 请输入生成指令。 generated ai_service.generate_text(instruction, input_text) return generated # 使用Gradio构建界面 with gr.Blocks(titleGTESeqGPT 演示平台, themegr.themes.Soft()) as demo: gr.Markdown(# GTESeqGPT 多能力演示平台) gr.Markdown(体验语义搜索与轻量化文本生成。) with gr.Tab( 语义搜索): gr.Markdown(### 智能知识库检索) gr.Markdown(输入你的问题AI会从预设知识库中找出**意思最接近**的答案而非简单匹配关键词。) with gr.Row(): with gr.Column(scale2): search_query gr.Textbox(label请输入你的问题, placeholder例如哪种编程语言好用, lines2) top_k_slider gr.Slider(minimum1, maximum6, value3, step1, label返回结果数量 (Top-K)) search_btn gr.Button(开始搜索, variantprimary) with gr.Column(scale3): search_output gr.Markdown(label搜索结果) search_btn.click(fnsearch_demo, inputs[search_query, top_k_slider], outputssearch_output) gr.Examples( examples[机器学习是什么, 什么硬件能加速计算, 推荐一种提神饮料。], inputssearch_query ) with gr.Tab(✍️ 文本生成): gr.Markdown(### 轻量化指令生成) gr.Markdown(给AI一个指令和一段输入文本让它帮你创作。) instruction_input gr.Textbox(label生成指令, placeholder例如写一个吸引人的标题, lines1) text_input gr.Textbox(label输入文本可选, placeholder例如关于人工智能未来发展的文章, lines3) gen_btn gr.Button(开始生成, variantprimary) gen_output gr.Textbox(label生成结果, lines5, interactiveFalse) gen_btn.click(fngenerate_demo, inputs[instruction_input, text_input], outputsgen_output) gr.Examples( examples[ [总结以下内容, 深度学习需要大量的数据和计算资源...], [将以下文字改写得正式一些, 这个功能太牛了大家快来试试] ], inputs[instruction_input, text_input], label试试这些例子 ) gr.Markdown(---) gr.Markdown(**技术栈**GTE-Chinese-Large (语义向量) SeqGPT-560m (文本生成) | 界面由Gradio构建) # 启动Web界面 if __name__ __main__: demo.launch(server_name0.0.0.0, server_port7860, shareFalse) # shareTrue可生成临时公网链接这个Web界面有什么特点分页标签清晰地将“语义搜索”和“文本生成”两个功能分开。交互式组件文本框、滑块、按钮、示例让操作直观简单。即时反馈点击按钮结果立刻显示在下方。开箱即用运行python web_ui.py就会在本地启动一个Web服务器。打开浏览器访问http://127.0.0.1:7860就能看到界面。Web界面的优势零代码使用产品、运营、测试等任何角色都可以直接使用。快速原型验证在开发早期就能看到效果方便收集反馈。易于演示非常适合向领导、客户或合作伙伴展示项目成果。6. 第四步提供高效的CLI命令行工具最后我们为喜欢在终端里工作的开发者和运维人员提供一个命令行工具。它轻量、快捷易于集成到自动化脚本中。# cli_tool.py import argparse import sys import json from core_service import ai_service def search_command(args): 处理搜索命令 # 知识库可以从文件读取这里简单处理为从参数传入的列表 # 假设知识库以分号分隔或者从文件读取这里演示从参数读取列表 if args.corpus_file: with open(args.corpus_file, r, encodingutf-8) as f: # 假设文件每行是一条知识 corpus [line.strip() for line in f if line.strip()] else: # 或者直接通过命令行参数传递用逗号分隔实际使用可能需转义这里简化 corpus args.corpus if isinstance(corpus, str): corpus [item.strip() for item in corpus.split(,) if item.strip()] if not corpus: print(错误知识库为空。请通过 --corpus 或 --corpus-file 提供。, filesys.stderr) sys.exit(1) results ai_service.semantic_search(args.query, corpus, args.top_k) if args.format json: print(json.dumps(results, ensure_asciiFalse, indent2)) else: # plain text print(f查询: {args.query}) print(f在 {len(corpus)} 条知识中检索到 {len(results)} 条结果:) for i, res in enumerate(results, 1): print(f{i}. [相似度: {res[score]:.4f}] {res[text]}) def generate_command(args): 处理生成命令 generated ai_service.generate_text(args.instruction, args.input_text or ) print(generated) def main(): parser argparse.ArgumentParser( descriptionGTESeqGPT 命令行工具, formatter_classargparse.RawDescriptionHelpFormatter, epilog 示例: %(prog)s search --query 什么是AI --corpus 人工智能是...;机器学习是... %(prog)s search --query 编程语言 --corpus-file knowledge.txt --top-k 5 %(prog)s generate --instruction 写一首诗 --input-text 关于春天 %(prog)s generate --instruction 总结 --input-text $(cat article.txt) ) subparsers parser.add_subparsers(destcommand, requiredTrue, help子命令) # 搜索子命令 parser_search subparsers.add_parser(search, help执行语义搜索) parser_search.add_argument(--query, -q, requiredTrue, help查询语句) parser_search.add_argument(--corpus, -c, nargs, help知识库文本列表用空格分隔复杂内容建议用文件) parser_search.add_argument(--corpus-file, -f, help包含知识库文本的文件路径每行一条) parser_search.add_argument(--top-k, -k, typeint, default3, help返回最相似的结果数量) parser_search.add_argument(--format, choices[text, json], defaulttext, help输出格式) parser_search.set_defaults(funcsearch_command) # 生成子命令 parser_gen subparsers.add_parser(generate, help执行文本生成) parser_gen.add_argument(--instruction, -i, requiredTrue, help生成指令) parser_gen.add_argument(--input-text, -t, help输入的文本内容可选) parser_gen.set_defaults(funcgenerate_command) args parser.parse_args() args.func(args) # 调用对应的处理函数 if __name__ __main__: main()如何使用这个CLI工具# 1. 语义搜索直接提供知识库 python cli_tool.py search --query 哪种硬件适合并行计算 --corpus CPU是中央处理器 GPU是图形处理器 内存用于临时存储 # 2. 语义搜索从文件读取知识库 # 假设 knowledge.txt 每行是一条知识 python cli_tool.py search --query 什么是深度学习 --corpus-file knowledge.txt --top-k 5 # 3. 文本生成 python cli_tool.py generate --instruction 写一个邮件主题 --input-text 通知团队下周项目评审会 # 4. 以JSON格式输出便于其他程序解析 python cli_tool.py search --query 咖啡 --corpus 茶是一种饮品 咖啡含有咖啡因 --format jsonCLI工具的优势自动化友好可以轻松嵌入到Shell脚本、CI/CD流水线或定时任务中。资源消耗低没有Web服务器或图形界面的开销。便于调试在服务器上快速测试模型功能查看原始输出。7. 总结从原型到产品的关键一步通过以上三个步骤我们成功地将一个纯粹的AI模型演示项目升级成了一个具备多接口调用能力的准生产级应用。我们来回顾一下这个转变的价值1. 核心价值灵活性对内开发/运维CLI工具提供了最直接的集成和调试方式。对外其他系统API服务提供了标准化的系统集成接口。对人非技术用户Web界面提供了零门槛的交互体验。2. 工程意义解耦与复用我们将AI能力core_service.py与交互方式API、Web、CLI彻底解耦。这意味着你可以单独优化AI模型的核心逻辑而不影响上层接口。你可以随时增加新的接口比如微信机器人、Slack插件而无需重写AI部分。不同的接口可以部署在不同的环境中适应不同的需求。3. 给你的实践建议从简单开始如果你的用户主要是技术人员可以先实现CLI和API。如果需要演示或给非技术人员用加上Web界面。关注性能AICoreService中模型加载是耗时的。在生产环境中你需要考虑使用模型预热、服务常驻如使用Uvicorn的workers或模型服务化框架如Triton Inference Server来优化。完善功能本文提供的是核心骨架。你可以在此基础上增加更多功能例如知识库管理为搜索功能增加数据库支持实现知识的增删改查。对话历史为生成功能增加上下文记忆实现多轮对话。用户认证与限流在API服务中增加安全性控制。更精美的UI用Vue/React重写前端替代Gradio。技术的价值在于应用。将强大的AI模型封装成易用的服务是让技术产生实际价值的关键一步。希望这个从“模型代码”到“多接口服务”的实战指南能为你接下来的项目提供清晰的路径和实用的代码参考。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
GTE+SeqGPT多场景落地：支持API服务化、Web界面集成与CLI命令调用
发布时间：2026/7/4 22:02:50
GTESeqGPT多场景落地支持API服务化、Web界面集成与CLI命令调用1. 引言从模型到应用就差一个“接口”你手头有两个不错的AI模型一个擅长理解中文意思GTE一个能根据指令生成文字SeqGPT。单独看它们都是好工具。但问题来了怎么才能让不懂代码的业务同事、或者想快速验证想法的产品经理也能方便地用上它们呢这就是我们今天要解决的问题。本文将带你一步步把一个“藏在代码里”的AI项目变成一个支持三种调用方式的实用系统API服务让其他程序能通过网络请求调用。Web界面让非技术人员通过浏览器点点鼠标就能用。CLI命令让开发者或运维在命令行里快速测试和集成。无论你是想快速搭建一个内部工具还是为你的AI能力寻找更灵活的交付方式这篇文章都能给你一套完整的、可落地的方案。我们会从最基础的代码开始逐步升级最终让你看到一个功能完备的AI应用雏形。2. 项目回顾与多接口改造思路在开始改造之前我们先快速回顾一下原始项目的核心。2.1 原始项目核心功能原始项目基于两个模型GTE-Chinese-Large一个中文语义向量模型。简单说它能把一句话变成一串数字向量然后通过计算这些数字的“距离”来判断两句话意思是否相近。这构成了我们“智能搜索”的基础。SeqGPT-560m一个轻量化的文本生成模型。虽然只有5.6亿参数但经过指令微调后它能理解“写个标题”、“总结一下”这样的任务并生成相应的文字。原来的三个演示脚本main.py,vivid_search.py,vivid_gen.py已经证明了这两个模型在代码层面能跑通。但它们就像两个独立的“发动机”我们需要给它们装上“方向盘”、“油门踏板”和“仪表盘”让不同的人都能来驾驶。2.2 多接口架构设计我们的目标不是重写核心的AI推理逻辑而是为它包裹上不同的“外壳”。核心思路是抽象与封装抽象核心服务将GTE的向量化、相似度计算以及SeqGPT的文本生成封装成独立的、可复用的函数或类。这是所有接口的“心脏”。构建接口层API层使用像FastAPI这样的框架将核心服务函数映射到HTTP端点如/api/search,/api/generate。Web层使用简单的HTML/JS前端通过调用后端的API为用户提供图形化界面。CLI层使用像argparse或click这样的库将核心服务包装成命令行工具接受参数并输出结果。统一配置与管理确保所有接口共享相同的模型路径、配置参数便于维护。这样做的好处是无论未来需求如何变化我们只需要维护一套核心的AI逻辑而接口层可以独立扩展或替换。3. 第一步构建统一的AI核心服务在创建各种花哨的接口之前我们先得把“发动机”保养好并把它安装到一个标准的位置上。我们创建一个新的模块core_service.py。# core_service.py import torch from transformers import AutoModel, AutoTokenizer from typing import List, Dict, Any import numpy as np from numpy.linalg import norm class AICoreService: AI核心服务封装GTE向量化和SeqGPT生成功能 def __init__(self, gte_model_path: str, seqgpt_model_path: str): 初始化加载两个模型。 注意在实际部署中这部分加载可能比较耗时建议做成单例或服务常驻。 self.device torch.device(cuda if torch.cuda.is_available() else cpu) print(f正在加载模型到设备: {self.device}) # 加载GTE模型和分词器用于语义向量化 self.gte_tokenizer AutoTokenizer.from_pretrained(gte_model_path) self.gte_model AutoModel.from_pretrained(gte_model_path).to(self.device) self.gte_model.eval() # 加载SeqGPT模型和分词器用于文本生成 self.seqgpt_tokenizer AutoTokenizer.from_pretrained(seqgpt_model_path) self.seqgpt_model AutoModel.from_pretrained(seqgpt_model_path).to(self.device) self.seqgpt_model.eval() print(模型加载完毕) def get_embedding(self, text: str) - np.ndarray: 获取单句文本的语义向量 inputs self.gte_tokenizer(text, return_tensorspt, paddingTrue, truncationTrue).to(self.device) with torch.no_grad(): outputs self.gte_model(**inputs) # 取[CLS]位置的向量作为句子表示并转移到CPU转为numpy数组 embedding outputs.last_hidden_state[:, 0, :].cpu().numpy() return embedding[0] # 去掉batch维度 def semantic_search(self, query: str, corpus: List[str], top_k: int 3) - List[Dict[str, Any]]: 语义搜索在知识库corpus中查找与查询句query最相似的句子。 返回包含相似句子和分数的列表。 query_vec self.get_embedding(query) corpus_vecs np.array([self.get_embedding(sent) for sent in corpus]) # 计算余弦相似度 query_norm norm(query_vec) corpus_norms norm(corpus_vecs, axis1) similarities np.dot(corpus_vecs, query_vec) / (corpus_norms * query_norm) # 获取Top-K结果 top_indices np.argsort(similarities)[::-1][:top_k] results [] for idx in top_indices: results.append({ text: corpus[idx], score: float(similarities[idx]), # 转换为Python float类型 rank: len(results) 1 }) return results def generate_text(self, instruction: str, input_text: str ) - str: 根据指令和输入文本生成内容。 使用简单的Prompt模板[指令]{instruction}[输入]{input_text}[输出] prompt f[指令]{instruction}\n[输入]{input_text}\n[输出] inputs self.seqgpt_tokenizer(prompt, return_tensorspt, truncationTrue, max_length512).to(self.device) with torch.no_grad(): outputs self.seqgpt_model.generate( **inputs, max_new_tokens128, # 控制生成长度 do_sampleTrue, # 使用采样使输出更多样 temperature0.7, # 控制随机性 top_p0.9 # 核采样提高生成质量 ) generated_text self.seqgpt_tokenizer.decode(outputs[0], skip_special_tokensTrue) # 只提取“输出”之后的部分 output_prefix [输出] if output_prefix in generated_text: return generated_text.split(output_prefix)[-1].strip() else: return generated_text[len(prompt):].strip() # 退回策略 # 全局实例方便其他模块导入使用简易单例模式 # 注意实际生产环境可能需要更完善的资源管理 _model_paths { gte: ~/.cache/modelscope/hub/models/iic/nlp_gte_sentence-embedding_chinese-large, seqgpt: ~/.cache/modelscope/hub/models/iic/nlp_seqgpt-560m } ai_service AICoreService(_model_paths[gte], _model_paths[seqgpt])这个AICoreService类做了几件关键事统一初始化一次性加载两个模型管理设备GPU/CPU。提供原子操作get_embedding向量化、semantic_search语义搜索、generate_text文本生成成为了三个清晰的基础功能。隐藏复杂性模型加载、tokenizer处理、向量计算等细节都被封装起来对外提供简单的函数接口。有了这个坚实的核心我们就可以像搭积木一样快速构建上层的各种接口了。4. 第二步打造RESTful API服务FastAPI现在让我们给核心服务装上第一个“接口”一个可以通过HTTP请求调用的API。我们选择FastAPI因为它简单、快速并且能自动生成漂亮的交互式文档。# api_server.py from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import List, Optional import uvicorn from core_service import ai_service # 导入我们刚才写好的核心服务 app FastAPI( titleGTESeqGPT AI服务API, description提供语义搜索和轻量化文本生成的API接口, version1.0.0 ) # 定义API请求和响应的数据模型Schema class SearchRequest(BaseModel): query: str corpus: List[str] top_k: Optional[int] 3 class SearchResult(BaseModel): text: str score: float rank: int class GenerateRequest(BaseModel): instruction: str input_text: Optional[str] class GenerateResponse(BaseModel): generated_text: str app.get(/) async def root(): API根目录返回基础信息 return { service: GTESeqGPT AI Service, version: 1.0, endpoints: { search: /api/search (POST), generate: /api/generate (POST), docs: /docs (GET) } } app.post(/api/search, response_modelList[SearchResult]) async def semantic_search(request: SearchRequest): 语义搜索接口。 - **query**: 你的查询问题。 - **corpus**: 知识库文本列表。 - **top_k**: 返回最相似的结果数量默认为3。 try: results ai_service.semantic_search(request.query, request.corpus, request.top_k) return results except Exception as e: raise HTTPException(status_code500, detailf搜索过程中发生错误: {str(e)}) app.post(/api/generate, response_modelGenerateResponse) async def generate_text(request: GenerateRequest): 文本生成接口。 - **instruction**: 生成指令如“写一个标题”。 - **input_text**: (可选) 输入的文本内容。 try: generated ai_service.generate_text(request.instruction, request.input_text) return GenerateResponse(generated_textgenerated) except Exception as e: raise HTTPException(status_code500, detailf文本生成过程中发生错误: {str(e)}) if __name__ __main__: # 启动服务器默认监听本地8000端口 uvicorn.run(app, host0.0.0.0, port8000)这个API服务器提供了两个核心端点POST /api/search接收一个查询语句和一个知识库列表返回语义最相似的Top-K结果。POST /api/generate接收一个指令和可选的输入文本返回生成的文本。如何运行和测试保存文件为api_server.py。在终端运行python api_server.py。打开浏览器访问http://127.0.0.1:8000/docs。你会看到一个自动生成的交互式API文档Swagger UI可以直接在页面上填写参数并调用接口非常方便测试。API的优势标准化任何能发送HTTP请求的程序Python、Java、JavaScript、Go等都可以调用。易于集成可以轻松嵌入到现有的Web应用、移动App或自动化脚本中。独立部署可以将API服务器部署在内网或云服务器上供多方使用。5. 第三步开发用户友好的Web界面GradioAPI很好但对非开发者不友好。接下来我们用一个更直观的方式——Web界面。这里我们选用Gradio它可以用极少的代码快速构建机器学习模型的交互界面。# web_ui.py import gradio as gr from core_service import ai_service # 模拟一个简单的知识库实际应用中可以从数据库或文件加载 DEMO_KNOWLEDGE_BASE [ Python是一种解释型、高级、通用的编程语言。, 深度学习是机器学习的一个分支它使用多层神经网络。, FastAPI是一个用于构建API的现代、快速高性能的Web框架。, GPU图形处理器擅长并行计算常用于加速深度学习训练。, 北京是中国的首都是一座历史文化名城。, 咖啡是一种由烘焙咖啡豆制成的饮料含有咖啡因。 ] def search_demo(query: str, top_k: int): 语义搜索演示函数 if not query.strip(): return 请输入查询内容。 results ai_service.semantic_search(query, DEMO_KNOWLEDGE_BASE, top_k) # 格式化输出结果 output_lines [f查询**{query}**\n] output_lines.append(f在{len(DEMO_KNOWLEDGE_BASE)}条知识中找到最相关的{top_k}条\n) for res in results: output_lines.append(f{res[rank]}. **相似度 {res[score]:.4f}**{res[text]}) return \n.join(output_lines) def generate_demo(instruction: str, input_text: str): 文本生成演示函数 if not instruction.strip(): return 请输入生成指令。 generated ai_service.generate_text(instruction, input_text) return generated # 使用Gradio构建界面 with gr.Blocks(titleGTESeqGPT 演示平台, themegr.themes.Soft()) as demo: gr.Markdown(# GTESeqGPT 多能力演示平台) gr.Markdown(体验语义搜索与轻量化文本生成。) with gr.Tab( 语义搜索): gr.Markdown(### 智能知识库检索) gr.Markdown(输入你的问题AI会从预设知识库中找出**意思最接近**的答案而非简单匹配关键词。) with gr.Row(): with gr.Column(scale2): search_query gr.Textbox(label请输入你的问题, placeholder例如哪种编程语言好用, lines2) top_k_slider gr.Slider(minimum1, maximum6, value3, step1, label返回结果数量 (Top-K)) search_btn gr.Button(开始搜索, variantprimary) with gr.Column(scale3): search_output gr.Markdown(label搜索结果) search_btn.click(fnsearch_demo, inputs[search_query, top_k_slider], outputssearch_output) gr.Examples( examples[机器学习是什么, 什么硬件能加速计算, 推荐一种提神饮料。], inputssearch_query ) with gr.Tab(✍️ 文本生成): gr.Markdown(### 轻量化指令生成) gr.Markdown(给AI一个指令和一段输入文本让它帮你创作。) instruction_input gr.Textbox(label生成指令, placeholder例如写一个吸引人的标题, lines1) text_input gr.Textbox(label输入文本可选, placeholder例如关于人工智能未来发展的文章, lines3) gen_btn gr.Button(开始生成, variantprimary) gen_output gr.Textbox(label生成结果, lines5, interactiveFalse) gen_btn.click(fngenerate_demo, inputs[instruction_input, text_input], outputsgen_output) gr.Examples( examples[ [总结以下内容, 深度学习需要大量的数据和计算资源...], [将以下文字改写得正式一些, 这个功能太牛了大家快来试试] ], inputs[instruction_input, text_input], label试试这些例子 ) gr.Markdown(---) gr.Markdown(**技术栈**GTE-Chinese-Large (语义向量) SeqGPT-560m (文本生成) | 界面由Gradio构建) # 启动Web界面 if __name__ __main__: demo.launch(server_name0.0.0.0, server_port7860, shareFalse) # shareTrue可生成临时公网链接这个Web界面有什么特点分页标签清晰地将“语义搜索”和“文本生成”两个功能分开。交互式组件文本框、滑块、按钮、示例让操作直观简单。即时反馈点击按钮结果立刻显示在下方。开箱即用运行python web_ui.py就会在本地启动一个Web服务器。打开浏览器访问http://127.0.0.1:7860就能看到界面。Web界面的优势零代码使用产品、运营、测试等任何角色都可以直接使用。快速原型验证在开发早期就能看到效果方便收集反馈。易于演示非常适合向领导、客户或合作伙伴展示项目成果。6. 第四步提供高效的CLI命令行工具最后我们为喜欢在终端里工作的开发者和运维人员提供一个命令行工具。它轻量、快捷易于集成到自动化脚本中。# cli_tool.py import argparse import sys import json from core_service import ai_service def search_command(args): 处理搜索命令 # 知识库可以从文件读取这里简单处理为从参数传入的列表 # 假设知识库以分号分隔或者从文件读取这里演示从参数读取列表 if args.corpus_file: with open(args.corpus_file, r, encodingutf-8) as f: # 假设文件每行是一条知识 corpus [line.strip() for line in f if line.strip()] else: # 或者直接通过命令行参数传递用逗号分隔实际使用可能需转义这里简化 corpus args.corpus if isinstance(corpus, str): corpus [item.strip() for item in corpus.split(,) if item.strip()] if not corpus: print(错误知识库为空。请通过 --corpus 或 --corpus-file 提供。, filesys.stderr) sys.exit(1) results ai_service.semantic_search(args.query, corpus, args.top_k) if args.format json: print(json.dumps(results, ensure_asciiFalse, indent2)) else: # plain text print(f查询: {args.query}) print(f在 {len(corpus)} 条知识中检索到 {len(results)} 条结果:) for i, res in enumerate(results, 1): print(f{i}. [相似度: {res[score]:.4f}] {res[text]}) def generate_command(args): 处理生成命令 generated ai_service.generate_text(args.instruction, args.input_text or ) print(generated) def main(): parser argparse.ArgumentParser( descriptionGTESeqGPT 命令行工具, formatter_classargparse.RawDescriptionHelpFormatter, epilog 示例: %(prog)s search --query 什么是AI --corpus 人工智能是...;机器学习是... %(prog)s search --query 编程语言 --corpus-file knowledge.txt --top-k 5 %(prog)s generate --instruction 写一首诗 --input-text 关于春天 %(prog)s generate --instruction 总结 --input-text $(cat article.txt) ) subparsers parser.add_subparsers(destcommand, requiredTrue, help子命令) # 搜索子命令 parser_search subparsers.add_parser(search, help执行语义搜索) parser_search.add_argument(--query, -q, requiredTrue, help查询语句) parser_search.add_argument(--corpus, -c, nargs, help知识库文本列表用空格分隔复杂内容建议用文件) parser_search.add_argument(--corpus-file, -f, help包含知识库文本的文件路径每行一条) parser_search.add_argument(--top-k, -k, typeint, default3, help返回最相似的结果数量) parser_search.add_argument(--format, choices[text, json], defaulttext, help输出格式) parser_search.set_defaults(funcsearch_command) # 生成子命令 parser_gen subparsers.add_parser(generate, help执行文本生成) parser_gen.add_argument(--instruction, -i, requiredTrue, help生成指令) parser_gen.add_argument(--input-text, -t, help输入的文本内容可选) parser_gen.set_defaults(funcgenerate_command) args parser.parse_args() args.func(args) # 调用对应的处理函数 if __name__ __main__: main()如何使用这个CLI工具# 1. 语义搜索直接提供知识库 python cli_tool.py search --query 哪种硬件适合并行计算 --corpus CPU是中央处理器 GPU是图形处理器 内存用于临时存储 # 2. 语义搜索从文件读取知识库 # 假设 knowledge.txt 每行是一条知识 python cli_tool.py search --query 什么是深度学习 --corpus-file knowledge.txt --top-k 5 # 3. 文本生成 python cli_tool.py generate --instruction 写一个邮件主题 --input-text 通知团队下周项目评审会 # 4. 以JSON格式输出便于其他程序解析 python cli_tool.py search --query 咖啡 --corpus 茶是一种饮品 咖啡含有咖啡因 --format jsonCLI工具的优势自动化友好可以轻松嵌入到Shell脚本、CI/CD流水线或定时任务中。资源消耗低没有Web服务器或图形界面的开销。便于调试在服务器上快速测试模型功能查看原始输出。7. 总结从原型到产品的关键一步通过以上三个步骤我们成功地将一个纯粹的AI模型演示项目升级成了一个具备多接口调用能力的准生产级应用。我们来回顾一下这个转变的价值1. 核心价值灵活性对内开发/运维CLI工具提供了最直接的集成和调试方式。对外其他系统API服务提供了标准化的系统集成接口。对人非技术用户Web界面提供了零门槛的交互体验。2. 工程意义解耦与复用我们将AI能力core_service.py与交互方式API、Web、CLI彻底解耦。这意味着你可以单独优化AI模型的核心逻辑而不影响上层接口。你可以随时增加新的接口比如微信机器人、Slack插件而无需重写AI部分。不同的接口可以部署在不同的环境中适应不同的需求。3. 给你的实践建议从简单开始如果你的用户主要是技术人员可以先实现CLI和API。如果需要演示或给非技术人员用加上Web界面。关注性能AICoreService中模型加载是耗时的。在生产环境中你需要考虑使用模型预热、服务常驻如使用Uvicorn的workers或模型服务化框架如Triton Inference Server来优化。完善功能本文提供的是核心骨架。你可以在此基础上增加更多功能例如知识库管理为搜索功能增加数据库支持实现知识的增删改查。对话历史为生成功能增加上下文记忆实现多轮对话。用户认证与限流在API服务中增加安全性控制。更精美的UI用Vue/React重写前端替代Gradio。技术的价值在于应用。将强大的AI模型封装成易用的服务是让技术产生实际价值的关键一步。希望这个从“模型代码”到“多接口服务”的实战指南能为你接下来的项目提供清晰的路径和实用的代码参考。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
