墨语灵犀多轮对话实战构建微信小程序智能客服最近在做一个电商项目客户那边提了个需求说想在小程序里加个智能客服能回答用户关于产品、订单的常见问题还能像真人一样记住聊天上下文。这需求听起来挺常见但真做起来从选模型、搭后端到对接小程序前端每一步都有不少门道。市面上现成的SaaS客服方案要么太贵要么定制性差。所以我们决定自己动手用开源的墨语灵犀大模型来搭一个。整个过程下来感觉就像搭积木把模型能力、后端逻辑和小程序界面拼在一起最终做出了一个效果还不错、成本可控的智能客服。今天我就把这个从零到一的完整过程包括踩过的坑和总结的经验跟大家详细聊聊。1. 项目概述与核心价值这个项目的目标很明确在微信小程序里做一个能理解用户意图、记住对话历史、并且能基于我们自己的业务知识比如商品库、订单系统来回答问题的智能客服。它要解决几个实际问题降低人力成本把重复、简单的咨询如“这个商品有货吗”、“我的订单到哪了”交给AI让真人客服能专注处理复杂问题。提升用户体验提供7x24小时即时响应用户不用排队等待。业务赋能客服不仅能聊天还能成为业务助手比如根据用户描述推荐商品或者查询物流状态。为什么选择墨语灵犀在选型阶段我们对比了几个开源模型。墨语灵犀吸引我们的地方在于它在中文对话上的表现比较均衡对上下文的理解和记忆能力不错而且社区活跃相关部署和优化的资料也比较多。对于智能客服这种需要多轮交互的场景这些特性很重要。整体技术栈是这样的后端大脑基于Python的FastAPI框架负责加载墨语灵犀模型、处理对话逻辑、管理上下文记忆并对外提供标准的HTTP API。AI核心智慧墨语灵犀大模型负责理解用户问题并生成回复。知识库记忆我们自己的商品信息、常见问题文档、订单数据库通过特定的技术让模型能够“读取”这些信息。前端脸面微信小程序提供聊天界面收集用户输入展示AI回复。整个系统的流程可以简单理解为用户在小程序里提问 - 小程序把问题发给我们的后端API - 后端结合对话历史和业务知识整理出提示词给墨语灵犀 - 墨语灵犀生成回答 - 后端把回答返回给小程序 - 小程序展示给用户。2. 后端API服务搭建后端是整个系统的中枢它要干三件核心事运行模型、处理对话逻辑、提供接口。我们选择用FastAPI因为它轻量、异步支持好写API特别快。2.1 环境准备与模型部署首先得把墨语灵犀模型跑起来。我们用的是基于Transformers库的加载方式这样方便后续的集成和调试。# 1. 创建项目并安装核心依赖 pip install fastapi uvicorn transformers torch sentence-transformers接下来是模型加载的代码。我们把它封装在一个单独的类里保持代码清晰。# model_handler.py from transformers import AutoTokenizer, AutoModelForCausalLM import torch class MoYuLingXiChatBot: def __init__(self, model_name_or_pathyour_path_to_moyulingxi): # 加载分词器和模型 print(正在加载墨语灵犀模型...) self.tokenizer AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_codeTrue) self.model AutoModelForCausalLM.from_pretrained( model_name_or_path, torch_dtypetorch.float16, # 使用半精度减少内存占用 device_mapauto, # 自动分配GPU/CPU trust_remote_codeTrue ) print(模型加载完毕) # 设置生成回复时的参数影响回答的创造性和长度 self.generation_config { max_new_tokens: 512, # 生成的最大长度 temperature: 0.7, # 创造性值越低回答越确定 top_p: 0.9, # 核采样影响词汇选择范围 do_sample: True, } def generate_response(self, prompt): 核心生成函数 inputs self.tokenizer(prompt, return_tensorspt).to(self.model.device) with torch.no_grad(): # 推理时不计算梯度节省内存 outputs self.model.generate( **inputs, **self.generation_config ) response self.tokenizer.decode(outputs[0], skip_special_tokensTrue) # 清理掉输入的问题只保留新生成的回复部分 response response[len(prompt):].strip() return response这里有几个实践要点device_map“auto”可以让Hugging Face的库自动判断如何使用你的GPU和CPU内存对于显存不够的机器很友好。torch_dtypetorch.float16半精度加载能显著减少模型对显存的占用大多数情况下对生成质量影响很小。generation_config里的参数需要根据实际效果微调。比如temperature调低点客服的回答会更稳定、更少“胡言乱语”。2.2 设计对话管理与上下文记忆智能客服不能是“金鱼记忆”必须能记住当前对话中说了什么。我们用一个简单的基于会话ID的字典在内存里维护上下文。生产环境可以考虑用Redis。# chat_manager.py from collections import defaultdict class ChatSessionManager: def __init__(self, max_history10): # 保存每个会话的历史记录key是session_id self.sessions defaultdict(list) self.max_history max_history # 控制保留多少轮历史对话 def get_session_history(self, session_id): 获取指定会话的历史记录 return self.sessions.get(session_id, []) def add_to_history(self, session_id, role, content): 向会话历史中添加一条记录 if session_id not in self.sessions: self.sessions[session_id] [] self.sessions[session_id].append({role: role, content: content}) # 如果历史记录太长移除最早的记录 if len(self.sessions[session_id]) self.max_history * 2: # 乘以2因为包含用户和AI两条 self.sessions[session_id] self.sessions[session_id][-self.max_history*2:] def format_history_for_prompt(self, session_id): 将历史记录格式化成模型能理解的提示文本 history self.get_session_history(session_id) prompt_parts [] for msg in history: if msg[role] user: prompt_parts.append(f用户: {msg[content]}) elif msg[role] assistant: prompt_parts.append(f助手: {msg[content]}) return \n.join(prompt_parts)2.3 集成业务知识库这是让客服变“智能”的关键。我们不可能把整个数据库塞给模型而是采用“检索增强生成”的思路先根据用户问题从知识库比如商品表、FAQ文档里找到最相关的几条信息然后把这些信息作为背景资料和用户问题一起交给模型。这里我们用简单的句子向量相似度来做检索演示。# knowledge_retriever.py from sentence_transformers import SentenceTransformer import numpy as np class SimpleKnowledgeRetriever: def __init__(self): # 加载一个轻量级的中文文本向量模型 self.encoder SentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2) # 模拟一个知识库实际这里应该从数据库或文件加载 self.knowledge_base [ {id: 1, text: 商品A是一款无线蓝牙耳机续航时间20小时售价299元。}, {id: 2, text: 商品B是一款智能手表支持心率监测和GPS售价899元。}, {id: 3, text: 订单发货后通常需要3-5个工作日送达。}, {id: 4, text: 退换货政策商品签收后7天内支持无理由退货。}, ] # 预先计算所有知识的向量 self.knowledge_vectors self.encoder.encode([item[text] for item in self.knowledge_base]) def retrieve(self, query, top_k2): 检索与查询最相关的知识条目 query_vector self.encoder.encode(query) # 计算余弦相似度 similarities np.dot(self.knowledge_vectors, query_vector) / ( np.linalg.norm(self.knowledge_vectors, axis1) * np.linalg.norm(query_vector) ) # 获取最相似的前top_k个索引 top_indices similarities.argsort()[-top_k:][::-1] retrieved_knowledge [self.knowledge_base[i] for i in top_indices] return retrieved_knowledge2.4 构建完整的FastAPI接口最后我们把模型、对话管理和知识检索组装起来提供一个干净的HTTP接口。# main.py from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import Optional import uuid from model_handler import MoYuLingXiChatBot from chat_manager import ChatSessionManager from knowledge_retriever import SimpleKnowledgeRetriever app FastAPI(title智能客服后端API) # 初始化各个组件 chat_bot MoYuLingXiChatBot() session_manager ChatSessionManager(max_history5) knowledge_retriever SimpleKnowledgeRetriever() class ChatRequest(BaseModel): message: str session_id: Optional[str] None # 如果没提供则创建新会话 class ChatResponse(BaseModel): reply: str session_id: str app.post(/chat, response_modelChatResponse) async def chat_with_bot(request: ChatRequest): 核心聊天接口 # 1. 处理会话ID session_id request.session_id if request.session_id else str(uuid.uuid4()) # 2. 将用户消息加入历史 session_manager.add_to_history(session_id, user, request.message) # 3. 检索相关知识 relevant_knowledge knowledge_retriever.retrieve(request.message) knowledge_text \n.join([item[text] for item in relevant_knowledge]) # 4. 构建完整的提示词 history_text session_manager.format_history_for_prompt(session_id) system_prompt f你是一个专业的电商客服助手。请根据以下已知信息用友好、专业、简洁的语气回答用户的问题。 如果已知信息不足以回答问题请如实告知用户你不知道不要编造信息。 已知信息 {knowledge_text} 当前对话历史 {history_text} 用户: {request.message} 助手: # 5. 调用模型生成回复 try: ai_reply chat_bot.generate_response(system_prompt) except Exception as e: raise HTTPException(status_code500, detailf模型生成失败: {str(e)}) # 6. 将AI回复加入历史并返回 session_manager.add_to_history(session_id, assistant, ai_reply) return ChatResponse(replyai_reply, session_idsession_id) if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)启动服务后一个具备多轮对话和知识查询能力的智能客服后端就准备好了。你可以用http://localhost:8000/docs访问自动生成的API文档进行测试。3. 微信小程序前端开发后端准备好了接下来就是让用户能用的界面。微信小程序开发工具上手很快我们主要实现一个简洁的聊天界面。3.1 小程序页面布局与样式我们先设计一个经典的聊天界面结构上方是聊天记录区域下方是输入框和发送按钮。!-- pages/chat/chat.wxml -- view classchat-container !-- 聊天消息区域 -- scroll-view classmessage-list scroll-y scroll-into-view{{scrollToView}} scroll-with-animation block wx:for{{messages}} wx:keyindex !-- 用户消息 -- view wx:if{{item.role user}} classmessage-row user-row view classmessage-bubble user-bubble{{item.content}}/view /view !-- AI消息 -- view wx:elif{{item.role assistant}} classmessage-row assistant-row view classmessage-bubble assistant-bubble{{item.content}}/view /view /block view idbottom-anchor/view /scroll-view !-- 输入区域 -- view classinput-area input classinput-box value{{inputMessage}} bindinputonInput placeholder请输入您的问题... bindconfirmsendMessage focus{{autoFocus}} / button classsend-btn bindtapsendMessage disabled{{sending}} {{sending ? 发送中... : 发送}} /button /view /view样式方面尽量做得清爽一点区分开用户和客服的消息。/* pages/chat/chat.wxss */ .chat-container { height: 100vh; display: flex; flex-direction: column; background-color: #f5f5f5; } .message-list { flex: 1; padding: 20rpx; overflow: auto; } .message-row { margin-bottom: 30rpx; display: flex; } .user-row { justify-content: flex-end; } .assistant-row { justify-content: flex-start; } .message-bubble { max-width: 70%; padding: 20rpx 30rpx; border-radius: 16rpx; line-height: 1.5; word-wrap: break-word; } .user-bubble { background-color: #07c160; color: white; border-bottom-right-radius: 4rpx; } .assistant-bubble { background-color: white; color: #333; border-bottom-left-radius: 4rpx; box-shadow: 0 2rpx 12rpx rgba(0,0,0,0.1); } .input-area { display: flex; padding: 20rpx; background-color: white; border-top: 1rpx solid #eee; align-items: center; } .input-box { flex: 1; border: 1rpx solid #ddd; border-radius: 40rpx; padding: 20rpx 30rpx; margin-right: 20rpx; font-size: 28rpx; } .send-btn { background-color: #07c160; color: white; border-radius: 40rpx; padding: 0 40rpx; height: 80rpx; line-height: 80rpx; font-size: 28rpx; } .send-btn[disabled] { background-color: #ccc; }3.2 实现聊天逻辑与API调用小程序的逻辑层负责处理用户输入、调用后端API、更新聊天界面。// pages/chat/chat.js Page({ data: { messages: [], // 聊天记录 inputMessage: , // 输入框内容 sending: false, // 是否正在发送 sessionId: , // 当前会话ID scrollToView: bottom-anchor, // 用于滚动到底部 autoFocus: true }, onLoad: function() { // 尝试从本地存储获取已有的sessionId保证多轮对话连续性 let sessionId wx.getStorageSync(chat_session_id); if (!sessionId) { sessionId this.generateSessionId(); wx.setStorageSync(chat_session_id, sessionId); } this.setData({ sessionId }); // 可以在这里初始化一条欢迎消息 this.addMessage(assistant, 您好我是智能客服请问有什么可以帮您); }, // 生成一个简单的会话ID generateSessionId: function() { return session_ Date.now() _ Math.random().toString(36).substr(2, 9); }, // 输入框内容变化 onInput: function(e) { this.setData({ inputMessage: e.detail.value }); }, // 发送消息 sendMessage: function() { const message this.data.inputMessage.trim(); if (!message || this.data.sending) return; // 1. 清空输入框添加用户消息到界面 this.setData({ inputMessage: , sending: true }); this.addMessage(user, message); // 2. 调用后端API const that this; wx.request({ url: https://your-backend-domain.com/chat, // 替换为你的后端地址 method: POST, header: { content-type: application/json }, data: { message: message, session_id: this.data.sessionId }, success(res) { if (res.statusCode 200) { // 添加AI回复到界面 that.addMessage(assistant, res.data.reply); // 更新sessionId如果是新会话 if (res.data.session_id res.data.session_id ! that.data.sessionId) { that.setData({ sessionId: res.data.session_id }); wx.setStorageSync(chat_session_id, res.data.session_id); } } else { that.addMessage(assistant, 抱歉服务暂时不可用请稍后再试。); console.error(API请求失败:, res); } }, fail(err) { that.addMessage(assistant, 网络连接失败请检查网络设置。); console.error(请求失败:, err); }, complete() { that.setData({ sending: false }); that.scrollToBottom(); } }); }, // 添加消息到列表 addMessage: function(role, content) { const newMessage { role, content }; this.setData({ messages: [...this.data.messages, newMessage] }); // 短暂延迟后滚动到底部 setTimeout(() { this.scrollToBottom(); }, 50); }, // 滚动到底部 scrollToBottom: function() { this.setData({ scrollToView: bottom-anchor }); } });3.3 配置与真机调试在开发过程中有几点需要注意域名配置微信小程序要求所有网络请求的域名都必须在小程序管理后台的“开发设置”中配置到“服务器域名”列表中。你需要将你的后端API地址如https://your-backend-domain.com配置进去。HTTPS小程序要求所有请求必须是HTTPS协议确保你的后端服务支持SSL。真机调试在开发者工具中测试通过后一定要用“真机调试”功能在手机上测试因为真机的网络环境可能与开发工具不同。4. 项目优化与部署建议一个能跑起来的demo和一个稳定可用的服务之间还有不少距离。下面是一些让这个项目更健壮、更实用的优化方向。4.1 性能与稳定性优化模型推理加速如果响应速度是瓶颈可以考虑使用更快的推理库如vLLM或TGI它们专门为大规模语言模型的高吞吐量推理而设计。上下文管理优化我们目前用内存存储对话历史服务器重启就没了。生产环境应该用Redis或数据库来持久化存储并且要考虑设置对话的过期时间。异步处理FastAPI本身支持异步确保你的模型调用如果是同步的不会阻塞整个事件循环。可以考虑将耗时的模型调用放到后台任务队列如Celery中处理通过WebSocket或轮询向小程序返回结果。限流与降级在API层面添加限流例如使用slowapi防止恶意请求。当模型服务不可用时要有降级策略比如返回预设的兜底回答。4.2 增强客服业务能力更精准的知识检索我们之前的简单向量检索可以升级为更专业的RAG检索增强生成管道。使用更好的嵌入模型对知识进行分块、索引并加入元数据过滤例如只检索“退换货政策”相关的知识。意图识别与路由在调用大模型之前可以先用一个轻量级的意图分类模型判断用户想干什么查询订单、咨询商品、投诉建议。根据不同的意图采用不同的处理策略或调用不同的知识库。与业务系统对接真正的“查询订单状态”需要后端API能够根据用户信息从小程序登录态获取去查询真实的订单数据库并将结果格式化后喂给模型让模型组织成自然语言回复。这需要更复杂的后端集成。4.3 安全与隐私考量输入输出过滤对用户输入和模型输出进行安全检查过滤敏感词、防止Prompt注入攻击。数据隐私对话日志中可能包含用户个人信息。确保日志脱敏并遵守相关的数据隐私法规。访问控制API接口应设置认证机制如API Key、JWT确保只有你的小程序可以调用。4.4 部署上线后端部署你可以将FastAPI应用打包成Docker容器然后部署到云服务器如腾讯云CVM或容器服务如腾讯云TKE上。使用Nginx作为反向代理处理SSL和负载均衡。小程序发布完成开发和测试后在微信小程序后台提交代码审核审核通过后即可发布上线。5. 总结与展望走完这一整套流程从模型选型、后端搭建、知识库连接到小程序前端开发一个具备基本多轮对话和业务知识查询能力的智能客服系统就初具雏形了。用墨语灵犀这类开源模型来自建方案最大的好处是可控性和定制性非常强你可以根据自己业务的独特需求去调整提示词、优化知识检索逻辑而不受制于第三方服务的功能边界。在实际开发中我觉得有几个地方特别值得花时间一是提示词工程怎么设计系统提示能让模型更稳定、更符合客服身份二是知识检索的准确性这直接决定了回答的专业程度三是前后端交互的稳定性和错误处理毕竟网络环境复杂要给用户友好的反馈。目前这个版本还有很多可以深化的地方。比如可以引入更细粒度的对话状态管理让客服能主动引导用户澄清问题或者加入情感分析在用户表达不满时切换至人工客服。随着模型能力的进化未来甚至可以实现语音交互、多模态识别用户发张图问商品等更丰富的功能。如果你正打算为你的小程序添加智能交互能力希望这篇从零开始的实战记录能提供一个清晰的路线图。从简单的原型开始逐步迭代你会发现把AI能力融入实际应用并没有想象中那么遥不可及。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
墨语灵犀多轮对话实战：构建微信小程序智能客服
发布时间：2026/6/15 10:01:43
墨语灵犀多轮对话实战构建微信小程序智能客服最近在做一个电商项目客户那边提了个需求说想在小程序里加个智能客服能回答用户关于产品、订单的常见问题还能像真人一样记住聊天上下文。这需求听起来挺常见但真做起来从选模型、搭后端到对接小程序前端每一步都有不少门道。市面上现成的SaaS客服方案要么太贵要么定制性差。所以我们决定自己动手用开源的墨语灵犀大模型来搭一个。整个过程下来感觉就像搭积木把模型能力、后端逻辑和小程序界面拼在一起最终做出了一个效果还不错、成本可控的智能客服。今天我就把这个从零到一的完整过程包括踩过的坑和总结的经验跟大家详细聊聊。1. 项目概述与核心价值这个项目的目标很明确在微信小程序里做一个能理解用户意图、记住对话历史、并且能基于我们自己的业务知识比如商品库、订单系统来回答问题的智能客服。它要解决几个实际问题降低人力成本把重复、简单的咨询如“这个商品有货吗”、“我的订单到哪了”交给AI让真人客服能专注处理复杂问题。提升用户体验提供7x24小时即时响应用户不用排队等待。业务赋能客服不仅能聊天还能成为业务助手比如根据用户描述推荐商品或者查询物流状态。为什么选择墨语灵犀在选型阶段我们对比了几个开源模型。墨语灵犀吸引我们的地方在于它在中文对话上的表现比较均衡对上下文的理解和记忆能力不错而且社区活跃相关部署和优化的资料也比较多。对于智能客服这种需要多轮交互的场景这些特性很重要。整体技术栈是这样的后端大脑基于Python的FastAPI框架负责加载墨语灵犀模型、处理对话逻辑、管理上下文记忆并对外提供标准的HTTP API。AI核心智慧墨语灵犀大模型负责理解用户问题并生成回复。知识库记忆我们自己的商品信息、常见问题文档、订单数据库通过特定的技术让模型能够“读取”这些信息。前端脸面微信小程序提供聊天界面收集用户输入展示AI回复。整个系统的流程可以简单理解为用户在小程序里提问 - 小程序把问题发给我们的后端API - 后端结合对话历史和业务知识整理出提示词给墨语灵犀 - 墨语灵犀生成回答 - 后端把回答返回给小程序 - 小程序展示给用户。2. 后端API服务搭建后端是整个系统的中枢它要干三件核心事运行模型、处理对话逻辑、提供接口。我们选择用FastAPI因为它轻量、异步支持好写API特别快。2.1 环境准备与模型部署首先得把墨语灵犀模型跑起来。我们用的是基于Transformers库的加载方式这样方便后续的集成和调试。# 1. 创建项目并安装核心依赖 pip install fastapi uvicorn transformers torch sentence-transformers接下来是模型加载的代码。我们把它封装在一个单独的类里保持代码清晰。# model_handler.py from transformers import AutoTokenizer, AutoModelForCausalLM import torch class MoYuLingXiChatBot: def __init__(self, model_name_or_pathyour_path_to_moyulingxi): # 加载分词器和模型 print(正在加载墨语灵犀模型...) self.tokenizer AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_codeTrue) self.model AutoModelForCausalLM.from_pretrained( model_name_or_path, torch_dtypetorch.float16, # 使用半精度减少内存占用 device_mapauto, # 自动分配GPU/CPU trust_remote_codeTrue ) print(模型加载完毕) # 设置生成回复时的参数影响回答的创造性和长度 self.generation_config { max_new_tokens: 512, # 生成的最大长度 temperature: 0.7, # 创造性值越低回答越确定 top_p: 0.9, # 核采样影响词汇选择范围 do_sample: True, } def generate_response(self, prompt): 核心生成函数 inputs self.tokenizer(prompt, return_tensorspt).to(self.model.device) with torch.no_grad(): # 推理时不计算梯度节省内存 outputs self.model.generate( **inputs, **self.generation_config ) response self.tokenizer.decode(outputs[0], skip_special_tokensTrue) # 清理掉输入的问题只保留新生成的回复部分 response response[len(prompt):].strip() return response这里有几个实践要点device_map“auto”可以让Hugging Face的库自动判断如何使用你的GPU和CPU内存对于显存不够的机器很友好。torch_dtypetorch.float16半精度加载能显著减少模型对显存的占用大多数情况下对生成质量影响很小。generation_config里的参数需要根据实际效果微调。比如temperature调低点客服的回答会更稳定、更少“胡言乱语”。2.2 设计对话管理与上下文记忆智能客服不能是“金鱼记忆”必须能记住当前对话中说了什么。我们用一个简单的基于会话ID的字典在内存里维护上下文。生产环境可以考虑用Redis。# chat_manager.py from collections import defaultdict class ChatSessionManager: def __init__(self, max_history10): # 保存每个会话的历史记录key是session_id self.sessions defaultdict(list) self.max_history max_history # 控制保留多少轮历史对话 def get_session_history(self, session_id): 获取指定会话的历史记录 return self.sessions.get(session_id, []) def add_to_history(self, session_id, role, content): 向会话历史中添加一条记录 if session_id not in self.sessions: self.sessions[session_id] [] self.sessions[session_id].append({role: role, content: content}) # 如果历史记录太长移除最早的记录 if len(self.sessions[session_id]) self.max_history * 2: # 乘以2因为包含用户和AI两条 self.sessions[session_id] self.sessions[session_id][-self.max_history*2:] def format_history_for_prompt(self, session_id): 将历史记录格式化成模型能理解的提示文本 history self.get_session_history(session_id) prompt_parts [] for msg in history: if msg[role] user: prompt_parts.append(f用户: {msg[content]}) elif msg[role] assistant: prompt_parts.append(f助手: {msg[content]}) return \n.join(prompt_parts)2.3 集成业务知识库这是让客服变“智能”的关键。我们不可能把整个数据库塞给模型而是采用“检索增强生成”的思路先根据用户问题从知识库比如商品表、FAQ文档里找到最相关的几条信息然后把这些信息作为背景资料和用户问题一起交给模型。这里我们用简单的句子向量相似度来做检索演示。# knowledge_retriever.py from sentence_transformers import SentenceTransformer import numpy as np class SimpleKnowledgeRetriever: def __init__(self): # 加载一个轻量级的中文文本向量模型 self.encoder SentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2) # 模拟一个知识库实际这里应该从数据库或文件加载 self.knowledge_base [ {id: 1, text: 商品A是一款无线蓝牙耳机续航时间20小时售价299元。}, {id: 2, text: 商品B是一款智能手表支持心率监测和GPS售价899元。}, {id: 3, text: 订单发货后通常需要3-5个工作日送达。}, {id: 4, text: 退换货政策商品签收后7天内支持无理由退货。}, ] # 预先计算所有知识的向量 self.knowledge_vectors self.encoder.encode([item[text] for item in self.knowledge_base]) def retrieve(self, query, top_k2): 检索与查询最相关的知识条目 query_vector self.encoder.encode(query) # 计算余弦相似度 similarities np.dot(self.knowledge_vectors, query_vector) / ( np.linalg.norm(self.knowledge_vectors, axis1) * np.linalg.norm(query_vector) ) # 获取最相似的前top_k个索引 top_indices similarities.argsort()[-top_k:][::-1] retrieved_knowledge [self.knowledge_base[i] for i in top_indices] return retrieved_knowledge2.4 构建完整的FastAPI接口最后我们把模型、对话管理和知识检索组装起来提供一个干净的HTTP接口。# main.py from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import Optional import uuid from model_handler import MoYuLingXiChatBot from chat_manager import ChatSessionManager from knowledge_retriever import SimpleKnowledgeRetriever app FastAPI(title智能客服后端API) # 初始化各个组件 chat_bot MoYuLingXiChatBot() session_manager ChatSessionManager(max_history5) knowledge_retriever SimpleKnowledgeRetriever() class ChatRequest(BaseModel): message: str session_id: Optional[str] None # 如果没提供则创建新会话 class ChatResponse(BaseModel): reply: str session_id: str app.post(/chat, response_modelChatResponse) async def chat_with_bot(request: ChatRequest): 核心聊天接口 # 1. 处理会话ID session_id request.session_id if request.session_id else str(uuid.uuid4()) # 2. 将用户消息加入历史 session_manager.add_to_history(session_id, user, request.message) # 3. 检索相关知识 relevant_knowledge knowledge_retriever.retrieve(request.message) knowledge_text \n.join([item[text] for item in relevant_knowledge]) # 4. 构建完整的提示词 history_text session_manager.format_history_for_prompt(session_id) system_prompt f你是一个专业的电商客服助手。请根据以下已知信息用友好、专业、简洁的语气回答用户的问题。 如果已知信息不足以回答问题请如实告知用户你不知道不要编造信息。 已知信息 {knowledge_text} 当前对话历史 {history_text} 用户: {request.message} 助手: # 5. 调用模型生成回复 try: ai_reply chat_bot.generate_response(system_prompt) except Exception as e: raise HTTPException(status_code500, detailf模型生成失败: {str(e)}) # 6. 将AI回复加入历史并返回 session_manager.add_to_history(session_id, assistant, ai_reply) return ChatResponse(replyai_reply, session_idsession_id) if __name__ __main__: import uvicorn uvicorn.run(app, host0.0.0.0, port8000)启动服务后一个具备多轮对话和知识查询能力的智能客服后端就准备好了。你可以用http://localhost:8000/docs访问自动生成的API文档进行测试。3. 微信小程序前端开发后端准备好了接下来就是让用户能用的界面。微信小程序开发工具上手很快我们主要实现一个简洁的聊天界面。3.1 小程序页面布局与样式我们先设计一个经典的聊天界面结构上方是聊天记录区域下方是输入框和发送按钮。!-- pages/chat/chat.wxml -- view classchat-container !-- 聊天消息区域 -- scroll-view classmessage-list scroll-y scroll-into-view{{scrollToView}} scroll-with-animation block wx:for{{messages}} wx:keyindex !-- 用户消息 -- view wx:if{{item.role user}} classmessage-row user-row view classmessage-bubble user-bubble{{item.content}}/view /view !-- AI消息 -- view wx:elif{{item.role assistant}} classmessage-row assistant-row view classmessage-bubble assistant-bubble{{item.content}}/view /view /block view idbottom-anchor/view /scroll-view !-- 输入区域 -- view classinput-area input classinput-box value{{inputMessage}} bindinputonInput placeholder请输入您的问题... bindconfirmsendMessage focus{{autoFocus}} / button classsend-btn bindtapsendMessage disabled{{sending}} {{sending ? 发送中... : 发送}} /button /view /view样式方面尽量做得清爽一点区分开用户和客服的消息。/* pages/chat/chat.wxss */ .chat-container { height: 100vh; display: flex; flex-direction: column; background-color: #f5f5f5; } .message-list { flex: 1; padding: 20rpx; overflow: auto; } .message-row { margin-bottom: 30rpx; display: flex; } .user-row { justify-content: flex-end; } .assistant-row { justify-content: flex-start; } .message-bubble { max-width: 70%; padding: 20rpx 30rpx; border-radius: 16rpx; line-height: 1.5; word-wrap: break-word; } .user-bubble { background-color: #07c160; color: white; border-bottom-right-radius: 4rpx; } .assistant-bubble { background-color: white; color: #333; border-bottom-left-radius: 4rpx; box-shadow: 0 2rpx 12rpx rgba(0,0,0,0.1); } .input-area { display: flex; padding: 20rpx; background-color: white; border-top: 1rpx solid #eee; align-items: center; } .input-box { flex: 1; border: 1rpx solid #ddd; border-radius: 40rpx; padding: 20rpx 30rpx; margin-right: 20rpx; font-size: 28rpx; } .send-btn { background-color: #07c160; color: white; border-radius: 40rpx; padding: 0 40rpx; height: 80rpx; line-height: 80rpx; font-size: 28rpx; } .send-btn[disabled] { background-color: #ccc; }3.2 实现聊天逻辑与API调用小程序的逻辑层负责处理用户输入、调用后端API、更新聊天界面。// pages/chat/chat.js Page({ data: { messages: [], // 聊天记录 inputMessage: , // 输入框内容 sending: false, // 是否正在发送 sessionId: , // 当前会话ID scrollToView: bottom-anchor, // 用于滚动到底部 autoFocus: true }, onLoad: function() { // 尝试从本地存储获取已有的sessionId保证多轮对话连续性 let sessionId wx.getStorageSync(chat_session_id); if (!sessionId) { sessionId this.generateSessionId(); wx.setStorageSync(chat_session_id, sessionId); } this.setData({ sessionId }); // 可以在这里初始化一条欢迎消息 this.addMessage(assistant, 您好我是智能客服请问有什么可以帮您); }, // 生成一个简单的会话ID generateSessionId: function() { return session_ Date.now() _ Math.random().toString(36).substr(2, 9); }, // 输入框内容变化 onInput: function(e) { this.setData({ inputMessage: e.detail.value }); }, // 发送消息 sendMessage: function() { const message this.data.inputMessage.trim(); if (!message || this.data.sending) return; // 1. 清空输入框添加用户消息到界面 this.setData({ inputMessage: , sending: true }); this.addMessage(user, message); // 2. 调用后端API const that this; wx.request({ url: https://your-backend-domain.com/chat, // 替换为你的后端地址 method: POST, header: { content-type: application/json }, data: { message: message, session_id: this.data.sessionId }, success(res) { if (res.statusCode 200) { // 添加AI回复到界面 that.addMessage(assistant, res.data.reply); // 更新sessionId如果是新会话 if (res.data.session_id res.data.session_id ! that.data.sessionId) { that.setData({ sessionId: res.data.session_id }); wx.setStorageSync(chat_session_id, res.data.session_id); } } else { that.addMessage(assistant, 抱歉服务暂时不可用请稍后再试。); console.error(API请求失败:, res); } }, fail(err) { that.addMessage(assistant, 网络连接失败请检查网络设置。); console.error(请求失败:, err); }, complete() { that.setData({ sending: false }); that.scrollToBottom(); } }); }, // 添加消息到列表 addMessage: function(role, content) { const newMessage { role, content }; this.setData({ messages: [...this.data.messages, newMessage] }); // 短暂延迟后滚动到底部 setTimeout(() { this.scrollToBottom(); }, 50); }, // 滚动到底部 scrollToBottom: function() { this.setData({ scrollToView: bottom-anchor }); } });3.3 配置与真机调试在开发过程中有几点需要注意域名配置微信小程序要求所有网络请求的域名都必须在小程序管理后台的“开发设置”中配置到“服务器域名”列表中。你需要将你的后端API地址如https://your-backend-domain.com配置进去。HTTPS小程序要求所有请求必须是HTTPS协议确保你的后端服务支持SSL。真机调试在开发者工具中测试通过后一定要用“真机调试”功能在手机上测试因为真机的网络环境可能与开发工具不同。4. 项目优化与部署建议一个能跑起来的demo和一个稳定可用的服务之间还有不少距离。下面是一些让这个项目更健壮、更实用的优化方向。4.1 性能与稳定性优化模型推理加速如果响应速度是瓶颈可以考虑使用更快的推理库如vLLM或TGI它们专门为大规模语言模型的高吞吐量推理而设计。上下文管理优化我们目前用内存存储对话历史服务器重启就没了。生产环境应该用Redis或数据库来持久化存储并且要考虑设置对话的过期时间。异步处理FastAPI本身支持异步确保你的模型调用如果是同步的不会阻塞整个事件循环。可以考虑将耗时的模型调用放到后台任务队列如Celery中处理通过WebSocket或轮询向小程序返回结果。限流与降级在API层面添加限流例如使用slowapi防止恶意请求。当模型服务不可用时要有降级策略比如返回预设的兜底回答。4.2 增强客服业务能力更精准的知识检索我们之前的简单向量检索可以升级为更专业的RAG检索增强生成管道。使用更好的嵌入模型对知识进行分块、索引并加入元数据过滤例如只检索“退换货政策”相关的知识。意图识别与路由在调用大模型之前可以先用一个轻量级的意图分类模型判断用户想干什么查询订单、咨询商品、投诉建议。根据不同的意图采用不同的处理策略或调用不同的知识库。与业务系统对接真正的“查询订单状态”需要后端API能够根据用户信息从小程序登录态获取去查询真实的订单数据库并将结果格式化后喂给模型让模型组织成自然语言回复。这需要更复杂的后端集成。4.3 安全与隐私考量输入输出过滤对用户输入和模型输出进行安全检查过滤敏感词、防止Prompt注入攻击。数据隐私对话日志中可能包含用户个人信息。确保日志脱敏并遵守相关的数据隐私法规。访问控制API接口应设置认证机制如API Key、JWT确保只有你的小程序可以调用。4.4 部署上线后端部署你可以将FastAPI应用打包成Docker容器然后部署到云服务器如腾讯云CVM或容器服务如腾讯云TKE上。使用Nginx作为反向代理处理SSL和负载均衡。小程序发布完成开发和测试后在微信小程序后台提交代码审核审核通过后即可发布上线。5. 总结与展望走完这一整套流程从模型选型、后端搭建、知识库连接到小程序前端开发一个具备基本多轮对话和业务知识查询能力的智能客服系统就初具雏形了。用墨语灵犀这类开源模型来自建方案最大的好处是可控性和定制性非常强你可以根据自己业务的独特需求去调整提示词、优化知识检索逻辑而不受制于第三方服务的功能边界。在实际开发中我觉得有几个地方特别值得花时间一是提示词工程怎么设计系统提示能让模型更稳定、更符合客服身份二是知识检索的准确性这直接决定了回答的专业程度三是前后端交互的稳定性和错误处理毕竟网络环境复杂要给用户友好的反馈。目前这个版本还有很多可以深化的地方。比如可以引入更细粒度的对话状态管理让客服能主动引导用户澄清问题或者加入情感分析在用户表达不满时切换至人工客服。随着模型能力的进化未来甚至可以实现语音交互、多模态识别用户发张图问商品等更丰富的功能。如果你正打算为你的小程序添加智能交互能力希望这篇从零开始的实战记录能提供一个清晰的路线图。从简单的原型开始逐步迭代你会发现把AI能力融入实际应用并没有想象中那么遥不可及。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
