Qwen1.5-1.8B GPTQ应用微信小程序自然语言交互功能开发最近在捣鼓一个微信小程序项目需要给用户提供智能问答功能。一开始想直接调用外部的大模型API但考虑到数据隐私、响应速度和成本还是决定自己部署一个轻量级的模型。试了一圈发现Qwen1.5-1.8B这个版本经过GPTQ量化后在保持不错效果的同时对资源的需求大大降低非常适合放在小程序云开发的后端跑起来。这篇文章我就来分享一下怎么把Qwen1.5-1.8B GPTQ模型塞进你的微信小程序里让它能听懂用户的话并给出有用的回答。整个过程不复杂跟着步骤走你也能拥有一个属于自己的智能对话小程序。1. 为什么选择Qwen1.5-1.8B GPTQ在做技术选型时我们主要考虑几个点模型大小、推理速度、部署成本和效果。Qwen1.5-1.8B GPTQ在这几个方面找到了一个不错的平衡点。1.8B参数意味着它是个“小个子”相比动辄几十亿、上百亿参数的大模型它对计算资源的要求友好得多。GPTQ是一种模型量化技术你可以把它理解为给模型“瘦身”在不明显损失能力的前提下大幅减少模型占用的存储空间和内存同时提升推理速度。对于微信小程序云开发环境来说资源是有限的。一个经过GPTQ量化的1.8B模型通常只需要几个GB的存储和内存就能跑起来推理速度也能满足实时交互的需求。效果上对于商品咨询、简单知识问答、内容摘要这类常见场景它已经足够聪明了。简单说选它就是图个“够用、好用、不贵”。2. 环境准备与模型部署我们计划把模型部署在微信小程序云开发的云函数里。云函数提供了容器化的运行环境正好可以跑我们的Python后端和模型。2.1 创建云开发环境与云函数首先你需要在微信开发者工具中创建一个新的小程序项目并开通云开发。这个过程微信官方文档很详细这里不赘述。开通后我们在云开发控制台创建一个新的云函数比如就叫qwen-chat。创建时运行环境选择Python 3.7或更高版本。2.2 准备模型文件我们需要获取Qwen1.5-1.8B的GPTQ量化版本。通常可以在一些模型社区找到文件格式一般是.safetensors或.bin同时还需要对应的配置文件如config.json和分词器文件tokenizer.json等。假设我们下载好的模型文件夹叫Qwen1.5-1.8B-GPTQ里面包含model.safetensors(模型权重)config.jsontokenizer.json等文件接下来我们要把这个模型文件夹上传到云函数的运行环境中。由于云函数有代码包大小限制通常50MB而模型文件可能超过这个限制所以我们需要用到云开发的静态存储。在云开发控制台打开“存储”管理页。新建一个文件夹例如models。将整个Qwen1.5-1.8B-GPTQ文件夹压缩成ZIP包注意压缩结构然后上传到这个models目录下。这样模型文件就安全地存放在云存储里了我们的云函数在运行时可以去下载并加载它。2.3 编写云函数核心代码现在我们来编写云函数qwen-chat的主文件index.py。这个函数要做几件事初始化模型、接收用户输入、调用模型生成回复、返回结果。首先我们需要定义云函数的依赖。在云函数根目录创建requirements.txt文件transformers4.35.0 torch accelerate sentencepiece然后编写index.pyimport os import json import tempfile import zipfile from typing import Dict, Any import logging # 导入必要的库 from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 初始化日志 logger logging.getLogger() logger.setLevel(logging.INFO) # 全局变量避免每次请求都重新加载模型 model None tokenizer None device torch.device(cuda if torch.cuda.is_available() else cpu) def download_and_extract_model(): 从云存储下载并解压模型文件到临时目录 # 注意这里需要云开发的SDK但云函数环境已内置 # 我们假设模型ZIP包的云存储文件ID是已知的可以通过环境变量传入 import cloud cloud.init() db cloud.database() # 实际情况中你可能需要通过其他方式获取文件ID或下载URL # 这里简化处理假设我们已经知道文件在存储中的路径 model_zip_path models/Qwen1.5-1.8B-GPTQ.zip # 示例路径 # 创建临时目录 temp_dir tempfile.mkdtemp() local_zip_path os.path.join(temp_dir, model.zip) # 这里需要实现从云存储下载文件到 local_zip_path 的逻辑 # 伪代码实际请参考微信云开发存储SDK的 download 方法 # file_id your_file_id_from_env # cloud.download_file({ # fileID: file_id, # tempFilePath: local_zip_path # }) logger.info(fModel zip downloaded to {local_zip_path}) # 解压ZIP文件 with zipfile.ZipFile(local_zip_path, r) as zip_ref: zip_ref.extractall(temp_dir) model_dir os.path.join(temp_dir, Qwen1.5-1.8B-GPTQ) logger.info(fModel extracted to {model_dir}) return model_dir def init_model(): 初始化模型和分词器 global model, tokenizer if model is not None and tokenizer is not None: logger.info(Model already loaded.) return logger.info(Starting model initialization...) model_dir download_and_extract_model() try: # 加载分词器 tokenizer AutoTokenizer.from_pretrained(model_dir, trust_remote_codeTrue) # 加载GPTQ量化模型 model AutoModelForCausalLM.from_pretrained( model_dir, torch_dtypetorch.float16 if torch.cuda.is_available() else torch.float32, device_mapauto, # 自动分配设备CPU/GPU trust_remote_codeTrue ) logger.info(Model and tokenizer loaded successfully.) except Exception as e: logger.error(fFailed to load model: {e}) raise def generate_response(prompt: str, max_length: int 512) - str: 使用模型生成回复 global model, tokenizer if model is None or tokenizer is None: init_model() # 将输入文本转换为模型可接受的格式 inputs tokenizer(prompt, return_tensorspt).to(device) # 生成回复 with torch.no_grad(): outputs model.generate( **inputs, max_new_tokensmax_length, temperature0.7, # 控制随机性值越低越确定 do_sampleTrue, top_p0.9, # 核采样使输出更多样 repetition_penalty1.1 # 避免重复 ) # 解码生成的token为文本 response tokenizer.decode(outputs[0], skip_special_tokensTrue) # 移除输入提示部分只保留新生成的回复 response response[len(prompt):].strip() return response def main_handler(event: Dict[str, Any], context: Any) - Dict[str, Any]: 云函数主入口 logger.info(Received event: %s, json.dumps(event, ensure_asciiFalse)) # 解析请求数据微信小程序云调用时数据在 event 中 request_body event.get(body, {}) try: data json.loads(request_body) except json.JSONDecodeError: data {} user_input data.get(query, ).strip() if not user_input: return { code: 400, message: Query cannot be empty., data: None } try: # 初始化模型如果尚未初始化 init_model() # 生成回复 reply generate_response(user_input) return { code: 200, message: success, data: { reply: reply } } except Exception as e: logger.error(fError during processing: {e}) return { code: 500, message: fInternal server error: {str(e)}, data: None }这段代码做了几件关键事download_and_extract_model: 从云存储获取模型压缩包并解压到临时目录。这是解决云函数包大小限制的关键。init_model: 全局初始化模型和分词器利用云函数的容器常驻内存特性避免冷启动时重复加载。generate_response: 核心的推理函数接收用户输入调用模型生成回复。main_handler: 云函数的HTTP入口处理小程序前端的请求返回JSON格式的结果。注意上述代码中的文件下载部分是伪代码实际部署时需要使用微信云开发存储的SDK进行文件下载。此外首次冷启动加载模型可能需要几十秒后续请求就会很快。你可以考虑使用云函数的“常驻实例”或预热机制来优化首次体验。3. 小程序前端与后端交互模型在后端跑起来了接下来就是让小程序前端能和它对话。3.1 封装网络请求在小程序端我们封装一个通用的函数来调用我们的云函数。在小程序的utils目录下创建一个api.js文件// utils/api.js /** * 调用智能对话云函数 * param {string} query - 用户输入的问题 * returns {PromiseObject} 返回Promise包含回复或错误信息 */ export const callQwenChat (query) { return new Promise((resolve, reject) { wx.cloud.callFunction({ name: qwen-chat, // 你的云函数名称 data: { query: query }, success: res { // 云函数返回的结构 if (res.result res.result.code 200) { resolve(res.result.data); // 成功返回数据 } else { // 处理业务逻辑错误 reject(new Error(res.result?.message || 请求失败)); } }, fail: err { // 处理网络或云函数调用失败 console.error(云函数调用失败, err); reject(new Error(网络请求失败请检查网络)); } }); }); };3.2 构建聊天界面与逻辑然后在一个页面比如pages/chat/chat中实现简单的聊天界面。WXML模板 (chat.wxml):view classchat-container !-- 消息列表 -- scroll-view classmessage-list scroll-y scroll-into-view{{msg- (messageList.length - 1)}} scroll-with-animation block wx:for{{messageList}} wx:keyindex view idmsg-{{index}} classmessage-item {{item.role}} view classavatar{{item.role user ? 你 : AI}}/view view classbubble{{item.content}}/view /view /block view wx:if{{isLoading}} classmessage-item assistant view classavatarAI/view view classbubble typing正在思考.../view /view /scroll-view !-- 输入区域 -- view classinput-area input classinput-box value{{inputValue}} bindinputonInput placeholder请输入您的问题... confirm-typesend bindconfirmsendMessage focus{{autoFocus}} / button classsend-btn bindtapsendMessage disabled{{!inputValue.trim() || isLoading}}发送/button /view /viewJS逻辑 (chat.js):// pages/chat/chat.js import { callQwenChat } from ../../utils/api.js; Page({ data: { inputValue: , messageList: [], isLoading: false, autoFocus: true }, onInput(e) { this.setData({ inputValue: e.detail.value }); }, async sendMessage() { const query this.data.inputValue.trim(); if (!query || this.data.isLoading) { return; } // 1. 清空输入框添加用户消息 this.setData({ inputValue: , messageList: [...this.data.messageList, { role: user, content: query }], isLoading: true }); try { // 2. 调用云函数 const res await callQwenChat(query); // 3. 添加AI回复 this.setData({ messageList: [...this.data.messageList, { role: assistant, content: res.reply }], isLoading: false }); } catch (error) { console.error(对话出错, error); // 4. 添加错误提示 this.setData({ messageList: [...this.data.messageList, { role: assistant, content: 抱歉我好像出错了${error.message} }], isLoading: false }); } }, onLoad() { // 可以初始化一些欢迎语 this.setData({ messageList: [{ role: assistant, content: 你好我是你的智能助手有什么可以帮你的吗 }] }); } });WXSS样式 (chat.wxss):.chat-container { height: 100vh; display: flex; flex-direction: column; background-color: #f5f5f5; } .message-list { flex: 1; padding: 20rpx; box-sizing: border-box; overflow-y: auto; } .message-item { display: flex; margin-bottom: 30rpx; align-items: flex-start; } .message-item.user { flex-direction: row-reverse; } .avatar { width: 80rpx; height: 80rpx; border-radius: 50%; background-color: #07c160; color: white; display: flex; align-items: center; justify-content: center; font-size: 28rpx; flex-shrink: 0; } .message-item.user .avatar { background-color: #10aeff; } .bubble { max-width: 500rpx; padding: 20rpx; border-radius: 12rpx; background-color: white; margin: 0 20rpx; line-height: 1.5; font-size: 32rpx; word-break: break-word; box-shadow: 0 2rpx 10rpx rgba(0,0,0,0.05); } .message-item.user .bubble { background-color: #95ec69; } .typing::after { content: ...; animation: typing 1.5s infinite; } keyframes typing { 0%, 100% { content: .; } 33% { content: ..; } 66% { content: ...; } } .input-area { display: flex; padding: 20rpx; background-color: white; border-top: 1rpx solid #eee; align-items: center; } .input-box { flex: 1; height: 80rpx; padding: 0 20rpx; border: 1rpx solid #ddd; border-radius: 40rpx; margin-right: 20rpx; font-size: 32rpx; } .send-btn { width: 140rpx; height: 80rpx; line-height: 80rpx; border-radius: 40rpx; background-color: #07c160; color: white; font-size: 32rpx; padding: 0; } .send-btn[disabled] { background-color: #cccccc; color: #999999; }这样一个具备基本对话功能的小程序页面就完成了。用户输入问题前端调用云函数云函数中的模型生成回复再返回给前端展示。4. 效果展示与优化建议部署完成后实际用起来效果怎么样我测试了几个常见场景商品咨询用户问“这款手机电池容量多大”模型能结合上下文如果之前对话提及了商品或基于通用知识给出回答。简单知识问答比如“咖啡怎么煮”能给出步骤清晰的建议。内容摘要输入一段长文本让它“用一句话总结”效果也还行。当然1.8B的模型能力有边界。对于非常专业、复杂或者需要实时联网信息的问题它可能会力不从心或者生成一些看似合理但不准确的“幻觉”内容。为了获得更好的用户体验这里有几个优化方向供你参考1. 提示词工程在用户输入前给模型加一个“系统提示”引导它更好地扮演角色。比如在云函数的generate_response里将用户输入包装一下def generate_response(user_input): system_prompt 你是一个专业的电商客服助手请用友好、简洁、准确的语言回答用户关于商品的问题。如果不知道请如实告知。 full_prompt f{system_prompt}\n\n用户{user_input}\n助手 # ... 后续生成逻辑这能显著提升回复的相关性和专业性。2. 上下文管理上面的例子是单轮对话。要实现多轮对话你需要把历史对话记录也传给模型。可以在云函数请求里带上之前的几轮问答拼接到提示词中让模型知道上下文。注意要控制总长度避免超出模型限制。3. 响应速度优化首次加载模型慢可以用云函数的“定时触发器”定期触发一个空请求让实例保持活跃预热。对于生成速度可以调整max_new_tokens生成的最大长度和temperature随机性等参数在质量和速度间权衡。4. 错误处理与降级网络超时、模型生成失败时要有友好的错误提示甚至可以考虑准备一些默认回复作为降级方案。5. 安全与审核对于面向公众的小程序务必在后端对模型的输入和输出内容进行安全过滤防止生成不当内容。5. 总结把Qwen1.5-1.8B GPTQ这样的轻量化模型集成到微信小程序里实现本地化的智能对话这条路是走得通的。整个过程的核心就是利用小程序云开发提供的云函数和云存储能力搭建一个轻量、可控的后端服务。最大的好处是数据可控、响应快、成本相对较低。虽然模型能力比不上顶尖的大模型但对于很多垂直、简单的交互场景来说已经完全够用甚至能做出特色。比如你可以为你的电商小程序训练一个专门针对商品描述的模型或者为知识付费小程序做一个领域问答助手。实际部署时可能会遇到云函数内存配置、模型加载时间、网络稳定性等问题需要根据实际情况调整。但整体框架和思路就是这样。如果你正在为小程序寻找一个轻量级的智能交互方案不妨试试这个方法从简单的场景开始逐步迭代优化。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
Qwen1.5-1.8B GPTQ应用：微信小程序自然语言交互功能开发
发布时间：2026/7/29 10:50:18
Qwen1.5-1.8B GPTQ应用微信小程序自然语言交互功能开发最近在捣鼓一个微信小程序项目需要给用户提供智能问答功能。一开始想直接调用外部的大模型API但考虑到数据隐私、响应速度和成本还是决定自己部署一个轻量级的模型。试了一圈发现Qwen1.5-1.8B这个版本经过GPTQ量化后在保持不错效果的同时对资源的需求大大降低非常适合放在小程序云开发的后端跑起来。这篇文章我就来分享一下怎么把Qwen1.5-1.8B GPTQ模型塞进你的微信小程序里让它能听懂用户的话并给出有用的回答。整个过程不复杂跟着步骤走你也能拥有一个属于自己的智能对话小程序。1. 为什么选择Qwen1.5-1.8B GPTQ在做技术选型时我们主要考虑几个点模型大小、推理速度、部署成本和效果。Qwen1.5-1.8B GPTQ在这几个方面找到了一个不错的平衡点。1.8B参数意味着它是个“小个子”相比动辄几十亿、上百亿参数的大模型它对计算资源的要求友好得多。GPTQ是一种模型量化技术你可以把它理解为给模型“瘦身”在不明显损失能力的前提下大幅减少模型占用的存储空间和内存同时提升推理速度。对于微信小程序云开发环境来说资源是有限的。一个经过GPTQ量化的1.8B模型通常只需要几个GB的存储和内存就能跑起来推理速度也能满足实时交互的需求。效果上对于商品咨询、简单知识问答、内容摘要这类常见场景它已经足够聪明了。简单说选它就是图个“够用、好用、不贵”。2. 环境准备与模型部署我们计划把模型部署在微信小程序云开发的云函数里。云函数提供了容器化的运行环境正好可以跑我们的Python后端和模型。2.1 创建云开发环境与云函数首先你需要在微信开发者工具中创建一个新的小程序项目并开通云开发。这个过程微信官方文档很详细这里不赘述。开通后我们在云开发控制台创建一个新的云函数比如就叫qwen-chat。创建时运行环境选择Python 3.7或更高版本。2.2 准备模型文件我们需要获取Qwen1.5-1.8B的GPTQ量化版本。通常可以在一些模型社区找到文件格式一般是.safetensors或.bin同时还需要对应的配置文件如config.json和分词器文件tokenizer.json等。假设我们下载好的模型文件夹叫Qwen1.5-1.8B-GPTQ里面包含model.safetensors(模型权重)config.jsontokenizer.json等文件接下来我们要把这个模型文件夹上传到云函数的运行环境中。由于云函数有代码包大小限制通常50MB而模型文件可能超过这个限制所以我们需要用到云开发的静态存储。在云开发控制台打开“存储”管理页。新建一个文件夹例如models。将整个Qwen1.5-1.8B-GPTQ文件夹压缩成ZIP包注意压缩结构然后上传到这个models目录下。这样模型文件就安全地存放在云存储里了我们的云函数在运行时可以去下载并加载它。2.3 编写云函数核心代码现在我们来编写云函数qwen-chat的主文件index.py。这个函数要做几件事初始化模型、接收用户输入、调用模型生成回复、返回结果。首先我们需要定义云函数的依赖。在云函数根目录创建requirements.txt文件transformers4.35.0 torch accelerate sentencepiece然后编写index.pyimport os import json import tempfile import zipfile from typing import Dict, Any import logging # 导入必要的库 from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 初始化日志 logger logging.getLogger() logger.setLevel(logging.INFO) # 全局变量避免每次请求都重新加载模型 model None tokenizer None device torch.device(cuda if torch.cuda.is_available() else cpu) def download_and_extract_model(): 从云存储下载并解压模型文件到临时目录 # 注意这里需要云开发的SDK但云函数环境已内置 # 我们假设模型ZIP包的云存储文件ID是已知的可以通过环境变量传入 import cloud cloud.init() db cloud.database() # 实际情况中你可能需要通过其他方式获取文件ID或下载URL # 这里简化处理假设我们已经知道文件在存储中的路径 model_zip_path models/Qwen1.5-1.8B-GPTQ.zip # 示例路径 # 创建临时目录 temp_dir tempfile.mkdtemp() local_zip_path os.path.join(temp_dir, model.zip) # 这里需要实现从云存储下载文件到 local_zip_path 的逻辑 # 伪代码实际请参考微信云开发存储SDK的 download 方法 # file_id your_file_id_from_env # cloud.download_file({ # fileID: file_id, # tempFilePath: local_zip_path # }) logger.info(fModel zip downloaded to {local_zip_path}) # 解压ZIP文件 with zipfile.ZipFile(local_zip_path, r) as zip_ref: zip_ref.extractall(temp_dir) model_dir os.path.join(temp_dir, Qwen1.5-1.8B-GPTQ) logger.info(fModel extracted to {model_dir}) return model_dir def init_model(): 初始化模型和分词器 global model, tokenizer if model is not None and tokenizer is not None: logger.info(Model already loaded.) return logger.info(Starting model initialization...) model_dir download_and_extract_model() try: # 加载分词器 tokenizer AutoTokenizer.from_pretrained(model_dir, trust_remote_codeTrue) # 加载GPTQ量化模型 model AutoModelForCausalLM.from_pretrained( model_dir, torch_dtypetorch.float16 if torch.cuda.is_available() else torch.float32, device_mapauto, # 自动分配设备CPU/GPU trust_remote_codeTrue ) logger.info(Model and tokenizer loaded successfully.) except Exception as e: logger.error(fFailed to load model: {e}) raise def generate_response(prompt: str, max_length: int 512) - str: 使用模型生成回复 global model, tokenizer if model is None or tokenizer is None: init_model() # 将输入文本转换为模型可接受的格式 inputs tokenizer(prompt, return_tensorspt).to(device) # 生成回复 with torch.no_grad(): outputs model.generate( **inputs, max_new_tokensmax_length, temperature0.7, # 控制随机性值越低越确定 do_sampleTrue, top_p0.9, # 核采样使输出更多样 repetition_penalty1.1 # 避免重复 ) # 解码生成的token为文本 response tokenizer.decode(outputs[0], skip_special_tokensTrue) # 移除输入提示部分只保留新生成的回复 response response[len(prompt):].strip() return response def main_handler(event: Dict[str, Any], context: Any) - Dict[str, Any]: 云函数主入口 logger.info(Received event: %s, json.dumps(event, ensure_asciiFalse)) # 解析请求数据微信小程序云调用时数据在 event 中 request_body event.get(body, {}) try: data json.loads(request_body) except json.JSONDecodeError: data {} user_input data.get(query, ).strip() if not user_input: return { code: 400, message: Query cannot be empty., data: None } try: # 初始化模型如果尚未初始化 init_model() # 生成回复 reply generate_response(user_input) return { code: 200, message: success, data: { reply: reply } } except Exception as e: logger.error(fError during processing: {e}) return { code: 500, message: fInternal server error: {str(e)}, data: None }这段代码做了几件关键事download_and_extract_model: 从云存储获取模型压缩包并解压到临时目录。这是解决云函数包大小限制的关键。init_model: 全局初始化模型和分词器利用云函数的容器常驻内存特性避免冷启动时重复加载。generate_response: 核心的推理函数接收用户输入调用模型生成回复。main_handler: 云函数的HTTP入口处理小程序前端的请求返回JSON格式的结果。注意上述代码中的文件下载部分是伪代码实际部署时需要使用微信云开发存储的SDK进行文件下载。此外首次冷启动加载模型可能需要几十秒后续请求就会很快。你可以考虑使用云函数的“常驻实例”或预热机制来优化首次体验。3. 小程序前端与后端交互模型在后端跑起来了接下来就是让小程序前端能和它对话。3.1 封装网络请求在小程序端我们封装一个通用的函数来调用我们的云函数。在小程序的utils目录下创建一个api.js文件// utils/api.js /** * 调用智能对话云函数 * param {string} query - 用户输入的问题 * returns {PromiseObject} 返回Promise包含回复或错误信息 */ export const callQwenChat (query) { return new Promise((resolve, reject) { wx.cloud.callFunction({ name: qwen-chat, // 你的云函数名称 data: { query: query }, success: res { // 云函数返回的结构 if (res.result res.result.code 200) { resolve(res.result.data); // 成功返回数据 } else { // 处理业务逻辑错误 reject(new Error(res.result?.message || 请求失败)); } }, fail: err { // 处理网络或云函数调用失败 console.error(云函数调用失败, err); reject(new Error(网络请求失败请检查网络)); } }); }); };3.2 构建聊天界面与逻辑然后在一个页面比如pages/chat/chat中实现简单的聊天界面。WXML模板 (chat.wxml):view classchat-container !-- 消息列表 -- scroll-view classmessage-list scroll-y scroll-into-view{{msg- (messageList.length - 1)}} scroll-with-animation block wx:for{{messageList}} wx:keyindex view idmsg-{{index}} classmessage-item {{item.role}} view classavatar{{item.role user ? 你 : AI}}/view view classbubble{{item.content}}/view /view /block view wx:if{{isLoading}} classmessage-item assistant view classavatarAI/view view classbubble typing正在思考.../view /view /scroll-view !-- 输入区域 -- view classinput-area input classinput-box value{{inputValue}} bindinputonInput placeholder请输入您的问题... confirm-typesend bindconfirmsendMessage focus{{autoFocus}} / button classsend-btn bindtapsendMessage disabled{{!inputValue.trim() || isLoading}}发送/button /view /viewJS逻辑 (chat.js):// pages/chat/chat.js import { callQwenChat } from ../../utils/api.js; Page({ data: { inputValue: , messageList: [], isLoading: false, autoFocus: true }, onInput(e) { this.setData({ inputValue: e.detail.value }); }, async sendMessage() { const query this.data.inputValue.trim(); if (!query || this.data.isLoading) { return; } // 1. 清空输入框添加用户消息 this.setData({ inputValue: , messageList: [...this.data.messageList, { role: user, content: query }], isLoading: true }); try { // 2. 调用云函数 const res await callQwenChat(query); // 3. 添加AI回复 this.setData({ messageList: [...this.data.messageList, { role: assistant, content: res.reply }], isLoading: false }); } catch (error) { console.error(对话出错, error); // 4. 添加错误提示 this.setData({ messageList: [...this.data.messageList, { role: assistant, content: 抱歉我好像出错了${error.message} }], isLoading: false }); } }, onLoad() { // 可以初始化一些欢迎语 this.setData({ messageList: [{ role: assistant, content: 你好我是你的智能助手有什么可以帮你的吗 }] }); } });WXSS样式 (chat.wxss):.chat-container { height: 100vh; display: flex; flex-direction: column; background-color: #f5f5f5; } .message-list { flex: 1; padding: 20rpx; box-sizing: border-box; overflow-y: auto; } .message-item { display: flex; margin-bottom: 30rpx; align-items: flex-start; } .message-item.user { flex-direction: row-reverse; } .avatar { width: 80rpx; height: 80rpx; border-radius: 50%; background-color: #07c160; color: white; display: flex; align-items: center; justify-content: center; font-size: 28rpx; flex-shrink: 0; } .message-item.user .avatar { background-color: #10aeff; } .bubble { max-width: 500rpx; padding: 20rpx; border-radius: 12rpx; background-color: white; margin: 0 20rpx; line-height: 1.5; font-size: 32rpx; word-break: break-word; box-shadow: 0 2rpx 10rpx rgba(0,0,0,0.05); } .message-item.user .bubble { background-color: #95ec69; } .typing::after { content: ...; animation: typing 1.5s infinite; } keyframes typing { 0%, 100% { content: .; } 33% { content: ..; } 66% { content: ...; } } .input-area { display: flex; padding: 20rpx; background-color: white; border-top: 1rpx solid #eee; align-items: center; } .input-box { flex: 1; height: 80rpx; padding: 0 20rpx; border: 1rpx solid #ddd; border-radius: 40rpx; margin-right: 20rpx; font-size: 32rpx; } .send-btn { width: 140rpx; height: 80rpx; line-height: 80rpx; border-radius: 40rpx; background-color: #07c160; color: white; font-size: 32rpx; padding: 0; } .send-btn[disabled] { background-color: #cccccc; color: #999999; }这样一个具备基本对话功能的小程序页面就完成了。用户输入问题前端调用云函数云函数中的模型生成回复再返回给前端展示。4. 效果展示与优化建议部署完成后实际用起来效果怎么样我测试了几个常见场景商品咨询用户问“这款手机电池容量多大”模型能结合上下文如果之前对话提及了商品或基于通用知识给出回答。简单知识问答比如“咖啡怎么煮”能给出步骤清晰的建议。内容摘要输入一段长文本让它“用一句话总结”效果也还行。当然1.8B的模型能力有边界。对于非常专业、复杂或者需要实时联网信息的问题它可能会力不从心或者生成一些看似合理但不准确的“幻觉”内容。为了获得更好的用户体验这里有几个优化方向供你参考1. 提示词工程在用户输入前给模型加一个“系统提示”引导它更好地扮演角色。比如在云函数的generate_response里将用户输入包装一下def generate_response(user_input): system_prompt 你是一个专业的电商客服助手请用友好、简洁、准确的语言回答用户关于商品的问题。如果不知道请如实告知。 full_prompt f{system_prompt}\n\n用户{user_input}\n助手 # ... 后续生成逻辑这能显著提升回复的相关性和专业性。2. 上下文管理上面的例子是单轮对话。要实现多轮对话你需要把历史对话记录也传给模型。可以在云函数请求里带上之前的几轮问答拼接到提示词中让模型知道上下文。注意要控制总长度避免超出模型限制。3. 响应速度优化首次加载模型慢可以用云函数的“定时触发器”定期触发一个空请求让实例保持活跃预热。对于生成速度可以调整max_new_tokens生成的最大长度和temperature随机性等参数在质量和速度间权衡。4. 错误处理与降级网络超时、模型生成失败时要有友好的错误提示甚至可以考虑准备一些默认回复作为降级方案。5. 安全与审核对于面向公众的小程序务必在后端对模型的输入和输出内容进行安全过滤防止生成不当内容。5. 总结把Qwen1.5-1.8B GPTQ这样的轻量化模型集成到微信小程序里实现本地化的智能对话这条路是走得通的。整个过程的核心就是利用小程序云开发提供的云函数和云存储能力搭建一个轻量、可控的后端服务。最大的好处是数据可控、响应快、成本相对较低。虽然模型能力比不上顶尖的大模型但对于很多垂直、简单的交互场景来说已经完全够用甚至能做出特色。比如你可以为你的电商小程序训练一个专门针对商品描述的模型或者为知识付费小程序做一个领域问答助手。实际部署时可能会遇到云函数内存配置、模型加载时间、网络稳定性等问题需要根据实际情况调整。但整体框架和思路就是这样。如果你正在为小程序寻找一个轻量级的智能交互方案不妨试试这个方法从简单的场景开始逐步迭代优化。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
