新手必看Qwen2.5-7BGradio10分钟搭建你的第一个AI应用想亲手搭建一个属于自己的AI聊天机器人吗是不是觉得听起来很复杂需要懂很多技术别担心今天我就带你用最简单的方式在10分钟内把阿里开源的强大语言模型Qwen2.5-7B变成一个能和你对话的网页应用。整个过程就像搭积木一样简单你不需要是编程高手跟着步骤走就能完成。我会用最直白的话告诉你每一步该做什么让你轻松拥有自己的AI助手。1. 准备工作你需要知道什么在开始动手之前我们先花两分钟了解一下我们要用的两个“积木”是什么。1.1 Qwen2.5-7B一个聪明的“大脑”Qwen2.5-7B是阿里通义千问团队开源的一个大型语言模型。你可以把它想象成一个非常聪明的“大脑”它读了海量的书籍、文章和代码学会了理解和生成人类语言。它有几个很厉害的特点知识丰富在数学、编程、常识等很多测试中得分都很高说明它懂得多。理解能力强能很好地理解你的指令按照你的要求回答问题、写东西。支持长对话可以处理很长的文本也能生成很长的回复适合多轮聊天。会说多种语言支持中文、英文、日文、韩文等超过29种语言。简单说它就是一个功能强大、免费可用的AI核心。1.2 Gradio一个简单的“操作面板”光有“大脑”还不够我们还需要一个能和它交互的界面。这就是Gradio的作用。Gradio是一个Python库它能帮你快速生成一个网页界面。你不需要懂前端开发HTML、CSS、JavaScript只需要写几行Python代码就能做出一个带输入框、按钮和显示区域的聊天窗口。打个比方Qwen2.5-7B是引擎Gradio就是方向盘和仪表盘。我们今天的任务就是把引擎装上车然后给你一个漂亮好用的驾驶室。2. 环境搭建5分钟搞定基础好了理论部分结束我们开始动手。第一步是准备好运行环境。2.1 第一步获取模型文件模型文件就是Qwen2.5-7B这个“大脑”的数据。我们需要先把它下载到电脑上。这里提供两种下载方式你选一种就行方式一从Hugging Face下载推荐给开发者如果你熟悉Git和Hugging Face可以直接克隆仓库git clone https://huggingface.co/Qwen/Qwen2.5-7B-Instruct如果文件太大克隆失败可以尝试使用git lfs clone。方式二从ModelScope下载国内网络更友好对于国内用户从ModelScope下载通常速度更快git clone https://www.modelscope.cn/qwen/Qwen2.5-7B-Instruct.git下载完成后你会得到一个文件夹比如叫Qwen2.5-7B-Instruct里面就是模型的所有文件。记住这个文件夹的路径后面要用到。2.2 第二步安装Python环境我们的代码是用Python写的所以需要先准备好Python环境。安装Miniconda可选但推荐如果你经常做Python开发我强烈建议安装Miniconda。它可以帮你管理多个独立的Python环境避免包冲突。 去Miniconda官网下载对应你操作系统的安装包然后按照提示安装即可。创建并激活虚拟环境打开命令行Windows叫命令提示符或PowerShellMac/Linux叫终端输入以下命令# 创建一个名为 qwen_app 的新环境指定Python版本为3.10 conda create -n qwen_app python3.10 -y # 激活这个环境 conda activate qwen_app激活后你的命令行前面通常会显示(qwen_app)表示你已经在这个独立环境里了。2.3 第三步安装必要的软件包只需要安装三个包一行命令搞定pip install gradio torch openaigradio: 用来创建网页界面。torch: PyTorch深度学习框架运行模型需要它。openai: 这里不是用来调用OpenAI的API而是因为我们的代码使用了兼容OpenAI API的格式来调用本地模型。至此基础环境就准备好了是不是很简单3. 核心实现编写聊天应用代码现在我们来写最核心的代码。别怕代码我已经为你写好了你只需要复制粘贴然后改一两个地方就行。创建一个新的文本文件命名为qwen_chat_app.py然后把下面的代码全部复制进去。# -*- coding: utf-8 -*- import os import sys import traceback import gradio as gr from openai import OpenAI # 基础配置 - 这里需要你根据实际情况修改 ############################################################ # 1. 修改模型路径把它改成你刚才下载的模型文件夹的绝对路径 DEFAULT_MODEL_PATH /你的/模型/路径/Qwen2.5-7B-Instruct # 例如DEFAULT_MODEL_PATH C:/Users/YourName/Downloads/Qwen2.5-7B-Instruct # 或者DEFAULT_MODEL_PATH /home/username/models/Qwen2.5-7B-Instruct # 2. 服务地址和端口一般不用改除非端口冲突 DEFAULT_IP 127.0.0.1 # 本地运行就保持这个 DEFAULT_PORT 7860 # Gradio默认端口如果被占用可以改成7861, 7862... # 3. 网页登录账号密码自己设别用默认的 WEB_USERNAME admin # 改成你想要的用户名 WEB_PASSWORD your_secure_password_123 # 改成强密码 # 4. 模型相关设置新手可以先不动 DEFAULT_MAX_TOKENS 8192 # 模型一次最多生成多少字 ############################################################ # 以下部分一般不需要修改 openai_api_key EMPTY # 本地运行API Key填任意值即可 openai_api_base fhttp://{DEFAULT_IP}:{DEFAULT_PORT}/v1 def create_chat_interface(): 创建Gradio聊天界面 # 初始化OpenAI客户端指向本地服务 client OpenAI(api_keyopenai_api_key, base_urlopenai_api_base) def predict(message, history, system_prompt, max_new_tokens, temperature, top_p): 处理用户输入并获取模型回复 # 构建对话历史 messages [] if system_prompt: messages.append({role: system, content: system_prompt}) # 添加历史对话 for human, assistant in history: messages.append({role: user, content: human}) messages.append({role: assistant, content: assistant}) # 添加当前用户消息 messages.append({role: user, content: message}) try: # 调用本地模型 stream client.chat.completions.create( modelDEFAULT_MODEL_PATH, messagesmessages, streamTrue, # 启用流式输出一个字一个字显示 max_tokensmax_new_tokens, temperaturetemperature, top_ptop_p, ) # 流式拼接回复 partial_message for chunk in stream: if chunk.choices[0].delta.content is not None: partial_message chunk.choices[0].delta.content yield partial_message # 实时返回当前已生成的部分 except Exception as e: yield f出错了: {str(e)}\n请检查模型路径和服务是否配置正确。 def reset_chat(): 清空聊天历史 return [], [] # 返回空的聊天历史和状态 # 使用Gradio Blocks构建更灵活的界面 with gr.Blocks(title我的Qwen2.5聊天助手, themegr.themes.Soft()) as demo: gr.Markdown(# 我的第一个AI聊天应用 - Qwen2.5-7B) gr.Markdown(欢迎使用在下方输入问题开始与AI对话吧。) # 聊天主区域 chatbot gr.Chatbot(height500, label对话记录) msg gr.Textbox(label输入你的问题, placeholder比如你好请介绍一下你自己..., lines3) # 聊天历史状态Gradio内部使用 state gr.State([]) with gr.Row(): submit_btn gr.Button(发送, variantprimary) clear_btn gr.Button(清空对话) retry_btn gr.Button(重新生成) # 参数设置可折叠区域 with gr.Accordion(⚙️ 高级参数设置新手可跳过, openFalse): system_prompt gr.Textbox( label系统指令, value你是一个乐于助人、知识渊博的AI助手。请用中文友好、清晰地回答用户的问题。, placeholder在这里设定AI的角色和行为..., lines2 ) with gr.Row(): max_new_tokens gr.Slider(100, 8192, value2048, step100, label最大生成长度) temperature gr.Slider(0.1, 2.0, value0.7, step0.1, label随机性 (越高越有创意)) top_p gr.Slider(0.1, 1.0, value0.9, step0.01, labelTop-p采样) # 按钮事件绑定 def user_message(message, history): 用户发送消息时的处理 return , history [[message, None]] # 清空输入框在历史中添加用户消息 msg.submit( user_message, [msg, chatbot], [msg, chatbot], queueFalse ).then( predict, [msg, chatbot, system_prompt, max_new_tokens, temperature, top_p], chatbot ) submit_btn.click( user_message, [msg, chatbot], [msg, chatbot], queueFalse ).then( predict, [msg, chatbot, system_prompt, max_new_tokens, temperature, top_p], chatbot ) retry_btn.click( lambda history: history[:-1] if history else [], chatbot, chatbot, queueFalse ).then( predict, [msg, chatbot, system_prompt, max_new_tokens, temperature, top_p], chatbot ) clear_btn.click(reset_chat, outputs[chatbot, state]) # 示例问题 gr.Examples( examples[ [用简单的语言解释什么是人工智能], [帮我写一封感谢信感谢同事的帮助], [用Python写一个计算斐波那契数列的函数], [今天天气不错用一首诗来形容], ], inputsmsg, label试试这些示例问题 ) return demo if __name__ __main__: print(正在启动Qwen2.5聊天应用...) print(f服务将运行在: http://localhost:{DEFAULT_PORT}) print(f登录用户名: {WEB_USERNAME}) print(如果浏览器没有自动打开请手动访问上述地址。) # 创建并启动应用 demo create_chat_interface() demo.launch( server_name0.0.0.0, # 允许局域网访问 server_portDEFAULT_PORT, shareFalse, # 不生成公开分享链接 auth(WEB_USERNAME, WEB_PASSWORD) if WEB_PASSWORD else None, debugFalse )重要提示复制代码后你必须修改第12行的DEFAULT_MODEL_PATH把它改成你电脑上模型文件夹的实际路径。这是最关键的一步4. 运行与测试启动你的AI应用代码写好了现在让我们把它运行起来。4.1 第一步启动模型服务Qwen2.5-7B模型需要先启动一个后端服务我们的网页应用才能调用它。在命令行中确保还在qwen_app虚拟环境下运行以下命令# 切换到你的代码所在目录 cd /path/to/your/code # 启动模型服务 python -m vllm.entrypoints.openai.api_server \ --model /你的/模型/路径/Qwen2.5-7B-Instruct \ # 这里同样要改成你的模型路径 --host 0.0.0.0 \ --port 9000 \ --dtype float16 \ --max-model-len 8192注意--model后面的路径一定要改成你实际的模型路径。如果一切正常你会看到大量输出最后服务会启动并监听在9000端口。让这个命令行窗口保持运行不要关闭。4.2 第二步启动Gradio网页应用打开一个新的命令行窗口同样激活qwen_app环境然后运行我们的应用conda activate qwen_app cd /path/to/your/code python qwen_chat_app.py如果看到类似下面的输出说明启动成功了正在启动Qwen2.5聊天应用... 服务将运行在: http://localhost:7860 登录用户名: admin 如果浏览器没有自动打开请手动访问上述地址。 Running on local URL: http://0.0.0.0:78604.3 第三步在浏览器中访问打开你的浏览器Chrome、Edge、Firefox都可以在地址栏输入http://localhost:7860如果端口不是7860就换成你代码里设置的端口。然后输入你设置的用户名和密码代码里设置的WEB_USERNAME和WEB_PASSWORD。恭喜你现在应该能看到一个简洁美观的聊天界面了。4.4 第四步开始聊天测试试着在输入框里问一些问题“你好请介绍一下你自己”“Python和JavaScript有什么区别”“帮我写一个简单的贪吃蛇游戏代码”“用一段话描述夏天的海边”你会看到AI一个字一个字地生成回复就像真人打字一样。右侧还有示例问题你可以直接点击试试。5. 常见问题与解决第一次运行难免会遇到一些小问题这里列出了最常见的几种情况及其解决方法。5.1 模型服务启动失败问题运行模型服务命令时报错比如“No module named vllm”或“CUDA error”。解决缺少vllm库先安装vLLM这是一个高效的模型推理库。pip install vllmCUDA错误确保你安装了正确版本的PyTorch和CUDA。可以运行pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装支持CUDA的PyTorch。内存不足Qwen2.5-7B需要大约14GB的GPU显存。如果你用的是消费级显卡如RTX 3060 12GB可能会内存不足。可以尝试添加--gpu-memory-utilization 0.8参数或者使用CPU运行但会很慢。5.2 网页无法打开或白屏问题浏览器访问http://localhost:7860没反应或者显示无法连接。解决检查服务是否真的启动了在命令行看有没有错误信息。检查端口占用可能是7860端口被其他程序占用了。在代码里把DEFAULT_PORT改成其他值比如7861然后重启服务。检查防火墙有些系统的防火墙会阻止本地连接。可以暂时关闭防火墙试试或者添加端口例外。改用127.0.0.1在浏览器里试试http://127.0.0.1:7860。5.3 模型加载慢或响应慢问题第一次启动很慢或者每次回答都要等很久。解决第一次加载慢是正常的模型有70亿参数第一次运行需要加载到内存/显存可能需要1-5分钟耐心等待。后续对话还慢检查是不是在用CPU运行。GPU运行应该很快1-10秒生成回复。调整生成参数在网页的“高级参数设置”里把“最大生成长度”调小一点比如从2048调到512这样生成更快。5.4 回答质量不理想问题AI的回答不符合预期或者胡言乱语。解决调整“系统指令”在高级设置里修改系统指令明确告诉AI你想要什么角色。比如“你是一个专业的编程助手只回答技术问题”。调整“随机性”参数temperature参数控制创造性。调低如0.3会让回答更稳定、保守调高如1.0会让回答更有创意、更多样。问得更具体AI喜欢具体的问题。与其问“怎么写代码”不如问“用Python写一个从1加到100的函数”。6. 下一步让你的应用更强大现在你已经有了一个能跑起来的AI应用但这只是开始。你可以基于这个基础把它变得更有用、更个性化。6.1 尝试不同的模型Qwen2.5系列有很多尺寸的模型Qwen2.5-0.5B/1.5B/3B参数更少速度更快对硬件要求低适合在普通电脑上跑。Qwen2.5-14B/32B/72B参数更多能力更强但需要更好的显卡。你可以在Hugging Face或ModelScope上找到这些模型下载后只需修改代码中的模型路径就可以体验不同大小的模型了。6.2 定制化你的界面Gradio非常灵活你可以轻松修改界面改颜色和主题在gr.Blocks()里修改theme参数比如themegr.themes.Default()或themegr.themes.Monochrome()。添加新功能比如添加文件上传让AI可以读取你上传的文档并回答问题。改成语音对话结合语音识别和语音合成库做一个能听会说的AI助手。6.3 部署到服务器现在应用只能在你自己的电脑上访问。如果你想分享给朋友或者做成一个长期运行的服务可以考虑购买云服务器阿里云、腾讯云都有GPU服务器把代码放上去运行。使用容器化把整个应用打包成Docker镜像部署起来更方便。设置域名和HTTPS给你的服务绑定一个好记的域名并启用HTTPS加密。6.4 探索更多AI能力Qwen2.5不仅能聊天还能做很多事文档总结上传一篇长文章让它帮你提取要点。代码助手让它帮你写代码、解释代码、找bug。内容创作写文章、写诗、写营销文案、写邮件。学习辅导解释复杂概念、出练习题、批改作业。你可以基于现在的代码为这些特定功能制作专门的界面。7. 总结回顾一下今天我们只用了几步就搭建了一个完整的AI聊天应用准备模型下载Qwen2.5-7B模型文件。搭建环境创建Python虚拟环境并安装必要库。编写代码用Gradio创建一个带界面的聊天应用。启动服务先后台启动模型再启动网页应用。测试使用在浏览器中和AI对话。整个过程最复杂的部分可能就是环境配置但只要按照步骤来遇到问题查看第5节的故障排除基本上都能解决。这个项目最大的意义在于它让你看到了AI应用开发并没有那么神秘。你现在拥有的不仅仅是一个玩具而是一个可以无限扩展的基础。你可以基于它开发智能客服、写作助手、编程搭档或者任何你能想到的AI应用。AI技术正在变得像水电煤一样普及而你现在已经掌握了打开这扇门的第一把钥匙。接下来怎么玩就看你自己的创意了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
新手必看：Qwen2.5-7B+Gradio，10分钟搭建你的第一个AI应用
发布时间：2026/5/20 7:41:42
新手必看Qwen2.5-7BGradio10分钟搭建你的第一个AI应用想亲手搭建一个属于自己的AI聊天机器人吗是不是觉得听起来很复杂需要懂很多技术别担心今天我就带你用最简单的方式在10分钟内把阿里开源的强大语言模型Qwen2.5-7B变成一个能和你对话的网页应用。整个过程就像搭积木一样简单你不需要是编程高手跟着步骤走就能完成。我会用最直白的话告诉你每一步该做什么让你轻松拥有自己的AI助手。1. 准备工作你需要知道什么在开始动手之前我们先花两分钟了解一下我们要用的两个“积木”是什么。1.1 Qwen2.5-7B一个聪明的“大脑”Qwen2.5-7B是阿里通义千问团队开源的一个大型语言模型。你可以把它想象成一个非常聪明的“大脑”它读了海量的书籍、文章和代码学会了理解和生成人类语言。它有几个很厉害的特点知识丰富在数学、编程、常识等很多测试中得分都很高说明它懂得多。理解能力强能很好地理解你的指令按照你的要求回答问题、写东西。支持长对话可以处理很长的文本也能生成很长的回复适合多轮聊天。会说多种语言支持中文、英文、日文、韩文等超过29种语言。简单说它就是一个功能强大、免费可用的AI核心。1.2 Gradio一个简单的“操作面板”光有“大脑”还不够我们还需要一个能和它交互的界面。这就是Gradio的作用。Gradio是一个Python库它能帮你快速生成一个网页界面。你不需要懂前端开发HTML、CSS、JavaScript只需要写几行Python代码就能做出一个带输入框、按钮和显示区域的聊天窗口。打个比方Qwen2.5-7B是引擎Gradio就是方向盘和仪表盘。我们今天的任务就是把引擎装上车然后给你一个漂亮好用的驾驶室。2. 环境搭建5分钟搞定基础好了理论部分结束我们开始动手。第一步是准备好运行环境。2.1 第一步获取模型文件模型文件就是Qwen2.5-7B这个“大脑”的数据。我们需要先把它下载到电脑上。这里提供两种下载方式你选一种就行方式一从Hugging Face下载推荐给开发者如果你熟悉Git和Hugging Face可以直接克隆仓库git clone https://huggingface.co/Qwen/Qwen2.5-7B-Instruct如果文件太大克隆失败可以尝试使用git lfs clone。方式二从ModelScope下载国内网络更友好对于国内用户从ModelScope下载通常速度更快git clone https://www.modelscope.cn/qwen/Qwen2.5-7B-Instruct.git下载完成后你会得到一个文件夹比如叫Qwen2.5-7B-Instruct里面就是模型的所有文件。记住这个文件夹的路径后面要用到。2.2 第二步安装Python环境我们的代码是用Python写的所以需要先准备好Python环境。安装Miniconda可选但推荐如果你经常做Python开发我强烈建议安装Miniconda。它可以帮你管理多个独立的Python环境避免包冲突。 去Miniconda官网下载对应你操作系统的安装包然后按照提示安装即可。创建并激活虚拟环境打开命令行Windows叫命令提示符或PowerShellMac/Linux叫终端输入以下命令# 创建一个名为 qwen_app 的新环境指定Python版本为3.10 conda create -n qwen_app python3.10 -y # 激活这个环境 conda activate qwen_app激活后你的命令行前面通常会显示(qwen_app)表示你已经在这个独立环境里了。2.3 第三步安装必要的软件包只需要安装三个包一行命令搞定pip install gradio torch openaigradio: 用来创建网页界面。torch: PyTorch深度学习框架运行模型需要它。openai: 这里不是用来调用OpenAI的API而是因为我们的代码使用了兼容OpenAI API的格式来调用本地模型。至此基础环境就准备好了是不是很简单3. 核心实现编写聊天应用代码现在我们来写最核心的代码。别怕代码我已经为你写好了你只需要复制粘贴然后改一两个地方就行。创建一个新的文本文件命名为qwen_chat_app.py然后把下面的代码全部复制进去。# -*- coding: utf-8 -*- import os import sys import traceback import gradio as gr from openai import OpenAI # 基础配置 - 这里需要你根据实际情况修改 ############################################################ # 1. 修改模型路径把它改成你刚才下载的模型文件夹的绝对路径 DEFAULT_MODEL_PATH /你的/模型/路径/Qwen2.5-7B-Instruct # 例如DEFAULT_MODEL_PATH C:/Users/YourName/Downloads/Qwen2.5-7B-Instruct # 或者DEFAULT_MODEL_PATH /home/username/models/Qwen2.5-7B-Instruct # 2. 服务地址和端口一般不用改除非端口冲突 DEFAULT_IP 127.0.0.1 # 本地运行就保持这个 DEFAULT_PORT 7860 # Gradio默认端口如果被占用可以改成7861, 7862... # 3. 网页登录账号密码自己设别用默认的 WEB_USERNAME admin # 改成你想要的用户名 WEB_PASSWORD your_secure_password_123 # 改成强密码 # 4. 模型相关设置新手可以先不动 DEFAULT_MAX_TOKENS 8192 # 模型一次最多生成多少字 ############################################################ # 以下部分一般不需要修改 openai_api_key EMPTY # 本地运行API Key填任意值即可 openai_api_base fhttp://{DEFAULT_IP}:{DEFAULT_PORT}/v1 def create_chat_interface(): 创建Gradio聊天界面 # 初始化OpenAI客户端指向本地服务 client OpenAI(api_keyopenai_api_key, base_urlopenai_api_base) def predict(message, history, system_prompt, max_new_tokens, temperature, top_p): 处理用户输入并获取模型回复 # 构建对话历史 messages [] if system_prompt: messages.append({role: system, content: system_prompt}) # 添加历史对话 for human, assistant in history: messages.append({role: user, content: human}) messages.append({role: assistant, content: assistant}) # 添加当前用户消息 messages.append({role: user, content: message}) try: # 调用本地模型 stream client.chat.completions.create( modelDEFAULT_MODEL_PATH, messagesmessages, streamTrue, # 启用流式输出一个字一个字显示 max_tokensmax_new_tokens, temperaturetemperature, top_ptop_p, ) # 流式拼接回复 partial_message for chunk in stream: if chunk.choices[0].delta.content is not None: partial_message chunk.choices[0].delta.content yield partial_message # 实时返回当前已生成的部分 except Exception as e: yield f出错了: {str(e)}\n请检查模型路径和服务是否配置正确。 def reset_chat(): 清空聊天历史 return [], [] # 返回空的聊天历史和状态 # 使用Gradio Blocks构建更灵活的界面 with gr.Blocks(title我的Qwen2.5聊天助手, themegr.themes.Soft()) as demo: gr.Markdown(# 我的第一个AI聊天应用 - Qwen2.5-7B) gr.Markdown(欢迎使用在下方输入问题开始与AI对话吧。) # 聊天主区域 chatbot gr.Chatbot(height500, label对话记录) msg gr.Textbox(label输入你的问题, placeholder比如你好请介绍一下你自己..., lines3) # 聊天历史状态Gradio内部使用 state gr.State([]) with gr.Row(): submit_btn gr.Button(发送, variantprimary) clear_btn gr.Button(清空对话) retry_btn gr.Button(重新生成) # 参数设置可折叠区域 with gr.Accordion(⚙️ 高级参数设置新手可跳过, openFalse): system_prompt gr.Textbox( label系统指令, value你是一个乐于助人、知识渊博的AI助手。请用中文友好、清晰地回答用户的问题。, placeholder在这里设定AI的角色和行为..., lines2 ) with gr.Row(): max_new_tokens gr.Slider(100, 8192, value2048, step100, label最大生成长度) temperature gr.Slider(0.1, 2.0, value0.7, step0.1, label随机性 (越高越有创意)) top_p gr.Slider(0.1, 1.0, value0.9, step0.01, labelTop-p采样) # 按钮事件绑定 def user_message(message, history): 用户发送消息时的处理 return , history [[message, None]] # 清空输入框在历史中添加用户消息 msg.submit( user_message, [msg, chatbot], [msg, chatbot], queueFalse ).then( predict, [msg, chatbot, system_prompt, max_new_tokens, temperature, top_p], chatbot ) submit_btn.click( user_message, [msg, chatbot], [msg, chatbot], queueFalse ).then( predict, [msg, chatbot, system_prompt, max_new_tokens, temperature, top_p], chatbot ) retry_btn.click( lambda history: history[:-1] if history else [], chatbot, chatbot, queueFalse ).then( predict, [msg, chatbot, system_prompt, max_new_tokens, temperature, top_p], chatbot ) clear_btn.click(reset_chat, outputs[chatbot, state]) # 示例问题 gr.Examples( examples[ [用简单的语言解释什么是人工智能], [帮我写一封感谢信感谢同事的帮助], [用Python写一个计算斐波那契数列的函数], [今天天气不错用一首诗来形容], ], inputsmsg, label试试这些示例问题 ) return demo if __name__ __main__: print(正在启动Qwen2.5聊天应用...) print(f服务将运行在: http://localhost:{DEFAULT_PORT}) print(f登录用户名: {WEB_USERNAME}) print(如果浏览器没有自动打开请手动访问上述地址。) # 创建并启动应用 demo create_chat_interface() demo.launch( server_name0.0.0.0, # 允许局域网访问 server_portDEFAULT_PORT, shareFalse, # 不生成公开分享链接 auth(WEB_USERNAME, WEB_PASSWORD) if WEB_PASSWORD else None, debugFalse )重要提示复制代码后你必须修改第12行的DEFAULT_MODEL_PATH把它改成你电脑上模型文件夹的实际路径。这是最关键的一步4. 运行与测试启动你的AI应用代码写好了现在让我们把它运行起来。4.1 第一步启动模型服务Qwen2.5-7B模型需要先启动一个后端服务我们的网页应用才能调用它。在命令行中确保还在qwen_app虚拟环境下运行以下命令# 切换到你的代码所在目录 cd /path/to/your/code # 启动模型服务 python -m vllm.entrypoints.openai.api_server \ --model /你的/模型/路径/Qwen2.5-7B-Instruct \ # 这里同样要改成你的模型路径 --host 0.0.0.0 \ --port 9000 \ --dtype float16 \ --max-model-len 8192注意--model后面的路径一定要改成你实际的模型路径。如果一切正常你会看到大量输出最后服务会启动并监听在9000端口。让这个命令行窗口保持运行不要关闭。4.2 第二步启动Gradio网页应用打开一个新的命令行窗口同样激活qwen_app环境然后运行我们的应用conda activate qwen_app cd /path/to/your/code python qwen_chat_app.py如果看到类似下面的输出说明启动成功了正在启动Qwen2.5聊天应用... 服务将运行在: http://localhost:7860 登录用户名: admin 如果浏览器没有自动打开请手动访问上述地址。 Running on local URL: http://0.0.0.0:78604.3 第三步在浏览器中访问打开你的浏览器Chrome、Edge、Firefox都可以在地址栏输入http://localhost:7860如果端口不是7860就换成你代码里设置的端口。然后输入你设置的用户名和密码代码里设置的WEB_USERNAME和WEB_PASSWORD。恭喜你现在应该能看到一个简洁美观的聊天界面了。4.4 第四步开始聊天测试试着在输入框里问一些问题“你好请介绍一下你自己”“Python和JavaScript有什么区别”“帮我写一个简单的贪吃蛇游戏代码”“用一段话描述夏天的海边”你会看到AI一个字一个字地生成回复就像真人打字一样。右侧还有示例问题你可以直接点击试试。5. 常见问题与解决第一次运行难免会遇到一些小问题这里列出了最常见的几种情况及其解决方法。5.1 模型服务启动失败问题运行模型服务命令时报错比如“No module named vllm”或“CUDA error”。解决缺少vllm库先安装vLLM这是一个高效的模型推理库。pip install vllmCUDA错误确保你安装了正确版本的PyTorch和CUDA。可以运行pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装支持CUDA的PyTorch。内存不足Qwen2.5-7B需要大约14GB的GPU显存。如果你用的是消费级显卡如RTX 3060 12GB可能会内存不足。可以尝试添加--gpu-memory-utilization 0.8参数或者使用CPU运行但会很慢。5.2 网页无法打开或白屏问题浏览器访问http://localhost:7860没反应或者显示无法连接。解决检查服务是否真的启动了在命令行看有没有错误信息。检查端口占用可能是7860端口被其他程序占用了。在代码里把DEFAULT_PORT改成其他值比如7861然后重启服务。检查防火墙有些系统的防火墙会阻止本地连接。可以暂时关闭防火墙试试或者添加端口例外。改用127.0.0.1在浏览器里试试http://127.0.0.1:7860。5.3 模型加载慢或响应慢问题第一次启动很慢或者每次回答都要等很久。解决第一次加载慢是正常的模型有70亿参数第一次运行需要加载到内存/显存可能需要1-5分钟耐心等待。后续对话还慢检查是不是在用CPU运行。GPU运行应该很快1-10秒生成回复。调整生成参数在网页的“高级参数设置”里把“最大生成长度”调小一点比如从2048调到512这样生成更快。5.4 回答质量不理想问题AI的回答不符合预期或者胡言乱语。解决调整“系统指令”在高级设置里修改系统指令明确告诉AI你想要什么角色。比如“你是一个专业的编程助手只回答技术问题”。调整“随机性”参数temperature参数控制创造性。调低如0.3会让回答更稳定、保守调高如1.0会让回答更有创意、更多样。问得更具体AI喜欢具体的问题。与其问“怎么写代码”不如问“用Python写一个从1加到100的函数”。6. 下一步让你的应用更强大现在你已经有了一个能跑起来的AI应用但这只是开始。你可以基于这个基础把它变得更有用、更个性化。6.1 尝试不同的模型Qwen2.5系列有很多尺寸的模型Qwen2.5-0.5B/1.5B/3B参数更少速度更快对硬件要求低适合在普通电脑上跑。Qwen2.5-14B/32B/72B参数更多能力更强但需要更好的显卡。你可以在Hugging Face或ModelScope上找到这些模型下载后只需修改代码中的模型路径就可以体验不同大小的模型了。6.2 定制化你的界面Gradio非常灵活你可以轻松修改界面改颜色和主题在gr.Blocks()里修改theme参数比如themegr.themes.Default()或themegr.themes.Monochrome()。添加新功能比如添加文件上传让AI可以读取你上传的文档并回答问题。改成语音对话结合语音识别和语音合成库做一个能听会说的AI助手。6.3 部署到服务器现在应用只能在你自己的电脑上访问。如果你想分享给朋友或者做成一个长期运行的服务可以考虑购买云服务器阿里云、腾讯云都有GPU服务器把代码放上去运行。使用容器化把整个应用打包成Docker镜像部署起来更方便。设置域名和HTTPS给你的服务绑定一个好记的域名并启用HTTPS加密。6.4 探索更多AI能力Qwen2.5不仅能聊天还能做很多事文档总结上传一篇长文章让它帮你提取要点。代码助手让它帮你写代码、解释代码、找bug。内容创作写文章、写诗、写营销文案、写邮件。学习辅导解释复杂概念、出练习题、批改作业。你可以基于现在的代码为这些特定功能制作专门的界面。7. 总结回顾一下今天我们只用了几步就搭建了一个完整的AI聊天应用准备模型下载Qwen2.5-7B模型文件。搭建环境创建Python虚拟环境并安装必要库。编写代码用Gradio创建一个带界面的聊天应用。启动服务先后台启动模型再启动网页应用。测试使用在浏览器中和AI对话。整个过程最复杂的部分可能就是环境配置但只要按照步骤来遇到问题查看第5节的故障排除基本上都能解决。这个项目最大的意义在于它让你看到了AI应用开发并没有那么神秘。你现在拥有的不仅仅是一个玩具而是一个可以无限扩展的基础。你可以基于它开发智能客服、写作助手、编程搭档或者任何你能想到的AI应用。AI技术正在变得像水电煤一样普及而你现在已经掌握了打开这扇门的第一把钥匙。接下来怎么玩就看你自己的创意了。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
: 丰富的序列 - deque高效应对高并发序列处理)
