小白必看通义千问2.5-7B部署全攻略从安装到对话实战1. 引言你是不是也想在本地电脑上运行一个属于自己的AI助手看到别人玩大模型很酷但自己尝试时总被复杂的安装步骤、环境配置劝退别担心今天这篇教程就是为你准备的。通义千问2.5-7B-Instruct是阿里在2024年9月推出的一个70亿参数的中等规模模型。别看它体积不算最大但能力相当全面——能写代码、能解数学题、能处理长文档还支持工具调用。最重要的是它完全开源免费个人和企业都能用。以前部署一个大模型你可能需要折腾Python环境、CUDA驱动、各种依赖库一个环节出错就得从头再来。现在有了Docker我们可以把整个运行环境打包成一个“集装箱”一键就能启动。配合vLLM这个高性能推理引擎还能让模型跑得更快。这篇教程会手把手带你完成从零到一的完整部署过程。即使你之前没接触过Docker跟着步骤走也能在30分钟内拥有一个能对话、能调用的本地AI服务。2. 部署前准备检查你的“装备”2.1 硬件要求你的电脑够用吗在开始之前先确认一下你的电脑配置。通义千问2.5-7B-Instruct对硬件有一定要求但门槛并不算高推荐配置能获得较好体验显卡NVIDIA GPU显存至少8GB比如RTX 3060、RTX 4060内存16GB或以上存储空间至少30GB可用空间用来放模型文件操作系统LinuxUbuntu 20.04/22.04、Windows 10/11、macOS都可以最低配置也能跑但可能慢一些如果没有独立显卡用CPU也能运行只是速度会慢很多内存8GB勉强够用但处理长文本时可能会卡顿存储空间至少需要15GB怎么查看自己的配置Windows按WinR输入dxdiag在“显示”标签页看显卡信息Linux在终端输入nvidia-smi看显卡信息free -h看内存macOS点击左上角苹果图标→关于本机2.2 软件准备安装必要的工具我们需要两个核心工具Docker和NVIDIA驱动支持。第一步安装DockerDocker就像是一个“应用集装箱”能把模型和所有依赖打包在一起运行。对于Ubuntu系统打开终端依次执行# 更新软件包列表 sudo apt update # 安装必要的依赖 sudo apt install -y apt-transport-https ca-certificates curl software-properties-common # 添加Docker官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 添加Docker仓库 echo deb [arch$(dpkg --print-architecture) signed-by/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装Docker引擎 sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io # 将当前用户添加到docker组避免每次都要sudo sudo usermod -aG docker $USER # 重启docker服务 sudo systemctl restart docker安装完成后验证一下docker --version如果看到类似Docker version 24.0.7的输出说明安装成功。第二步配置NVIDIA支持如果你有NVIDIA显卡如果你的电脑有NVIDIA显卡还需要安装NVIDIA Container Toolkit让Docker能使用GPU。# 添加NVIDIA仓库 distribution$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list # 安装工具包 sudo apt update sudo apt install -y nvidia-container-toolkit # 重启docker sudo systemctl restart docker测试GPU是否能在Docker中使用docker run --rm --gpus all nvidia/cuda:12.2-base nvidia-smi如果看到显卡信息表格说明配置成功。如果报错可能需要重启电脑。小提示如果你是Windows或macOS用户可以直接下载Docker Desktop它包含了图形界面安装更简单。Windows用户还需要安装WSL2Windows Subsystem for Linux。3. 获取模型文件准备好“大脑”模型文件就是AI的“大脑”我们需要先下载它。通义千问2.5-7B-Instruct的模型文件大约28GBFP16格式下载需要一些时间。3.1 创建模型存放目录首先找个地方存放模型文件。建议放在空间充足的磁盘分区# 创建一个专门存放模型的目录 mkdir -p /data/models/qwen2.5-7b-instruct cd /data/models/qwen2.5-7b-instruct如果你没有/data目录也可以放在其他地方比如mkdir -p ~/ai_models/qwen2.5-7b-instruct cd ~/ai_models/qwen2.5-7b-instruct3.2 下载模型文件有几种方式可以获取模型文件方式一从ModelScope下载推荐给国内用户ModelScope是阿里推出的模型社区下载速度通常比较快。# 安装ModelScope库 pip install modelscope # 使用Python脚本下载 python -c from modelscope import snapshot_download model_dir snapshot_download(Qwen/Qwen2.5-7B-Instruct, cache_dir/data/models) print(f模型已下载到: {model_dir}) 方式二从Hugging Face下载如果你能访问Hugging Face也可以用他们的工具# 安装huggingface-hub pip install huggingface-hub # 下载模型 huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir /data/models/qwen2.5-7b-instruct --local-dir-use-symlinks False方式三手动下载如果上面方法都不行如果网络条件有限可以尝试找朋友用上面的方法下载后拷贝给你使用网盘分享注意检查文件完整性在公司或学校的服务器上下载后传输到本地3.3 检查模型文件下载完成后检查目录里应该有这些文件/data/models/qwen2.5-7b-instruct/ ├── config.json # 模型配置文件 ├── model.safetensors.index.json # 模型索引文件 ├── model-00001-of-00004.safetensors # 模型权重文件分片 ├── model-00002-of-00004.safetensors ├── model-00003-of-00004.safetensors ├── model-00004-of-00004.safetensors ├── tokenizer_config.json # 分词器配置 ├── tokenizer.json # 分词器文件 └── special_tokens_map.json # 特殊token映射如果文件齐全就可以进入下一步了。下载过程可能需要1-2小时取决于你的网速。4. 一键部署启动你的AI服务现在到了最激动人心的环节——启动模型服务。我们会用DockervLLM的组合这是目前最简单高效的部署方式。4.1 理解部署命令先来看完整的启动命令我会逐行解释每个参数的作用docker run --runtime nvidia --gpus device0 \ -p 9000:9000 \ --ipchost \ -v /data/models/qwen2.5-7b-instruct:/qwen2.5-7b-instruct \ -it --rm \ vllm/vllm-openai:latest \ --model /qwen2.5-7b-instruct \ --dtype float16 \ --max-parallel-loading-workers 1 \ --max-model-len 10240 \ --enforce-eager \ --host 0.0.0.0 \ --port 9000 \ --enable-auto-tool-choice \ --tool-call-parser hermes参数解释参数作用如果出问题怎么调整--gpus device0使用第0号GPU如果你有多张显卡如果只有一张卡这个参数可以去掉-p 9000:9000把容器内的9000端口映射到主机的9000端口如果9000端口被占用可以改成-p 8080:9000-v /data/models/...把本地的模型目录挂载到容器里确保路径正确如果模型放在别处就改这里--model /qwen2.5-7b-instruct指定模型路径容器内的路径要和-v挂载的路径对应--dtype float16使用半精度浮点数节省显存如果显存不够可以改成--dtype bfloat16--max-model-len 10240最大上下文长度10240个token如果处理长文档可以增加到32768--enforce-eager禁用CUDA Graph提高兼容性如果启动报错可以去掉这个参数--enable-auto-tool-choice启用自动工具选择如果要使用函数调用功能必须开启--tool-call-parser hermes使用hermes格式解析工具调用对于通义千问模型用hermes或qwen都可以4.2 实际执行部署打开终端确保你在有模型文件的目录下然后直接运行上面的命令。第一次运行时会下载vLLM的Docker镜像大约需要下载1-2GB取决于你的网络速度。下载完成后你会看到类似这样的输出Downloading vllm/vllm-openai:latest... ... Starting vLLM engine with model: /qwen2.5-7b-instruct Loading model weights... Initializing distributed environment... Model loaded in 45.23 seconds Uvicorn running on http://0.0.0.0:9000 (Press CTRLC to quit)看到最后一行Uvicorn running on http://0.0.0.0:9000恭喜你模型服务已经成功启动了。几个常见情况的处理情况1显存不够怎么办如果启动时报错CUDA out of memory说明显卡显存不足。可以尝试# 方法1使用更低的精度如果显卡支持bfloat16 --dtype bfloat16 # 方法2减少最大上下文长度 --max-model-len 4096 # 方法3使用CPU模式会很慢仅测试用 # 去掉--gpus参数添加--device cpu情况2没有GPU怎么办如果你的电脑没有NVIDIA显卡可以用CPU模式运行docker run \ -p 9000:9000 \ -v /data/models/qwen2.5-7b-instruct:/qwen2.5-7b-instruct \ -it --rm \ vllm/vllm-openai:latest \ --model /qwen2.5-7b-instruct \ --device cpu \ --dtype float32 \ --host 0.0.0.0 --port 9000情况3想用更小的模型版本如果28GB的完整版对你来说太大可以考虑使用量化版本4-8GB但效果会略有下降。你需要在下载模型时选择GGUF格式的量化版本。4.3 验证服务是否正常服务启动后打开浏览器访问http://localhost:9000/docs如果能看到Swagger API文档页面说明服务运行正常。你也可以用curl命令测试curl http://localhost:9000/v1/models应该返回类似这样的JSON{ object: list, data: [ { id: /qwen2.5-7b-instruct, object: model, created: 1730000000, owned_by: vllm } ] }5. 第一次对话和你的AI助手聊天服务跑起来了现在让我们写个简单的Python脚本来和它对话。5.1 安装必要的Python库打开一个新的终端窗口不要关闭运行模型的终端安装openai库pip install openai如果你还没有安装Python需要先安装Python 3.8或以上版本。5.2 编写聊天脚本创建一个新文件命名为chat.py内容如下# -*- coding: utf-8 -*- import json from openai import OpenAI # 配置连接信息 # 注意我们用的是本地服务所以密钥为空 openai_api_key EMPTY openai_api_base http://localhost:9000/v1 # 创建客户端 client OpenAI( api_keyopenai_api_key, base_urlopenai_api_base, ) # 获取可用的模型列表 models client.models.list() print(f可用模型: {[m.id for m in models.data]}) # 选择第一个模型通常就是我们部署的模型 model models.data[0].id print(f使用模型: {model}) def simple_chat(): 简单的单轮对话 print( 简单对话测试 ) # 构建对话消息 messages [ {role: system, content: 你是一个乐于助人的AI助手回答要简洁明了。}, {role: user, content: 用Python写一个函数计算斐波那契数列的第n项} ] # 发送请求 response client.chat.completions.create( modelmodel, messagesmessages, max_tokens500, # 最大生成token数 temperature0.7, # 创造性0-1之间越大越有创意 ) # 打印回复 print(问题:, messages[1][content]) print(回答:, response.choices[0].message.content) print() def streaming_chat(): 流式对话可以看到一个字一个字地输出 print( 流式对话测试 ) messages [ {role: user, content: 给我讲一个关于程序员的笑话} ] print(问题:, messages[0][content]) print(回答: , end, flushTrue) # 流式请求 stream client.chat.completions.create( modelmodel, messagesmessages, streamTrue, temperature0.8, ) full_response for chunk in stream: content chunk.choices[0].delta.content if content: print(content, end, flushTrue) full_response content print(\n) return full_response def multi_turn_chat(): 多轮对话保持上下文 print( 多轮对话测试 ) # 初始化对话历史 conversation [ {role: system, content: 你是一个知识渊博的历史老师用生动有趣的方式讲解历史。} ] questions [ 秦始皇统一六国是在哪一年, 他统一后做了哪些重要改革, 这些改革对后世有什么影响 ] for i, question in enumerate(questions, 1): print(f\n第{i}轮:) print(你:, question) # 添加用户问题到对话历史 conversation.append({role: user, content: question}) # 获取回答 response client.chat.completions.create( modelmodel, messagesconversation, max_tokens300, ) answer response.choices[0].message.content print(AI:, answer) # 添加AI回答到对话历史 conversation.append({role: assistant, content: answer}) if __name__ __main__: # 运行测试 simple_chat() streaming_chat() multi_turn_chat() print(所有测试完成)5.3 运行测试保存文件后在终端运行python chat.py你应该能看到类似这样的输出可用模型: [/qwen2.5-7b-instruct] 使用模型: /qwen2.5-7b-instruct 简单对话测试 问题: 用Python写一个函数计算斐波那契数列的第n项 回答: 当然这是一个计算斐波那契数列第n项的Python函数 python def fibonacci(n): if n 0: return 输入必须为正整数 elif n 1: return 0 elif n 2: return 1 else: a, b 0, 1 for _ in range(2, n): a, b b, a b return b # 测试 print(fibonacci(1)) # 输出: 0 print(fibonacci(5)) # 输出: 3 print(fibonacci(10)) # 输出: 34这个函数的时间复杂度是O(n)空间复杂度是O(1)。 流式对话测试 问题: 给我讲一个关于程序员的笑话 回答: 为什么程序员总是分不清万圣节和圣诞节 因为 Oct 31 Dec 25 Oct是八进制Dec是十进制八进制的31等于十进制的25 多轮对话测试 第1轮: 你: 秦始皇统一六国是在哪一年 AI: 秦始皇统一六国是在公元前221年。这一年秦国灭掉了最后一个诸侯国齐国完成了对中国历史上第一次大一统。第2轮: 你: 他统一后做了哪些重要改革 AI: 秦始皇统一后推行了一系列重要改革史称秦制书同文统一使用小篆作为标准文字车同轨统一车辆和道路的规格统一度量衡制定标准计量单位推行郡县制废除分封制建立中央集权修筑长城连接各国长城防御匈奴第3轮: 你: 这些改革对后世有什么影响 AI: 秦始皇的改革对后世产生了深远影响奠定了中国两千多年中央集权制度的基础文字统一促进了文化交流和民族融合度量衡统一方便了经济发展和贸易郡县制成为后世行政区划的蓝本长城成为中华民族的象征和重要文化遗产所有测试完成看到这些输出说明你的AI助手已经能正常工作了 ## 6. 高级功能让AI学会使用工具 通义千问2.5-7B的一个强大功能是支持“工具调用”Function Calling。这意味着AI不仅能回答问题还能调用外部工具比如查询天气、搜索信息、操作数据库等。 ### 6.1 什么是工具调用 简单来说就是让AI学会“使用工具”。比如你问“北京今天天气怎么样”AI不会直接编造一个答案而是会调用一个天气查询函数获取真实数据后再回答你。 ### 6.2 实现一个天气查询工具 让我们创建一个简单的天气查询示例。新建一个文件weather_tool.py python # -*- coding: utf-8 -*- from openai import OpenAI import json import datetime # 配置客户端 client OpenAI( api_keyEMPTY, base_urlhttp://localhost:9000/v1 ) # 获取模型 models client.models.list() model models.data[0].id # 模拟的天气数据真实场景中这里应该调用天气API weather_data { 北京: {temperature: 25°C, condition: 晴, humidity: 45%}, 上海: {temperature: 28°C, condition: 多云, humidity: 65%}, 广州: {temperature: 32°C, condition: 阵雨, humidity: 80%}, 深圳: {temperature: 31°C, condition: 多云转晴, humidity: 75%}, 杭州: {temperature: 27°C, condition: 小雨, humidity: 70%} } def get_weather(city: str, date: str None) - str: 获取指定城市的天气信息 参数: city: 城市名称 date: 日期格式YYYY-MM-DD默认为今天 返回: 天气信息字符串 if date is None: date datetime.datetime.now().strftime(%Y-%m-%d) if city in weather_data: info weather_data[city] return f{date} {city}的天气气温{info[temperature]}{info[condition]}湿度{info[humidity]} else: return f抱歉暂时没有{city}的天气信息 def get_current_time(timezone: str Asia/Shanghai) - str: 获取当前时间 参数: timezone: 时区默认为亚洲/上海 返回: 当前时间字符串 now datetime.datetime.now() return f当前时间{timezone}{now.strftime(%Y-%m-%d %H:%M:%S)} # 定义工具列表 tools [ { type: function, function: { name: get_weather, description: 获取指定城市的天气信息, parameters: { type: object, properties: { city: { type: string, description: 城市名称例如北京、上海、广州 }, date: { type: string, description: 日期格式为YYYY-MM-DD默认为今天 } }, required: [city] } } }, { type: function, function: { name: get_current_time, description: 获取当前时间, parameters: { type: object, properties: { timezone: { type: string, description: 时区名称例如Asia/Shanghai, America/New_York, default: Asia/Shanghai } }, required: [] } } } ] def chat_with_tools(user_query): 与AI对话支持工具调用 # 初始化消息历史 messages [ {role: system, content: 你是一个有用的助手可以查询天气和时间。如果用户询问相关信息请调用相应的工具。}, {role: user, content: user_query} ] print(f\n用户: {user_query}) print(- * 50) # 第一次请求AI决定是否需要调用工具 response client.chat.completions.create( modelmodel, messagesmessages, toolstools, tool_choiceauto, # 让AI自动决定是否调用工具 ) response_message response.choices[0].message # 检查AI是否想调用工具 if response_message.tool_calls: print(AI决定调用工具...) # 处理每个工具调用 for tool_call in response_message.tool_calls: function_name tool_call.function.name function_args json.loads(tool_call.function.arguments) print(f调用工具: {function_name}) print(f参数: {function_args}) # 根据工具名称调用相应的函数 if function_name get_weather: function_response get_weather(**function_args) elif function_name get_current_time: function_response get_current_time(**function_args) else: function_response f未知工具: {function_name} print(f工具返回: {function_response}) # 将工具调用和结果添加到消息历史 messages.append(response_message) # 添加AI的消息包含工具调用 messages.append({ role: tool, tool_call_id: tool_call.id, name: function_name, content: function_response }) # 第二次请求AI基于工具结果生成最终回复 print(\nAI基于工具结果生成回答...) second_response client.chat.completions.create( modelmodel, messagesmessages, toolstools, ) final_answer second_response.choices[0].message.content print(fAI: {final_answer}) else: # 如果AI没有调用工具直接输出回答 print(fAI: {response_message.content}) if __name__ __main__: # 测试几个查询 test_queries [ 北京今天天气怎么样, 现在几点了, 帮我查一下上海明天的天气, 广州和深圳的天气对比一下, 讲一个笑话 # 这个不需要工具调用 ] for query in test_queries: chat_with_tools(query) print(\n *60 \n)6.3 运行工具调用示例保存文件后运行python weather_tool.py你会看到类似这样的输出用户: 北京今天天气怎么样 -------------------------------------------------- AI决定调用工具... 调用工具: get_weather 参数: {city: 北京} 工具返回: 2024-01-15 北京的天⽓⽓温25°C晴湿度45% AI基于工具结果生成回答... AI: 根据查询结果北京今天2024-01-15的天气情况是气温25°C晴天湿度45%。天气不错适合外出活动。 用户: 现在几点了 -------------------------------------------------- AI决定调用工具... 调用工具: get_current_time 参数: {} 工具返回: 当前时间Asia/Shanghai2024-01-15 14:30:25 AI基于工具结果生成回答... AI: 现在是北京时间2024年1月15日14点30分25秒。 用户: 讲一个笑话 -------------------------------------------------- AI: 为什么程序员讨厌自然 因为里面有太多bug虫子这个例子展示了AI如何理解用户的问题需要什么工具自动调用合适的工具基于工具返回的结果生成回答在实际应用中你可以把get_weather函数替换成真正的天气API调用或者添加更多工具比如搜索网页信息查询数据库发送邮件控制智能设备等等7. 常见问题与解决方案7.1 启动时遇到问题怎么办问题1端口被占用Error: Port 9000 is already in use解决换一个端口比如把-p 9000:9000改成-p 9001:9000问题2权限不足Got permission denied while trying to connect to the Docker daemon socket解决把当前用户加入docker组然后重新登录sudo usermod -aG docker $USER # 注销重新登录或者执行 newgrp docker问题3CUDA版本不兼容CUDA error: no kernel image is available for execution on the device解决检查CUDA版本可能需要更新显卡驱动nvidia-smi # 查看CUDA版本 # 如果版本太旧去NVIDIA官网下载新驱动7.2 运行速度慢怎么办原因1使用CPU模式CPU模式比GPU慢几十倍如果可能尽量用GPU。原因2显存不足使用了内存交换检查是否因为显存不足导致使用了系统内存# 查看GPU使用情况 nvidia-smi如果看到显存接近100%可以尝试减小--max-model-len参数使用量化版本的模型关闭其他占用显存的程序原因3模型首次加载慢第一次加载模型需要时间后续请求会快很多。7.3 如何优化性能使用量化模型如果你只有8GB显存可以考虑使用4bit量化的GGUF版本下载量化模型大约4GB使用llama.cpp或类似工具部署速度可能稍慢但显存占用大大减少调整参数# 增加批处理大小提高吞吐量 --max-num-batched-tokens 2048 # 使用更快的注意力机制 --attention-backend flash-attn # 调整工作线程数根据CPU核心数 --worker-use-ray7.4 如何长期运行服务上面的命令加了--rm参数容器退出后会自动删除。如果想长期运行# 使用-d参数在后台运行 docker run --runtime nvidia --gpus device0 \ -p 9000:9000 \ --ipchost \ -v /data/models/qwen2.5-7b-instruct:/qwen2.5-7b-instruct \ --name qwen-server \ -d \ # 后台运行 vllm/vllm-openai:latest \ --model /qwen2.5-7b-instruct \ --dtype float16 \ --host 0.0.0.0 \ --port 9000管理容器# 查看运行状态 docker ps # 查看日志 docker logs qwen-server # 停止服务 docker stop qwen-server # 启动已停止的服务 docker start qwen-server # 删除服务 docker rm qwen-server8. 总结通过这篇教程你应该已经成功在本地部署了通义千问2.5-7B-Instruct模型并且学会了如何与它对话、如何使用工具调用功能。让我们回顾一下关键步骤第一步环境准备检查电脑配置推荐有8GB以上显存的NVIDIA显卡安装Docker和NVIDIA驱动支持准备好30GB左右的存储空间第二步获取模型从ModelScope或Hugging Face下载模型文件确认文件完整约28GB第三步一键部署使用DockervLLM组合启动服务一个命令搞定所有依赖和环境配置服务运行在localhost:9000第四步测试对话安装openai Python库编写简单的聊天脚本测试单轮、多轮、流式对话第五步高级功能实现工具调用Function Calling让AI学会使用外部工具扩展更多实用功能你现在的收获拥有了一个本地运行的AI助手随时可用理解了Docker部署大模型的基本流程掌握了通过API调用模型的方法学会了如何让AI使用工具扩展能力下一步可以尝试为你的AI助手开发一个Web界面集成到现有的应用程序中尝试不同的模型参数temperature、max_tokens等探索更多工具调用场景学习如何微调模型让它更懂你的需求部署大模型听起来很复杂但用对工具和方法后其实比想象中简单。通义千问2.5-7B-Instruct作为一个中等规模的模型在性能和资源消耗之间取得了很好的平衡非常适合个人开发者和小团队使用。现在你的本地AI助手已经就绪接下来就是发挥创意用它来解决实际问题的时候了。无论是写代码、分析文档、回答问题还是作为一个智能聊天伙伴它都能给你带来惊喜。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
小白必看！通义千问2.5-7B部署全攻略，从安装到对话实战
发布时间：2026/7/7 19:29:40
小白必看通义千问2.5-7B部署全攻略从安装到对话实战1. 引言你是不是也想在本地电脑上运行一个属于自己的AI助手看到别人玩大模型很酷但自己尝试时总被复杂的安装步骤、环境配置劝退别担心今天这篇教程就是为你准备的。通义千问2.5-7B-Instruct是阿里在2024年9月推出的一个70亿参数的中等规模模型。别看它体积不算最大但能力相当全面——能写代码、能解数学题、能处理长文档还支持工具调用。最重要的是它完全开源免费个人和企业都能用。以前部署一个大模型你可能需要折腾Python环境、CUDA驱动、各种依赖库一个环节出错就得从头再来。现在有了Docker我们可以把整个运行环境打包成一个“集装箱”一键就能启动。配合vLLM这个高性能推理引擎还能让模型跑得更快。这篇教程会手把手带你完成从零到一的完整部署过程。即使你之前没接触过Docker跟着步骤走也能在30分钟内拥有一个能对话、能调用的本地AI服务。2. 部署前准备检查你的“装备”2.1 硬件要求你的电脑够用吗在开始之前先确认一下你的电脑配置。通义千问2.5-7B-Instruct对硬件有一定要求但门槛并不算高推荐配置能获得较好体验显卡NVIDIA GPU显存至少8GB比如RTX 3060、RTX 4060内存16GB或以上存储空间至少30GB可用空间用来放模型文件操作系统LinuxUbuntu 20.04/22.04、Windows 10/11、macOS都可以最低配置也能跑但可能慢一些如果没有独立显卡用CPU也能运行只是速度会慢很多内存8GB勉强够用但处理长文本时可能会卡顿存储空间至少需要15GB怎么查看自己的配置Windows按WinR输入dxdiag在“显示”标签页看显卡信息Linux在终端输入nvidia-smi看显卡信息free -h看内存macOS点击左上角苹果图标→关于本机2.2 软件准备安装必要的工具我们需要两个核心工具Docker和NVIDIA驱动支持。第一步安装DockerDocker就像是一个“应用集装箱”能把模型和所有依赖打包在一起运行。对于Ubuntu系统打开终端依次执行# 更新软件包列表 sudo apt update # 安装必要的依赖 sudo apt install -y apt-transport-https ca-certificates curl software-properties-common # 添加Docker官方GPG密钥 curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg # 添加Docker仓库 echo deb [arch$(dpkg --print-architecture) signed-by/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable | sudo tee /etc/apt/sources.list.d/docker.list /dev/null # 安装Docker引擎 sudo apt update sudo apt install -y docker-ce docker-ce-cli containerd.io # 将当前用户添加到docker组避免每次都要sudo sudo usermod -aG docker $USER # 重启docker服务 sudo systemctl restart docker安装完成后验证一下docker --version如果看到类似Docker version 24.0.7的输出说明安装成功。第二步配置NVIDIA支持如果你有NVIDIA显卡如果你的电脑有NVIDIA显卡还需要安装NVIDIA Container Toolkit让Docker能使用GPU。# 添加NVIDIA仓库 distribution$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list # 安装工具包 sudo apt update sudo apt install -y nvidia-container-toolkit # 重启docker sudo systemctl restart docker测试GPU是否能在Docker中使用docker run --rm --gpus all nvidia/cuda:12.2-base nvidia-smi如果看到显卡信息表格说明配置成功。如果报错可能需要重启电脑。小提示如果你是Windows或macOS用户可以直接下载Docker Desktop它包含了图形界面安装更简单。Windows用户还需要安装WSL2Windows Subsystem for Linux。3. 获取模型文件准备好“大脑”模型文件就是AI的“大脑”我们需要先下载它。通义千问2.5-7B-Instruct的模型文件大约28GBFP16格式下载需要一些时间。3.1 创建模型存放目录首先找个地方存放模型文件。建议放在空间充足的磁盘分区# 创建一个专门存放模型的目录 mkdir -p /data/models/qwen2.5-7b-instruct cd /data/models/qwen2.5-7b-instruct如果你没有/data目录也可以放在其他地方比如mkdir -p ~/ai_models/qwen2.5-7b-instruct cd ~/ai_models/qwen2.5-7b-instruct3.2 下载模型文件有几种方式可以获取模型文件方式一从ModelScope下载推荐给国内用户ModelScope是阿里推出的模型社区下载速度通常比较快。# 安装ModelScope库 pip install modelscope # 使用Python脚本下载 python -c from modelscope import snapshot_download model_dir snapshot_download(Qwen/Qwen2.5-7B-Instruct, cache_dir/data/models) print(f模型已下载到: {model_dir}) 方式二从Hugging Face下载如果你能访问Hugging Face也可以用他们的工具# 安装huggingface-hub pip install huggingface-hub # 下载模型 huggingface-cli download Qwen/Qwen2.5-7B-Instruct --local-dir /data/models/qwen2.5-7b-instruct --local-dir-use-symlinks False方式三手动下载如果上面方法都不行如果网络条件有限可以尝试找朋友用上面的方法下载后拷贝给你使用网盘分享注意检查文件完整性在公司或学校的服务器上下载后传输到本地3.3 检查模型文件下载完成后检查目录里应该有这些文件/data/models/qwen2.5-7b-instruct/ ├── config.json # 模型配置文件 ├── model.safetensors.index.json # 模型索引文件 ├── model-00001-of-00004.safetensors # 模型权重文件分片 ├── model-00002-of-00004.safetensors ├── model-00003-of-00004.safetensors ├── model-00004-of-00004.safetensors ├── tokenizer_config.json # 分词器配置 ├── tokenizer.json # 分词器文件 └── special_tokens_map.json # 特殊token映射如果文件齐全就可以进入下一步了。下载过程可能需要1-2小时取决于你的网速。4. 一键部署启动你的AI服务现在到了最激动人心的环节——启动模型服务。我们会用DockervLLM的组合这是目前最简单高效的部署方式。4.1 理解部署命令先来看完整的启动命令我会逐行解释每个参数的作用docker run --runtime nvidia --gpus device0 \ -p 9000:9000 \ --ipchost \ -v /data/models/qwen2.5-7b-instruct:/qwen2.5-7b-instruct \ -it --rm \ vllm/vllm-openai:latest \ --model /qwen2.5-7b-instruct \ --dtype float16 \ --max-parallel-loading-workers 1 \ --max-model-len 10240 \ --enforce-eager \ --host 0.0.0.0 \ --port 9000 \ --enable-auto-tool-choice \ --tool-call-parser hermes参数解释参数作用如果出问题怎么调整--gpus device0使用第0号GPU如果你有多张显卡如果只有一张卡这个参数可以去掉-p 9000:9000把容器内的9000端口映射到主机的9000端口如果9000端口被占用可以改成-p 8080:9000-v /data/models/...把本地的模型目录挂载到容器里确保路径正确如果模型放在别处就改这里--model /qwen2.5-7b-instruct指定模型路径容器内的路径要和-v挂载的路径对应--dtype float16使用半精度浮点数节省显存如果显存不够可以改成--dtype bfloat16--max-model-len 10240最大上下文长度10240个token如果处理长文档可以增加到32768--enforce-eager禁用CUDA Graph提高兼容性如果启动报错可以去掉这个参数--enable-auto-tool-choice启用自动工具选择如果要使用函数调用功能必须开启--tool-call-parser hermes使用hermes格式解析工具调用对于通义千问模型用hermes或qwen都可以4.2 实际执行部署打开终端确保你在有模型文件的目录下然后直接运行上面的命令。第一次运行时会下载vLLM的Docker镜像大约需要下载1-2GB取决于你的网络速度。下载完成后你会看到类似这样的输出Downloading vllm/vllm-openai:latest... ... Starting vLLM engine with model: /qwen2.5-7b-instruct Loading model weights... Initializing distributed environment... Model loaded in 45.23 seconds Uvicorn running on http://0.0.0.0:9000 (Press CTRLC to quit)看到最后一行Uvicorn running on http://0.0.0.0:9000恭喜你模型服务已经成功启动了。几个常见情况的处理情况1显存不够怎么办如果启动时报错CUDA out of memory说明显卡显存不足。可以尝试# 方法1使用更低的精度如果显卡支持bfloat16 --dtype bfloat16 # 方法2减少最大上下文长度 --max-model-len 4096 # 方法3使用CPU模式会很慢仅测试用 # 去掉--gpus参数添加--device cpu情况2没有GPU怎么办如果你的电脑没有NVIDIA显卡可以用CPU模式运行docker run \ -p 9000:9000 \ -v /data/models/qwen2.5-7b-instruct:/qwen2.5-7b-instruct \ -it --rm \ vllm/vllm-openai:latest \ --model /qwen2.5-7b-instruct \ --device cpu \ --dtype float32 \ --host 0.0.0.0 --port 9000情况3想用更小的模型版本如果28GB的完整版对你来说太大可以考虑使用量化版本4-8GB但效果会略有下降。你需要在下载模型时选择GGUF格式的量化版本。4.3 验证服务是否正常服务启动后打开浏览器访问http://localhost:9000/docs如果能看到Swagger API文档页面说明服务运行正常。你也可以用curl命令测试curl http://localhost:9000/v1/models应该返回类似这样的JSON{ object: list, data: [ { id: /qwen2.5-7b-instruct, object: model, created: 1730000000, owned_by: vllm } ] }5. 第一次对话和你的AI助手聊天服务跑起来了现在让我们写个简单的Python脚本来和它对话。5.1 安装必要的Python库打开一个新的终端窗口不要关闭运行模型的终端安装openai库pip install openai如果你还没有安装Python需要先安装Python 3.8或以上版本。5.2 编写聊天脚本创建一个新文件命名为chat.py内容如下# -*- coding: utf-8 -*- import json from openai import OpenAI # 配置连接信息 # 注意我们用的是本地服务所以密钥为空 openai_api_key EMPTY openai_api_base http://localhost:9000/v1 # 创建客户端 client OpenAI( api_keyopenai_api_key, base_urlopenai_api_base, ) # 获取可用的模型列表 models client.models.list() print(f可用模型: {[m.id for m in models.data]}) # 选择第一个模型通常就是我们部署的模型 model models.data[0].id print(f使用模型: {model}) def simple_chat(): 简单的单轮对话 print( 简单对话测试 ) # 构建对话消息 messages [ {role: system, content: 你是一个乐于助人的AI助手回答要简洁明了。}, {role: user, content: 用Python写一个函数计算斐波那契数列的第n项} ] # 发送请求 response client.chat.completions.create( modelmodel, messagesmessages, max_tokens500, # 最大生成token数 temperature0.7, # 创造性0-1之间越大越有创意 ) # 打印回复 print(问题:, messages[1][content]) print(回答:, response.choices[0].message.content) print() def streaming_chat(): 流式对话可以看到一个字一个字地输出 print( 流式对话测试 ) messages [ {role: user, content: 给我讲一个关于程序员的笑话} ] print(问题:, messages[0][content]) print(回答: , end, flushTrue) # 流式请求 stream client.chat.completions.create( modelmodel, messagesmessages, streamTrue, temperature0.8, ) full_response for chunk in stream: content chunk.choices[0].delta.content if content: print(content, end, flushTrue) full_response content print(\n) return full_response def multi_turn_chat(): 多轮对话保持上下文 print( 多轮对话测试 ) # 初始化对话历史 conversation [ {role: system, content: 你是一个知识渊博的历史老师用生动有趣的方式讲解历史。} ] questions [ 秦始皇统一六国是在哪一年, 他统一后做了哪些重要改革, 这些改革对后世有什么影响 ] for i, question in enumerate(questions, 1): print(f\n第{i}轮:) print(你:, question) # 添加用户问题到对话历史 conversation.append({role: user, content: question}) # 获取回答 response client.chat.completions.create( modelmodel, messagesconversation, max_tokens300, ) answer response.choices[0].message.content print(AI:, answer) # 添加AI回答到对话历史 conversation.append({role: assistant, content: answer}) if __name__ __main__: # 运行测试 simple_chat() streaming_chat() multi_turn_chat() print(所有测试完成)5.3 运行测试保存文件后在终端运行python chat.py你应该能看到类似这样的输出可用模型: [/qwen2.5-7b-instruct] 使用模型: /qwen2.5-7b-instruct 简单对话测试 问题: 用Python写一个函数计算斐波那契数列的第n项 回答: 当然这是一个计算斐波那契数列第n项的Python函数 python def fibonacci(n): if n 0: return 输入必须为正整数 elif n 1: return 0 elif n 2: return 1 else: a, b 0, 1 for _ in range(2, n): a, b b, a b return b # 测试 print(fibonacci(1)) # 输出: 0 print(fibonacci(5)) # 输出: 3 print(fibonacci(10)) # 输出: 34这个函数的时间复杂度是O(n)空间复杂度是O(1)。 流式对话测试 问题: 给我讲一个关于程序员的笑话 回答: 为什么程序员总是分不清万圣节和圣诞节 因为 Oct 31 Dec 25 Oct是八进制Dec是十进制八进制的31等于十进制的25 多轮对话测试 第1轮: 你: 秦始皇统一六国是在哪一年 AI: 秦始皇统一六国是在公元前221年。这一年秦国灭掉了最后一个诸侯国齐国完成了对中国历史上第一次大一统。第2轮: 你: 他统一后做了哪些重要改革 AI: 秦始皇统一后推行了一系列重要改革史称秦制书同文统一使用小篆作为标准文字车同轨统一车辆和道路的规格统一度量衡制定标准计量单位推行郡县制废除分封制建立中央集权修筑长城连接各国长城防御匈奴第3轮: 你: 这些改革对后世有什么影响 AI: 秦始皇的改革对后世产生了深远影响奠定了中国两千多年中央集权制度的基础文字统一促进了文化交流和民族融合度量衡统一方便了经济发展和贸易郡县制成为后世行政区划的蓝本长城成为中华民族的象征和重要文化遗产所有测试完成看到这些输出说明你的AI助手已经能正常工作了 ## 6. 高级功能让AI学会使用工具 通义千问2.5-7B的一个强大功能是支持“工具调用”Function Calling。这意味着AI不仅能回答问题还能调用外部工具比如查询天气、搜索信息、操作数据库等。 ### 6.1 什么是工具调用 简单来说就是让AI学会“使用工具”。比如你问“北京今天天气怎么样”AI不会直接编造一个答案而是会调用一个天气查询函数获取真实数据后再回答你。 ### 6.2 实现一个天气查询工具 让我们创建一个简单的天气查询示例。新建一个文件weather_tool.py python # -*- coding: utf-8 -*- from openai import OpenAI import json import datetime # 配置客户端 client OpenAI( api_keyEMPTY, base_urlhttp://localhost:9000/v1 ) # 获取模型 models client.models.list() model models.data[0].id # 模拟的天气数据真实场景中这里应该调用天气API weather_data { 北京: {temperature: 25°C, condition: 晴, humidity: 45%}, 上海: {temperature: 28°C, condition: 多云, humidity: 65%}, 广州: {temperature: 32°C, condition: 阵雨, humidity: 80%}, 深圳: {temperature: 31°C, condition: 多云转晴, humidity: 75%}, 杭州: {temperature: 27°C, condition: 小雨, humidity: 70%} } def get_weather(city: str, date: str None) - str: 获取指定城市的天气信息 参数: city: 城市名称 date: 日期格式YYYY-MM-DD默认为今天 返回: 天气信息字符串 if date is None: date datetime.datetime.now().strftime(%Y-%m-%d) if city in weather_data: info weather_data[city] return f{date} {city}的天气气温{info[temperature]}{info[condition]}湿度{info[humidity]} else: return f抱歉暂时没有{city}的天气信息 def get_current_time(timezone: str Asia/Shanghai) - str: 获取当前时间 参数: timezone: 时区默认为亚洲/上海 返回: 当前时间字符串 now datetime.datetime.now() return f当前时间{timezone}{now.strftime(%Y-%m-%d %H:%M:%S)} # 定义工具列表 tools [ { type: function, function: { name: get_weather, description: 获取指定城市的天气信息, parameters: { type: object, properties: { city: { type: string, description: 城市名称例如北京、上海、广州 }, date: { type: string, description: 日期格式为YYYY-MM-DD默认为今天 } }, required: [city] } } }, { type: function, function: { name: get_current_time, description: 获取当前时间, parameters: { type: object, properties: { timezone: { type: string, description: 时区名称例如Asia/Shanghai, America/New_York, default: Asia/Shanghai } }, required: [] } } } ] def chat_with_tools(user_query): 与AI对话支持工具调用 # 初始化消息历史 messages [ {role: system, content: 你是一个有用的助手可以查询天气和时间。如果用户询问相关信息请调用相应的工具。}, {role: user, content: user_query} ] print(f\n用户: {user_query}) print(- * 50) # 第一次请求AI决定是否需要调用工具 response client.chat.completions.create( modelmodel, messagesmessages, toolstools, tool_choiceauto, # 让AI自动决定是否调用工具 ) response_message response.choices[0].message # 检查AI是否想调用工具 if response_message.tool_calls: print(AI决定调用工具...) # 处理每个工具调用 for tool_call in response_message.tool_calls: function_name tool_call.function.name function_args json.loads(tool_call.function.arguments) print(f调用工具: {function_name}) print(f参数: {function_args}) # 根据工具名称调用相应的函数 if function_name get_weather: function_response get_weather(**function_args) elif function_name get_current_time: function_response get_current_time(**function_args) else: function_response f未知工具: {function_name} print(f工具返回: {function_response}) # 将工具调用和结果添加到消息历史 messages.append(response_message) # 添加AI的消息包含工具调用 messages.append({ role: tool, tool_call_id: tool_call.id, name: function_name, content: function_response }) # 第二次请求AI基于工具结果生成最终回复 print(\nAI基于工具结果生成回答...) second_response client.chat.completions.create( modelmodel, messagesmessages, toolstools, ) final_answer second_response.choices[0].message.content print(fAI: {final_answer}) else: # 如果AI没有调用工具直接输出回答 print(fAI: {response_message.content}) if __name__ __main__: # 测试几个查询 test_queries [ 北京今天天气怎么样, 现在几点了, 帮我查一下上海明天的天气, 广州和深圳的天气对比一下, 讲一个笑话 # 这个不需要工具调用 ] for query in test_queries: chat_with_tools(query) print(\n *60 \n)6.3 运行工具调用示例保存文件后运行python weather_tool.py你会看到类似这样的输出用户: 北京今天天气怎么样 -------------------------------------------------- AI决定调用工具... 调用工具: get_weather 参数: {city: 北京} 工具返回: 2024-01-15 北京的天⽓⽓温25°C晴湿度45% AI基于工具结果生成回答... AI: 根据查询结果北京今天2024-01-15的天气情况是气温25°C晴天湿度45%。天气不错适合外出活动。 用户: 现在几点了 -------------------------------------------------- AI决定调用工具... 调用工具: get_current_time 参数: {} 工具返回: 当前时间Asia/Shanghai2024-01-15 14:30:25 AI基于工具结果生成回答... AI: 现在是北京时间2024年1月15日14点30分25秒。 用户: 讲一个笑话 -------------------------------------------------- AI: 为什么程序员讨厌自然 因为里面有太多bug虫子这个例子展示了AI如何理解用户的问题需要什么工具自动调用合适的工具基于工具返回的结果生成回答在实际应用中你可以把get_weather函数替换成真正的天气API调用或者添加更多工具比如搜索网页信息查询数据库发送邮件控制智能设备等等7. 常见问题与解决方案7.1 启动时遇到问题怎么办问题1端口被占用Error: Port 9000 is already in use解决换一个端口比如把-p 9000:9000改成-p 9001:9000问题2权限不足Got permission denied while trying to connect to the Docker daemon socket解决把当前用户加入docker组然后重新登录sudo usermod -aG docker $USER # 注销重新登录或者执行 newgrp docker问题3CUDA版本不兼容CUDA error: no kernel image is available for execution on the device解决检查CUDA版本可能需要更新显卡驱动nvidia-smi # 查看CUDA版本 # 如果版本太旧去NVIDIA官网下载新驱动7.2 运行速度慢怎么办原因1使用CPU模式CPU模式比GPU慢几十倍如果可能尽量用GPU。原因2显存不足使用了内存交换检查是否因为显存不足导致使用了系统内存# 查看GPU使用情况 nvidia-smi如果看到显存接近100%可以尝试减小--max-model-len参数使用量化版本的模型关闭其他占用显存的程序原因3模型首次加载慢第一次加载模型需要时间后续请求会快很多。7.3 如何优化性能使用量化模型如果你只有8GB显存可以考虑使用4bit量化的GGUF版本下载量化模型大约4GB使用llama.cpp或类似工具部署速度可能稍慢但显存占用大大减少调整参数# 增加批处理大小提高吞吐量 --max-num-batched-tokens 2048 # 使用更快的注意力机制 --attention-backend flash-attn # 调整工作线程数根据CPU核心数 --worker-use-ray7.4 如何长期运行服务上面的命令加了--rm参数容器退出后会自动删除。如果想长期运行# 使用-d参数在后台运行 docker run --runtime nvidia --gpus device0 \ -p 9000:9000 \ --ipchost \ -v /data/models/qwen2.5-7b-instruct:/qwen2.5-7b-instruct \ --name qwen-server \ -d \ # 后台运行 vllm/vllm-openai:latest \ --model /qwen2.5-7b-instruct \ --dtype float16 \ --host 0.0.0.0 \ --port 9000管理容器# 查看运行状态 docker ps # 查看日志 docker logs qwen-server # 停止服务 docker stop qwen-server # 启动已停止的服务 docker start qwen-server # 删除服务 docker rm qwen-server8. 总结通过这篇教程你应该已经成功在本地部署了通义千问2.5-7B-Instruct模型并且学会了如何与它对话、如何使用工具调用功能。让我们回顾一下关键步骤第一步环境准备检查电脑配置推荐有8GB以上显存的NVIDIA显卡安装Docker和NVIDIA驱动支持准备好30GB左右的存储空间第二步获取模型从ModelScope或Hugging Face下载模型文件确认文件完整约28GB第三步一键部署使用DockervLLM组合启动服务一个命令搞定所有依赖和环境配置服务运行在localhost:9000第四步测试对话安装openai Python库编写简单的聊天脚本测试单轮、多轮、流式对话第五步高级功能实现工具调用Function Calling让AI学会使用外部工具扩展更多实用功能你现在的收获拥有了一个本地运行的AI助手随时可用理解了Docker部署大模型的基本流程掌握了通过API调用模型的方法学会了如何让AI使用工具扩展能力下一步可以尝试为你的AI助手开发一个Web界面集成到现有的应用程序中尝试不同的模型参数temperature、max_tokens等探索更多工具调用场景学习如何微调模型让它更懂你的需求部署大模型听起来很复杂但用对工具和方法后其实比想象中简单。通义千问2.5-7B-Instruct作为一个中等规模的模型在性能和资源消耗之间取得了很好的平衡非常适合个人开发者和小团队使用。现在你的本地AI助手已经就绪接下来就是发挥创意用它来解决实际问题的时候了。无论是写代码、分析文档、回答问题还是作为一个智能聊天伙伴它都能给你带来惊喜。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
