手把手教学DeepSeek-R1-Distill-Qwen-1.5B部署与测试完整教程1. DeepSeek-R1-Distill-Qwen-1.5B模型简介DeepSeek-R1-Distill-Qwen-1.5B是一款轻量级但性能强大的语言模型特别适合在资源有限的环境中部署使用。这个模型基于Qwen2.5-Math-1.5B基础模型通过知识蒸馏技术融合了R1架构的优势。这个模型有三大特点值得关注高效压缩通过结构化剪枝和量化感知训练将模型参数量压缩至1.5B级别同时保持了85%以上的原始模型精度基于C4数据集的评估任务适配在蒸馏过程中引入了领域特定数据如法律文书、医疗问诊使模型在垂直场景下的F1值提升了12-15个百分点硬件友好支持INT8量化部署内存占用较FP32模式降低75%在NVIDIA T4等边缘设备上可实现实时推理2. 环境准备与快速部署2.1 系统要求在开始部署前请确保你的系统满足以下最低要求操作系统Ubuntu 20.04或更高版本Python版本3.8或更高GPUNVIDIA显卡推荐显存≥16GBCUDA11.8或更高版本cuDNN8.6或更高版本2.2 安装依赖首先我们需要安装必要的Python包pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install vllm transformers sentencepiece2.3 下载模型权重你可以从官方渠道获取模型权重文件或者使用以下命令下载git lfs install git clone https://huggingface.co/DeepSeek/DeepSeek-R1-Distill-Qwen-1.5B3. 使用vLLM启动模型服务3.1 启动服务命令vLLM是一个高性能的推理引擎特别适合大语言模型的部署。使用以下命令启动服务python -m vllm.entrypoints.api_server \ --model DeepSeek-R1-Distill-Qwen-1.5B \ --tensor-parallel-size 1 \ --port 8000这个命令会启动一个本地API服务监听8000端口。参数说明--model指定模型路径--tensor-parallel-size设置并行度单卡设为1--port指定服务端口3.2 验证服务是否启动成功进入工作目录并查看启动日志cd /root/workspace cat deepseek_qwen.log如果看到类似下面的输出表示服务已成功启动INFO 07-10 15:30:12 llm_engine.py:72] Initializing an LLM engine with config: modelDeepSeek-R1-Distill-Qwen-1.5B, tokenizerDeepSeek-R1-Distill-Qwen-1.5B, tokenizer_modeauto, trust_remote_codeFalse, download_dirNone, use_np_weightsFalse, use_dummy_weightsFalse, dtypetorch.float16, seed0) INFO 07-10 15:30:12 model_runner.py:204] Loading model weights took: 12.345 s INFO 07-10 15:30:13 llm_engine.py:180] # GPU blocks: 512, # CPU blocks: 256 INFO 07-10 15:30:13 llm_engine.py:181] Using prefix caching INFO 07-10 15:30:13 api_server.py:130] Started server process [12345] INFO 07-10 15:30:13 api_server.py:131] Waiting for application startup. INFO 07-10 15:30:13 api_server.py:134] Application startup complete. INFO 07-10 15:30:13 api_server.py:135] Uvicorn running on http://0.0.0.0:8000 (Press CTRLC to quit)4. 测试模型服务4.1 基础测试脚本下面是一个完整的Python测试脚本可以用来验证模型服务是否正常工作from openai import OpenAI import requests import json class LLMClient: def __init__(self, base_urlhttp://localhost:8000/v1): self.client OpenAI( base_urlbase_url, api_keynone # vllm通常不需要API密钥 ) self.model DeepSeek-R1-Distill-Qwen-1.5B def chat_completion(self, messages, streamFalse, temperature0.7, max_tokens2048): 基础的聊天完成功能 try: response self.client.chat.completions.create( modelself.model, messagesmessages, temperaturetemperature, max_tokensmax_tokens, streamstream ) return response except Exception as e: print(fAPI调用错误: {e}) return None def stream_chat(self, messages): 流式对话示例 print(AI: , end, flushTrue) full_response try: stream self.chat_completion(messages, streamTrue) if stream: for chunk in stream: if chunk.choices[0].delta.content is not None: content chunk.choices[0].delta.content print(content, end, flushTrue) full_response content print() # 换行 return full_response except Exception as e: print(f流式对话错误: {e}) return def simple_chat(self, user_message, system_messageNone): 简化版对话接口 messages [] if system_message: messages.append({role: system, content: system_message}) messages.append({role: user, content: user_message}) response self.chat_completion(messages) if response and response.choices: return response.choices[0].message.content return 请求失败 # 使用示例 if __name__ __main__: # 初始化客户端 llm_client LLMClient() # 测试普通对话 print( 普通对话测试 ) response llm_client.simple_chat( 请用中文介绍一下人工智能的发展历史, 你是一个有帮助的AI助手 ) print(f回复: {response}) print(\n 流式对话测试 ) messages [ {role: system, content: 你是一个诗人}, {role: user, content: 写两首关于秋天的五言绝句} ] llm_client.stream_chat(messages)4.2 测试结果验证运行上述脚本后你应该能看到类似下面的输出 普通对话测试 回复: 人工智能的发展历史可以追溯到20世纪50年代。1950年艾伦·图灵提出了著名的图灵测试为AI研究奠定了基础。1956年达特茅斯会议正式确立了人工智能这一学科。经历了多次繁荣与寒冬后随着深度学习技术的突破和大数据的兴起AI在21世纪迎来了爆发式发展... 流式对话测试 AI: 秋风吹叶落寒露凝为霜。远山含黛色近水映斜阳。 金菊傲霜开丹枫似火燃。登高望远处天地一色间。5. 模型使用建议5.1 参数设置建议根据官方文档和实际测试我们建议在使用DeepSeek-R1系列模型时遵循以下配置温度参数设置在0.5-0.7之间推荐0.6以防止出现无休止的重复或不连贯的输出提示设计避免添加系统提示所有指令都应包含在用户提示中数学问题建议在提示中加入如下指令请逐步推理并将最终答案放在\boxed{}内性能评估建议进行多次测试并取结果平均值5.2 常见问题处理在测试过程中我们观察到模型有时会输出\n\n来绕过某些查询。为确保模型进行充分的推理建议强制模型在每次输出开始时使用\n。如果遇到模型响应不理想的情况可以尝试调整temperature参数降低值会使输出更确定提高值会使输出更多样提供更明确的指令限制最大输出长度max_tokens使用更具体的系统提示6. 总结通过本教程我们完成了DeepSeek-R1-Distill-Qwen-1.5B模型的完整部署和测试流程。总结一下关键步骤环境准备安装必要的软件和依赖模型部署使用vLLM启动模型服务服务验证通过日志检查服务是否正常启动功能测试编写Python脚本测试模型的对话能力参数调优根据实际需求调整模型参数这个轻量级模型在保持高性能的同时对硬件要求相对较低非常适合中小企业和个人开发者使用。它的知识蒸馏特性使其在特定领域任务上表现优异同时保持了良好的泛化能力。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
手把手教学：DeepSeek-R1-Distill-Qwen-1.5B部署与测试完整教程
发布时间：2026/6/22 12:52:38
手把手教学DeepSeek-R1-Distill-Qwen-1.5B部署与测试完整教程1. DeepSeek-R1-Distill-Qwen-1.5B模型简介DeepSeek-R1-Distill-Qwen-1.5B是一款轻量级但性能强大的语言模型特别适合在资源有限的环境中部署使用。这个模型基于Qwen2.5-Math-1.5B基础模型通过知识蒸馏技术融合了R1架构的优势。这个模型有三大特点值得关注高效压缩通过结构化剪枝和量化感知训练将模型参数量压缩至1.5B级别同时保持了85%以上的原始模型精度基于C4数据集的评估任务适配在蒸馏过程中引入了领域特定数据如法律文书、医疗问诊使模型在垂直场景下的F1值提升了12-15个百分点硬件友好支持INT8量化部署内存占用较FP32模式降低75%在NVIDIA T4等边缘设备上可实现实时推理2. 环境准备与快速部署2.1 系统要求在开始部署前请确保你的系统满足以下最低要求操作系统Ubuntu 20.04或更高版本Python版本3.8或更高GPUNVIDIA显卡推荐显存≥16GBCUDA11.8或更高版本cuDNN8.6或更高版本2.2 安装依赖首先我们需要安装必要的Python包pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install vllm transformers sentencepiece2.3 下载模型权重你可以从官方渠道获取模型权重文件或者使用以下命令下载git lfs install git clone https://huggingface.co/DeepSeek/DeepSeek-R1-Distill-Qwen-1.5B3. 使用vLLM启动模型服务3.1 启动服务命令vLLM是一个高性能的推理引擎特别适合大语言模型的部署。使用以下命令启动服务python -m vllm.entrypoints.api_server \ --model DeepSeek-R1-Distill-Qwen-1.5B \ --tensor-parallel-size 1 \ --port 8000这个命令会启动一个本地API服务监听8000端口。参数说明--model指定模型路径--tensor-parallel-size设置并行度单卡设为1--port指定服务端口3.2 验证服务是否启动成功进入工作目录并查看启动日志cd /root/workspace cat deepseek_qwen.log如果看到类似下面的输出表示服务已成功启动INFO 07-10 15:30:12 llm_engine.py:72] Initializing an LLM engine with config: modelDeepSeek-R1-Distill-Qwen-1.5B, tokenizerDeepSeek-R1-Distill-Qwen-1.5B, tokenizer_modeauto, trust_remote_codeFalse, download_dirNone, use_np_weightsFalse, use_dummy_weightsFalse, dtypetorch.float16, seed0) INFO 07-10 15:30:12 model_runner.py:204] Loading model weights took: 12.345 s INFO 07-10 15:30:13 llm_engine.py:180] # GPU blocks: 512, # CPU blocks: 256 INFO 07-10 15:30:13 llm_engine.py:181] Using prefix caching INFO 07-10 15:30:13 api_server.py:130] Started server process [12345] INFO 07-10 15:30:13 api_server.py:131] Waiting for application startup. INFO 07-10 15:30:13 api_server.py:134] Application startup complete. INFO 07-10 15:30:13 api_server.py:135] Uvicorn running on http://0.0.0.0:8000 (Press CTRLC to quit)4. 测试模型服务4.1 基础测试脚本下面是一个完整的Python测试脚本可以用来验证模型服务是否正常工作from openai import OpenAI import requests import json class LLMClient: def __init__(self, base_urlhttp://localhost:8000/v1): self.client OpenAI( base_urlbase_url, api_keynone # vllm通常不需要API密钥 ) self.model DeepSeek-R1-Distill-Qwen-1.5B def chat_completion(self, messages, streamFalse, temperature0.7, max_tokens2048): 基础的聊天完成功能 try: response self.client.chat.completions.create( modelself.model, messagesmessages, temperaturetemperature, max_tokensmax_tokens, streamstream ) return response except Exception as e: print(fAPI调用错误: {e}) return None def stream_chat(self, messages): 流式对话示例 print(AI: , end, flushTrue) full_response try: stream self.chat_completion(messages, streamTrue) if stream: for chunk in stream: if chunk.choices[0].delta.content is not None: content chunk.choices[0].delta.content print(content, end, flushTrue) full_response content print() # 换行 return full_response except Exception as e: print(f流式对话错误: {e}) return def simple_chat(self, user_message, system_messageNone): 简化版对话接口 messages [] if system_message: messages.append({role: system, content: system_message}) messages.append({role: user, content: user_message}) response self.chat_completion(messages) if response and response.choices: return response.choices[0].message.content return 请求失败 # 使用示例 if __name__ __main__: # 初始化客户端 llm_client LLMClient() # 测试普通对话 print( 普通对话测试 ) response llm_client.simple_chat( 请用中文介绍一下人工智能的发展历史, 你是一个有帮助的AI助手 ) print(f回复: {response}) print(\n 流式对话测试 ) messages [ {role: system, content: 你是一个诗人}, {role: user, content: 写两首关于秋天的五言绝句} ] llm_client.stream_chat(messages)4.2 测试结果验证运行上述脚本后你应该能看到类似下面的输出 普通对话测试 回复: 人工智能的发展历史可以追溯到20世纪50年代。1950年艾伦·图灵提出了著名的图灵测试为AI研究奠定了基础。1956年达特茅斯会议正式确立了人工智能这一学科。经历了多次繁荣与寒冬后随着深度学习技术的突破和大数据的兴起AI在21世纪迎来了爆发式发展... 流式对话测试 AI: 秋风吹叶落寒露凝为霜。远山含黛色近水映斜阳。 金菊傲霜开丹枫似火燃。登高望远处天地一色间。5. 模型使用建议5.1 参数设置建议根据官方文档和实际测试我们建议在使用DeepSeek-R1系列模型时遵循以下配置温度参数设置在0.5-0.7之间推荐0.6以防止出现无休止的重复或不连贯的输出提示设计避免添加系统提示所有指令都应包含在用户提示中数学问题建议在提示中加入如下指令请逐步推理并将最终答案放在\boxed{}内性能评估建议进行多次测试并取结果平均值5.2 常见问题处理在测试过程中我们观察到模型有时会输出\n\n来绕过某些查询。为确保模型进行充分的推理建议强制模型在每次输出开始时使用\n。如果遇到模型响应不理想的情况可以尝试调整temperature参数降低值会使输出更确定提高值会使输出更多样提供更明确的指令限制最大输出长度max_tokens使用更具体的系统提示6. 总结通过本教程我们完成了DeepSeek-R1-Distill-Qwen-1.5B模型的完整部署和测试流程。总结一下关键步骤环境准备安装必要的软件和依赖模型部署使用vLLM启动模型服务服务验证通过日志检查服务是否正常启动功能测试编写Python脚本测试模型的对话能力参数调优根据实际需求调整模型参数这个轻量级模型在保持高性能的同时对硬件要求相对较低非常适合中小企业和个人开发者使用。它的知识蒸馏特性使其在特定领域任务上表现优异同时保持了良好的泛化能力。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
