Puro-2B 项目的标题本身就是一整段信息基于 Qwen2-1.5B在 RTX 5090 上完成训练总预算控制在 $5090 左右。命名里的 Poor Lab 说得直白预算有限的实验室也能靠一张消费级旗舰显卡把小型语言模型的训练闭环跑通。这个定位正好踩中了当前很多团队的真实需求不是所有人都能用上 A100 或 H100 集群但不少垂直场景确实需要自己动手微调一次模型。项目的核心价值不在“发布了多强的模型”而在验证一条低成本路线。Qwen2-1.5B 参数量只有 1.5B单张 RTX 5090 的 32GB 显存足够容纳通过 QLoRA、4bit 量化、梯度累积这些常规手段可以做到单卡完整训练。训练成本可控硬件门槛消费级这个结论对小实验室、高校课题组和个人开发者都有参考意义。本文会围绕这条低成本训练路线展开内容包括硬件环境准备、训练资源控制、LoRA 微调脚本思路、效果验证、推理部署、API 调用、性能观察和问题排查。如果你正在用 RTX 50 系显卡或者打算评估 2B 级别以下模型的单卡训练可行性这篇内容可以直接收藏。1. 核心能力速览先把从项目标题和公开信息里能确认的能力边界整理成表方便判断这个项目适不适合自己。能力项说明项目定位基于 Qwen2-1.5B 的低预算单卡训练项目基底模型Qwen2-1.5B参数量 1.5BApache 2.0 开源协议训练硬件RTX 509032GB 显存Blackwell 架构成本目标整体预算控制在约 $5090主要训练手段4bit/8bit 量化、LoRA/QLoRA、低精度混合精度训练启动方式命令行训练脚本 本地推理服务接口能力训练产物可通过标准推理框架提供 API批量任务训练数据可批量处理训练完成后可批量推理验证适合场景高校课题组、个人开发者、企业 PoC 验证从表格可以看到Puro-2B 的定位很清晰不追求用大集群堆出大模型而是用一张消费级显卡把 1.5B 级别模型的训练成本打下来。Qwen2-1.5B 在开源社区里属于轻量级模型单卡可训推理速度也快。这个项目的重点不是模型本身多强而是整个训练管线如何在 RTX 5090 上跑通并控制成本。关于显存占用需要说明一点具体数值取决于你用的是 QLoRA 还是全参数微调序列长度是 1024 还是 2048batch size 设多少激活检查点有没有开。这个表格里给的是能力判断不是某一套固定配置的实测数字实际以你本机的 nvidia-smi 输出为准。另一个关键点是 $5090 这个数字怎么理解。从项目名来看$5090 与 RTX 5090 同名更像是一个“消费级预算”的标尺。它提醒我们训练一个 1.5B 模型硬件成本可能只有过去一个零头。需要说明的是Puro-2B 的标题传递了核心信息但具体训练脚本、超参数、数据配比和最终模型表现需要以项目仓库的 README 和代码为准。下面的部署和训练方案属于通用的标准做法用来帮你理解整条路线。2. 适用场景与使用边界2.1 适合谁这类项目最适合三类人。第一类是高校课题组。很多组没有自己的 GPU 集群申请大量算力卡也不现实。1.5B 模型已经是很多垂直任务够用的规模用一张 RTX 5090 训练学生自己就能操作不需要排队申请集群资源。第二类是个人开发者。比如你想做一个垂直领域的小助手面向产品说明书、内部文档、个人知识库微调一个 1.5B 模型完全可行。训练数据量不大单卡跑几十个小时就能出一个可用版本。第三类是做 PoC 验证的企业团队。在正式上大集群之前先用单卡把数据准备、训练流程、评测标准和部署方式全部跑通再平滑迁移到更大规模。这种“先小规模验证再放大”的思路能省下很多试错成本。2.2 不适合谁反过来也要说清楚边界。如果你的目标是训练 8B、13B 甚至更大参数量的模型单张 RTX 5090 的 32GB 显存撑不住正常吞吐效率会非常低。如果要做从零开始的预训练而不是基于开源模型的微调数据规模和训练时长也不是消费级单卡能覆盖的。如果生产环境要求高并发推理一张消费级显卡在吞吐量和稳定性上不适合直接扛生产流量更适合先做本地验证。2.3 合规边界训练数据必须确认来源合法。用开源模型要遵守模型许可Qwen2 系列采用 Apache 2.0 协议对商用比较友好但要确认你使用的版本和衍生说明是否满足协议要求。如果训练数据包含用户个人信息要做好去标识化和隐私保护不能把原始日志直接丢给模型。输出内容也要加审核环节尤其当模型会面向公开用户时。3. 本地训练环境准备3.1 硬件要求Puro-2B 明确使用的训练硬件是 RTX 5090。这张卡属于 NVIDIA Blackwell 架构显存为 32GB 级别采用 GDDR7。相比上一代 RTX 4090 的 24GB 显存VRAM 提升明显这也是 1.5B 模型训练能单卡跑下来的关键基础。系统内存建议不低于 64GB。虽然大部分数据可以在显存里处理但 CPU offload、数据加载、中间检查点保存都会吃内存。磁盘建议预留至少 200GB 空间一个 1.5B 模型的检查点、训练日志和数据副本加起来很容易占用几十 GB多个检查点叠加就更明显。3.2 软件版本RTX 50 系显卡需要较新的 CUDA 版本通常建议 CUDA 12.8 及以上。PyTorch 也要选择支持 Blackwell 架构的版本。如果你从 PyPI 安装默认版本建议先确认它是否包含对 RTX 50 系的 kernel 支持否则可能出现“驱动能识别、训练跑不起来”的尴尬情况。Python 使用 3.10 或 3.11 都是稳妥选择。训练框架推荐 transformers、peft、accelerate、datasets量化层可以用 bitsandbytes 或 torchaoLoRA 微调用 peft训练器用 TRL 的 SFTTrainer 或 transformers 自带的 Trainer。3.3 创建虚拟环境# 创建训练环境实际版本号按项目依赖调整 conda create -n puro2b python3.10 -y conda activate puro2b pip install --upgrade pip pip install torch transformers peft accelerate datasets pip install bitsandbytes pip install trl先安装核心训练依赖。如果本地已经有满足要求的 CUDA 和驱动这一步通常很顺利。如果 bitsandbytes 安装后导入报错大概率是 CUDA 版本不匹配可以在项目 issues 里搜索对应版本。3.4 验证环境是否可用装完后先跑一个简单的检测命令确认 CUDA、PyTorch 和显卡驱动是连通的避免在训练到一半才发现问题# 验证 CUDA 和 PyTorch 是否可用 python -c import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))正常情况下第一行输出True第二行输出类似NVIDIA GeForce RTX 5090的设备名。如果输出False说明 PyTorch 没有识别到显卡需要检查驱动、CUDA 版本和 PyTorch 的安装方式。3.5 训练数据准备这个环节容易被忽略但对训练效果影响最大。训练数据建议使用 JSONL 格式每条数据是一个完整的文本块。以指令微调为例典型格式是{text: 问题请介绍一下RTX 5090的显存容量。\n回答RTX 5090配备32GB GDDR7显存。}每行一条编码统一为 UTF-8。数据准备完成后检查三件事总条数是否足够通常至少几百条数据里有没有大量重复内容prompt 格式是否统一。格式不统一是训练后效果混乱的头号原因。4. 模型训练与资源控制4.1 训练思路1.5B 模型在 32GB 显存上可以有多种训练姿势。最省显存的是 QLoRA模型 4bit 量化加载LoRA 只更新少量参数8GB 显存都能跑 7B 模型在 32GB 上跑 1.5B 模型非常从容。如果你对训练效果有更高要求可以改用 8bit 量化或 bf16 半精度加载配合梯度检查点、梯度累积也能在单卡上完成训练但显存余量会明显变少。具体到 Puro-2B 这种“验证单卡训练成本”的项目更推荐先走 QLoRA。原因很简单把显存余量留给更长的序列和更大的 batch训练吞吐更高稳定性也更好。下面给出的训练脚本是通用 SFT 模板实际超参数你需要在项目代码里找到对应版本。4.2 通用 SFT 训练脚本框架# 通用 SFT/QLoRA 训练脚本非项目官方脚本实际参数以仓库为准 import torch from datasets import load_dataset from transformers import ( AutoTokenizer, AutoModelForCausalLM, TrainingArguments, BitsAndBytesConfig, ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from trl import SFTTrainer model_name Qwen/Qwen2-1.5B quant_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.bfloat16, ) model AutoModelForCausalLM.from_pretrained( model_name, quantization_configquant_config, device_map{: 0}, low_cpu_mem_usageTrue, ) model prepare_model_for_kbit_training(model) lora_config LoraConfig( r8, lora_alpha16, target_modules[q_proj, k_proj, v_proj, o_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) dataset load_dataset( json, data_filestrain.jsonl, splittrain, ) training_args TrainingArguments( output_dir./output, per_device_train_batch_size1, gradient_accumulation_steps16, learning_rate2e-4, bf16True, max_steps500, logging_steps10, save_steps50, gradient_checkpointingTrue, ) trainer SFTTrainer( modelmodel, argstraining_args, train_datasetdataset, dataset_text_fieldtext, max_seq_length2048, tokenizerAutoTokenizer.from_pretrained(model_name), ) trainer.train()这套脚本的核心思路是模型以 4bit 加载训练时只更新 LoRA 参数batch size 设为 1通过 16 步梯度累积模拟等效 batch size 16。gradient_checkpointingTrue会牺牲一点训练速度换取显存但对单卡训练来说是稳妥的起点。注意几个细节target_modules只写了常规注意力投影层如果项目仓库里对 MLP 层也做了 LoRA需要补对应名称。max_seq_length2048是通用选择如果训练数据摘要较长可以看显存余量调到 4096。如果使用全参数微调而不是 LoRAprepare_model_for_kbit_training和get_peft_model就不需要但你必须开梯度检查点并且严格控制 batch size 和序列长度。训练数据建议以 JSONL 保存每条数据是一个{text: ...}的完整文本块。4.3 降低显存占用的手段当显存紧张时按优先级做四件事调小per_device_train_batch_size到 1这是最后一道保险打开gradient_checkpointingTrue调低max_seq_length再不行就把bnb_4bit_use_double_quantTrue打开。RTX 5090 的 32GB 显存跑 1.5B 模型的 QLoRA 训练正常情况下不太会撞到显存天花板。真正容易出问题的是加载分词器、模型权重、优化器状态叠加后的峰值占用。所以第一次训练时先开一个很小的参数跑通流程确认显存占用符合预期后再慢慢放大。4.4 训练过程中的观察训练启动后重点看三个指标loss 是否在合理下降、GPU 利用率是否接近 90% 以上、显存占用是否持续稳定。如果 loss 一直不降先检查学习率再把训练数据的格式打印出来看看 tokenizer 处理后是什么样。很多问题在数据环节不在模型环节。如果你在训练日志里看到 loss 从 1.5 大幅下降到 0.3但后面几乎不降这是正常现象。小模型在特定数据集上的 loss 不会无限下降真正重要的判断是生成效果是否达到预期。loss 只能说明拟合程度不能直接代表业务效果。5. 训练效果验证训练完成后先看训练日志里的 loss 曲线然后做几轮生成测试。5.1 基础生成测试用一段与训练任务相关的 prompt 测试最基本的生成能力。from transformers import AutoModelForCausalLM, AutoTokenizer model_path ./output/checkpoint-500 tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypeauto, device_mapcuda:0, ) prompt 请用一段话介绍 RTX 5090 的显存特点 inputs tokenizer(prompt, return_tensorspt).to(cuda:0) output model.generate(**inputs, max_new_tokens200, do_sampleTrue, temperature0.7) print(tokenizer.decode(output[0], skip_special_tokensTrue))这里有一个关键点LoRA 训练保存的是 adapter 权重而不是完整权重。直接加载 checkpoint 目录可能加载的是 adapter而不是最终可推理的模型。更稳妥的做法是先合并 LoRA 权重再加载完整权重具体方法见第 6 章。5.2 训练集与验证集对比从训练集里抽出 10 到 20 条数据把 prompt 单独输入模型看生成结果是否接近训练目标。这一步可以快速判断模型是否过拟合。如果训练集效果好但验证集效果差说明过拟合了需要增加数据量、降低训练步数或者加大 LoRA dropout。如果训练集本身效果都很差问题大概率出在数据清洗和 prompt 格式上。5.3 对比原版模型训练前用原版 Qwen2-1.5B 生成同样的 prompt训练后用微调模型生成同样的 prompt两者并排对比。这个方法是判断微调是否有效的关键。一个常见误区是只看 loss 下降就认为训练成功实际上 loss 下降可能只代表模型学会了模仿训练数据并不代表它学到了新能力。拿具体任务做输入输出对比比任何指标都直观。6. 权重合并、部署与 API 调用6.1 合并 LoRA 权重训练完成后先用 peft 把 LoRA adapter 合并到基础模型导出完整权重再拿去部署。# 合并 LoRA 权重为标准模型权重 from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer base_model AutoModelForCausalLM.from_pretrained( Qwen/Qwen2-1.5B, torch_dtypeauto, ) model PeftModel.from_pretrained(base_model, ./output/checkpoint-500) merged model.merge_and_unload() merged.save_pretrained(./puro-2b-merged) tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen2-1.5B) tokenizer.save_pretrained(./puro-2b-merged)合并后的目录就是一个完整的模型目录可以用 transformers 直接加载也可以用 vLLM 等推理框架加载。6.2 使用 vLLM 部署推理如果推理量比较大推荐用 vLLM 加载合并后的模型。vLLM 对 1.5B 这类小模型的吞吐优化明显多条请求并发时优势更大。# vLLM 加载与批量生成示例 from vllm import LLM, SamplingParams model_path ./puro-2b-merged llm LLM(modelmodel_path, tensor_parallel_size1) params SamplingParams( temperature0.7, max_tokens256, ) prompts [ 请解释一下 QLoRA 的原理。, 请介绍一下 RTX 50 系显卡的架构特点。, ] outputs llm.generate(prompts, params) for output in outputs: print(output.outputs[0].text) print(---)这个代码适合批量验证。你可以准备一个 prompt 列表一次跑完然后把结果存档再根据结果决定是否继续调整训练数据。注意 vLLM 的安装版本需要适配你的 CUDA 和 PyTorch 环境。6.3 API 服务调用如果希望把模型封装成服务可以用 vLLM 自带的 OpenAI 兼容接口启动然后用标准 HTTP 请求调用。# 启动 OpenAI 兼容 API 服务 python -m vllm.entrypoints.openai.api_server \ --model ./puro-2b-merged \ --served-model-name puro-2b \ --port 8000启动后接口默认在 8000 端口。调用示例import requests url http://127.0.0.1:8000/v1/completions payload { model: puro-2b, prompt: 请写一段 RTX 5090 的硬件介绍。, max_tokens: 256, temperature: 0.7, } resp requests.post(url, jsonpayload, timeout120) print(resp.json()[choices][0][text])这种 OpenAI 兼容接口的好处是你既有 vLLM 的并发优化又能在不改代码的情况下把模型接到已有的工具链里。很多开源项目对这类接口是直接支持的微调完的模型可以当作文生文服务来用。6.4 批量任务设计如果是批量生成场景比如对一批文档做摘要、对一批问答对做自动评估建议先准备一个输入文件每行一条 prompt用vllm.generate循环处理并加上错误重试和日志输出。这里有个实践技巧每处理 100 条保存一次中间结果避免中途崩溃全部丢失。7. 资源占用与性能观察单卡训练最需要关注的就是显存和功耗。7.1 观察命令训练和推理时用nvidia-smi持续观察显存占用、温度和功耗。# 每 2 秒刷新一次 watch -n 2 nvidia-smi7.2 观察点位训练前加载模型后可以看到基础显存占用。训练中观察显存峰值、GPU 利用率、功耗、温度。推理时观察显存占用比训练阶段明显下降但 GPU 利用率可能波动较大这取决于 batch size 和序列长度。不同训练方式下的显存占用差异很大。QLoRA 4bit 加载会显著降低峰值显存全参数微调 bf16 状态会吃得更厉害。所以建议第一次训练时用小参数跑通确认显存占用符合预期后再放大不要一上来就开大序列长度和高 batch size。7.3 性能优化的优先顺序如果训练速度偏慢先看 GPU 利用率是否拉满。如果 GPU 利用率不高检查数据加载是否成为瓶颈可以把数据集预先转为 tokenized 格式缓存到磁盘或调大dataloader_num_workers。如果 GPU 利用率拉满但训练 RTX 5090单卡训练Qwen2-1.5B：低成本QLoRA微调实战路线
Puro-2B 项目的标题本身就是一整段信息基于 Qwen2-1.5B在 RTX 5090 上完成训练总预算控制在 $5090 左右。命名里的 Poor Lab 说得直白预算有限的实验室也能靠一张消费级旗舰显卡把小型语言模型的训练闭环跑通。这个定位正好踩中了当前很多团队的真实需求不是所有人都能用上 A100 或 H100 集群但不少垂直场景确实需要自己动手微调一次模型。项目的核心价值不在“发布了多强的模型”而在验证一条低成本路线。Qwen2-1.5B 参数量只有 1.5B单张 RTX 5090 的 32GB 显存足够容纳通过 QLoRA、4bit 量化、梯度累积这些常规手段可以做到单卡完整训练。训练成本可控硬件门槛消费级这个结论对小实验室、高校课题组和个人开发者都有参考意义。本文会围绕这条低成本训练路线展开内容包括硬件环境准备、训练资源控制、LoRA 微调脚本思路、效果验证、推理部署、API 调用、性能观察和问题排查。如果你正在用 RTX 50 系显卡或者打算评估 2B 级别以下模型的单卡训练可行性这篇内容可以直接收藏。1. 核心能力速览先把从项目标题和公开信息里能确认的能力边界整理成表方便判断这个项目适不适合自己。能力项说明项目定位基于 Qwen2-1.5B 的低预算单卡训练项目基底模型Qwen2-1.5B参数量 1.5BApache 2.0 开源协议训练硬件RTX 509032GB 显存Blackwell 架构成本目标整体预算控制在约 $5090主要训练手段4bit/8bit 量化、LoRA/QLoRA、低精度混合精度训练启动方式命令行训练脚本 本地推理服务接口能力训练产物可通过标准推理框架提供 API批量任务训练数据可批量处理训练完成后可批量推理验证适合场景高校课题组、个人开发者、企业 PoC 验证从表格可以看到Puro-2B 的定位很清晰不追求用大集群堆出大模型而是用一张消费级显卡把 1.5B 级别模型的训练成本打下来。Qwen2-1.5B 在开源社区里属于轻量级模型单卡可训推理速度也快。这个项目的重点不是模型本身多强而是整个训练管线如何在 RTX 5090 上跑通并控制成本。关于显存占用需要说明一点具体数值取决于你用的是 QLoRA 还是全参数微调序列长度是 1024 还是 2048batch size 设多少激活检查点有没有开。这个表格里给的是能力判断不是某一套固定配置的实测数字实际以你本机的 nvidia-smi 输出为准。另一个关键点是 $5090 这个数字怎么理解。从项目名来看$5090 与 RTX 5090 同名更像是一个“消费级预算”的标尺。它提醒我们训练一个 1.5B 模型硬件成本可能只有过去一个零头。需要说明的是Puro-2B 的标题传递了核心信息但具体训练脚本、超参数、数据配比和最终模型表现需要以项目仓库的 README 和代码为准。下面的部署和训练方案属于通用的标准做法用来帮你理解整条路线。2. 适用场景与使用边界2.1 适合谁这类项目最适合三类人。第一类是高校课题组。很多组没有自己的 GPU 集群申请大量算力卡也不现实。1.5B 模型已经是很多垂直任务够用的规模用一张 RTX 5090 训练学生自己就能操作不需要排队申请集群资源。第二类是个人开发者。比如你想做一个垂直领域的小助手面向产品说明书、内部文档、个人知识库微调一个 1.5B 模型完全可行。训练数据量不大单卡跑几十个小时就能出一个可用版本。第三类是做 PoC 验证的企业团队。在正式上大集群之前先用单卡把数据准备、训练流程、评测标准和部署方式全部跑通再平滑迁移到更大规模。这种“先小规模验证再放大”的思路能省下很多试错成本。2.2 不适合谁反过来也要说清楚边界。如果你的目标是训练 8B、13B 甚至更大参数量的模型单张 RTX 5090 的 32GB 显存撑不住正常吞吐效率会非常低。如果要做从零开始的预训练而不是基于开源模型的微调数据规模和训练时长也不是消费级单卡能覆盖的。如果生产环境要求高并发推理一张消费级显卡在吞吐量和稳定性上不适合直接扛生产流量更适合先做本地验证。2.3 合规边界训练数据必须确认来源合法。用开源模型要遵守模型许可Qwen2 系列采用 Apache 2.0 协议对商用比较友好但要确认你使用的版本和衍生说明是否满足协议要求。如果训练数据包含用户个人信息要做好去标识化和隐私保护不能把原始日志直接丢给模型。输出内容也要加审核环节尤其当模型会面向公开用户时。3. 本地训练环境准备3.1 硬件要求Puro-2B 明确使用的训练硬件是 RTX 5090。这张卡属于 NVIDIA Blackwell 架构显存为 32GB 级别采用 GDDR7。相比上一代 RTX 4090 的 24GB 显存VRAM 提升明显这也是 1.5B 模型训练能单卡跑下来的关键基础。系统内存建议不低于 64GB。虽然大部分数据可以在显存里处理但 CPU offload、数据加载、中间检查点保存都会吃内存。磁盘建议预留至少 200GB 空间一个 1.5B 模型的检查点、训练日志和数据副本加起来很容易占用几十 GB多个检查点叠加就更明显。3.2 软件版本RTX 50 系显卡需要较新的 CUDA 版本通常建议 CUDA 12.8 及以上。PyTorch 也要选择支持 Blackwell 架构的版本。如果你从 PyPI 安装默认版本建议先确认它是否包含对 RTX 50 系的 kernel 支持否则可能出现“驱动能识别、训练跑不起来”的尴尬情况。Python 使用 3.10 或 3.11 都是稳妥选择。训练框架推荐 transformers、peft、accelerate、datasets量化层可以用 bitsandbytes 或 torchaoLoRA 微调用 peft训练器用 TRL 的 SFTTrainer 或 transformers 自带的 Trainer。3.3 创建虚拟环境# 创建训练环境实际版本号按项目依赖调整 conda create -n puro2b python3.10 -y conda activate puro2b pip install --upgrade pip pip install torch transformers peft accelerate datasets pip install bitsandbytes pip install trl先安装核心训练依赖。如果本地已经有满足要求的 CUDA 和驱动这一步通常很顺利。如果 bitsandbytes 安装后导入报错大概率是 CUDA 版本不匹配可以在项目 issues 里搜索对应版本。3.4 验证环境是否可用装完后先跑一个简单的检测命令确认 CUDA、PyTorch 和显卡驱动是连通的避免在训练到一半才发现问题# 验证 CUDA 和 PyTorch 是否可用 python -c import torch; print(torch.cuda.is_available()); print(torch.cuda.get_device_name(0))正常情况下第一行输出True第二行输出类似NVIDIA GeForce RTX 5090的设备名。如果输出False说明 PyTorch 没有识别到显卡需要检查驱动、CUDA 版本和 PyTorch 的安装方式。3.5 训练数据准备这个环节容易被忽略但对训练效果影响最大。训练数据建议使用 JSONL 格式每条数据是一个完整的文本块。以指令微调为例典型格式是{text: 问题请介绍一下RTX 5090的显存容量。\n回答RTX 5090配备32GB GDDR7显存。}每行一条编码统一为 UTF-8。数据准备完成后检查三件事总条数是否足够通常至少几百条数据里有没有大量重复内容prompt 格式是否统一。格式不统一是训练后效果混乱的头号原因。4. 模型训练与资源控制4.1 训练思路1.5B 模型在 32GB 显存上可以有多种训练姿势。最省显存的是 QLoRA模型 4bit 量化加载LoRA 只更新少量参数8GB 显存都能跑 7B 模型在 32GB 上跑 1.5B 模型非常从容。如果你对训练效果有更高要求可以改用 8bit 量化或 bf16 半精度加载配合梯度检查点、梯度累积也能在单卡上完成训练但显存余量会明显变少。具体到 Puro-2B 这种“验证单卡训练成本”的项目更推荐先走 QLoRA。原因很简单把显存余量留给更长的序列和更大的 batch训练吞吐更高稳定性也更好。下面给出的训练脚本是通用 SFT 模板实际超参数你需要在项目代码里找到对应版本。4.2 通用 SFT 训练脚本框架# 通用 SFT/QLoRA 训练脚本非项目官方脚本实际参数以仓库为准 import torch from datasets import load_dataset from transformers import ( AutoTokenizer, AutoModelForCausalLM, TrainingArguments, BitsAndBytesConfig, ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from trl import SFTTrainer model_name Qwen/Qwen2-1.5B quant_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.bfloat16, ) model AutoModelForCausalLM.from_pretrained( model_name, quantization_configquant_config, device_map{: 0}, low_cpu_mem_usageTrue, ) model prepare_model_for_kbit_training(model) lora_config LoraConfig( r8, lora_alpha16, target_modules[q_proj, k_proj, v_proj, o_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM, ) model get_peft_model(model, lora_config) dataset load_dataset( json, data_filestrain.jsonl, splittrain, ) training_args TrainingArguments( output_dir./output, per_device_train_batch_size1, gradient_accumulation_steps16, learning_rate2e-4, bf16True, max_steps500, logging_steps10, save_steps50, gradient_checkpointingTrue, ) trainer SFTTrainer( modelmodel, argstraining_args, train_datasetdataset, dataset_text_fieldtext, max_seq_length2048, tokenizerAutoTokenizer.from_pretrained(model_name), ) trainer.train()这套脚本的核心思路是模型以 4bit 加载训练时只更新 LoRA 参数batch size 设为 1通过 16 步梯度累积模拟等效 batch size 16。gradient_checkpointingTrue会牺牲一点训练速度换取显存但对单卡训练来说是稳妥的起点。注意几个细节target_modules只写了常规注意力投影层如果项目仓库里对 MLP 层也做了 LoRA需要补对应名称。max_seq_length2048是通用选择如果训练数据摘要较长可以看显存余量调到 4096。如果使用全参数微调而不是 LoRAprepare_model_for_kbit_training和get_peft_model就不需要但你必须开梯度检查点并且严格控制 batch size 和序列长度。训练数据建议以 JSONL 保存每条数据是一个{text: ...}的完整文本块。4.3 降低显存占用的手段当显存紧张时按优先级做四件事调小per_device_train_batch_size到 1这是最后一道保险打开gradient_checkpointingTrue调低max_seq_length再不行就把bnb_4bit_use_double_quantTrue打开。RTX 5090 的 32GB 显存跑 1.5B 模型的 QLoRA 训练正常情况下不太会撞到显存天花板。真正容易出问题的是加载分词器、模型权重、优化器状态叠加后的峰值占用。所以第一次训练时先开一个很小的参数跑通流程确认显存占用符合预期后再慢慢放大。4.4 训练过程中的观察训练启动后重点看三个指标loss 是否在合理下降、GPU 利用率是否接近 90% 以上、显存占用是否持续稳定。如果 loss 一直不降先检查学习率再把训练数据的格式打印出来看看 tokenizer 处理后是什么样。很多问题在数据环节不在模型环节。如果你在训练日志里看到 loss 从 1.5 大幅下降到 0.3但后面几乎不降这是正常现象。小模型在特定数据集上的 loss 不会无限下降真正重要的判断是生成效果是否达到预期。loss 只能说明拟合程度不能直接代表业务效果。5. 训练效果验证训练完成后先看训练日志里的 loss 曲线然后做几轮生成测试。5.1 基础生成测试用一段与训练任务相关的 prompt 测试最基本的生成能力。from transformers import AutoModelForCausalLM, AutoTokenizer model_path ./output/checkpoint-500 tokenizer AutoTokenizer.from_pretrained(model_path) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypeauto, device_mapcuda:0, ) prompt 请用一段话介绍 RTX 5090 的显存特点 inputs tokenizer(prompt, return_tensorspt).to(cuda:0) output model.generate(**inputs, max_new_tokens200, do_sampleTrue, temperature0.7) print(tokenizer.decode(output[0], skip_special_tokensTrue))这里有一个关键点LoRA 训练保存的是 adapter 权重而不是完整权重。直接加载 checkpoint 目录可能加载的是 adapter而不是最终可推理的模型。更稳妥的做法是先合并 LoRA 权重再加载完整权重具体方法见第 6 章。5.2 训练集与验证集对比从训练集里抽出 10 到 20 条数据把 prompt 单独输入模型看生成结果是否接近训练目标。这一步可以快速判断模型是否过拟合。如果训练集效果好但验证集效果差说明过拟合了需要增加数据量、降低训练步数或者加大 LoRA dropout。如果训练集本身效果都很差问题大概率出在数据清洗和 prompt 格式上。5.3 对比原版模型训练前用原版 Qwen2-1.5B 生成同样的 prompt训练后用微调模型生成同样的 prompt两者并排对比。这个方法是判断微调是否有效的关键。一个常见误区是只看 loss 下降就认为训练成功实际上 loss 下降可能只代表模型学会了模仿训练数据并不代表它学到了新能力。拿具体任务做输入输出对比比任何指标都直观。6. 权重合并、部署与 API 调用6.1 合并 LoRA 权重训练完成后先用 peft 把 LoRA adapter 合并到基础模型导出完整权重再拿去部署。# 合并 LoRA 权重为标准模型权重 from peft import PeftModel from transformers import AutoModelForCausalLM, AutoTokenizer base_model AutoModelForCausalLM.from_pretrained( Qwen/Qwen2-1.5B, torch_dtypeauto, ) model PeftModel.from_pretrained(base_model, ./output/checkpoint-500) merged model.merge_and_unload() merged.save_pretrained(./puro-2b-merged) tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen2-1.5B) tokenizer.save_pretrained(./puro-2b-merged)合并后的目录就是一个完整的模型目录可以用 transformers 直接加载也可以用 vLLM 等推理框架加载。6.2 使用 vLLM 部署推理如果推理量比较大推荐用 vLLM 加载合并后的模型。vLLM 对 1.5B 这类小模型的吞吐优化明显多条请求并发时优势更大。# vLLM 加载与批量生成示例 from vllm import LLM, SamplingParams model_path ./puro-2b-merged llm LLM(modelmodel_path, tensor_parallel_size1) params SamplingParams( temperature0.7, max_tokens256, ) prompts [ 请解释一下 QLoRA 的原理。, 请介绍一下 RTX 50 系显卡的架构特点。, ] outputs llm.generate(prompts, params) for output in outputs: print(output.outputs[0].text) print(---)这个代码适合批量验证。你可以准备一个 prompt 列表一次跑完然后把结果存档再根据结果决定是否继续调整训练数据。注意 vLLM 的安装版本需要适配你的 CUDA 和 PyTorch 环境。6.3 API 服务调用如果希望把模型封装成服务可以用 vLLM 自带的 OpenAI 兼容接口启动然后用标准 HTTP 请求调用。# 启动 OpenAI 兼容 API 服务 python -m vllm.entrypoints.openai.api_server \ --model ./puro-2b-merged \ --served-model-name puro-2b \ --port 8000启动后接口默认在 8000 端口。调用示例import requests url http://127.0.0.1:8000/v1/completions payload { model: puro-2b, prompt: 请写一段 RTX 5090 的硬件介绍。, max_tokens: 256, temperature: 0.7, } resp requests.post(url, jsonpayload, timeout120) print(resp.json()[choices][0][text])这种 OpenAI 兼容接口的好处是你既有 vLLM 的并发优化又能在不改代码的情况下把模型接到已有的工具链里。很多开源项目对这类接口是直接支持的微调完的模型可以当作文生文服务来用。6.4 批量任务设计如果是批量生成场景比如对一批文档做摘要、对一批问答对做自动评估建议先准备一个输入文件每行一条 prompt用vllm.generate循环处理并加上错误重试和日志输出。这里有个实践技巧每处理 100 条保存一次中间结果避免中途崩溃全部丢失。7. 资源占用与性能观察单卡训练最需要关注的就是显存和功耗。7.1 观察命令训练和推理时用nvidia-smi持续观察显存占用、温度和功耗。# 每 2 秒刷新一次 watch -n 2 nvidia-smi7.2 观察点位训练前加载模型后可以看到基础显存占用。训练中观察显存峰值、GPU 利用率、功耗、温度。推理时观察显存占用比训练阶段明显下降但 GPU 利用率可能波动较大这取决于 batch size 和序列长度。不同训练方式下的显存占用差异很大。QLoRA 4bit 加载会显著降低峰值显存全参数微调 bf16 状态会吃得更厉害。所以建议第一次训练时用小参数跑通确认显存占用符合预期后再放大不要一上来就开大序列长度和高 batch size。7.3 性能优化的优先顺序如果训练速度偏慢先看 GPU 利用率是否拉满。如果 GPU 利用率不高检查数据加载是否成为瓶颈可以把数据集预先转为 tokenized 格式缓存到磁盘或调大dataloader_num_workers。如果 GPU 利用率拉满但训练