目录1. 引言2. 什么是参数高效微调PEFT3. PEFT 的主要作用与优势4. PEFT 的实现类型4.1 选择性微调Selective4.2 基于额外模块的方法Additive4.3 基于重参数化的方法Reparameterization‑based5. 如何选择适合的 PEFT 方法6. 实战使用 Hugging Face PEFT 微调大模型1. 引言近年来大规模预训练语言模型LLM如 GPT‑4、LLaMA、Bloom 等通过海量无标注数据习得了丰富的语言知识并在诸多自然语言处理任务上展现出惊人的能力。然而“预训练 全量微调”的传统范式正面临一个严峻的现实模型规模以指数级增长全量微调所需的内存、算力和时间成本已远超绝大多数研究团队和个人开发者的承受范围。对于一个 65B 参数的模型即使使用混合精度训练也需要数百 GB 的显存这几乎封锁了普通用户对其进行自定义适配的可能。正是这一困境催生了**参数高效微调Parameter‑Efficient Fine‑Tuning简称 PEFT**的研究热潮。PEFT 的核心思想是在保持预训练模型主体参数冻结的前提下只引入极少量的可训练参数或对模型进行极轻量的修改从而以极低的资源开销将模型适配到下游任务。这不仅大幅降低了显存和存储需求还避免了灾难性遗忘使得“一人一模型”或“一任务一插件”式的敏捷部署成为现实。本文将基于 Hugging Face 官方 PEFT 生态1的风格和设计思路系统梳理 PEFT 的内涵、作用、实现类型并给出一个端到端的实战案例。无论你是正在寻找低成本微调方案的研究者还是想在自己的应用中嵌入大模型能力的工程师都能从中获得清晰的认知。2. 什么是参数高效微调PEFT参数高效微调是一类方法的统称它允许我们在不更新全部预训练参数的情况下将大模型适应到新的任务或领域。与传统的全量微调Full Fine‑Tuning相比PEFT 最显著的特征是可训练参数量占比极低——通常仅占模型总参数的 0.1% ~ 3%却能在许多任务上达到与全量微调相当甚至更优的效果。举个直观的例子全量微调 LLaMA‑7B 需要约 56 GB 显存才能加载模型参数并计算梯度而使用 LoRA低秩适配方法可训练参数可能只有几十 MB显存需求可降至 20 GB 以下。这意味着在一块消费级 GPU如 RTX 3090上开发者就能对几十亿参数的模型进行定制。PEFT 方法通常遵循以下设计准则最小化可训练参数只添加或修改极小部分权重主体模型保持冻结。模块化与可组合不同任务的参数可以像插件一样存储和加载互不干扰便于版本管理和快速切换。性能近乎无损在多数 NLP 任务上性能与全量微调持平甚至更优且对原始知识的遗忘程度更低。这一理念由诸如 Adapters、Prefix‑Tuning、Prompt‑Tuning、LoRA 等方法共同推动并已被 Hugging Face 统一封装到 PEFT 库中形成了丰富的工具链。3. PEFT 的主要作用与优势PEFT 带来的价值远不止“省显存”这么简单它深刻改变了我们使用大模型的方式极低的训练成本可训练参数往往只有几十万到几千万量级在单卡 GPU 上即可完成微调使大模型的平民化成为可能。避免灾难性遗忘冻结原始参数仅通过附加结构学习任务相关知识极大程度保留了预训练阶段习得的通用语言能力在持续学习场景下优势明显。灵活的模型部署与分享PEFT 插件如 LoRA 权重体积小巧几 MB 到几十 MB可独立于基础模型分发。开发者只需一份原始模型再根据需要挂载不同的 PEFT 模块就能同时服务多个下游任务。提升分布式训练效率由于大部分参数无需通信梯度减少了分布式环境下的同步开销特别是在多机多卡的场景下能显著加速训练。支持联邦学习和隐私保护客户端只需上传 PEFT 模块而不是完整模型降低了数据传输带宽也更利于隐私保护。正是因为这些实打实的工程收益PEFT 已成为当前大模型应用落地的核心技术之一被广泛应用于问答系统、文本分类、代码生成、指令跟随微调等场景。4. PEFT 的实现类型根据可训练参数插入位置、修改方式以及参数结构的差异PEFT 方法可以大致分为三类选择性微调Selective、基于额外模块的方法Additive和基于重参数化的方法Reparameterization‑based。本节我们将逐一展开并穿插代表性的工作。4.1 选择性微调Selective选择性微调不添加任何新结构而是从预训练模型中“挑选”一小部分参数进行训练其余参数保持冻结。早期工作如BitFit2仅微调模型中的偏置参数bias以及任务特定的归一化层参数。实验表明仅仅调整这些极少量的参数在一些基础任务上就能逼近全量微调的效果参数量占比不到 0.1%。BitFit 的数学形式极为简单对于 Transformer 层中的每个权重矩阵 W其输出通常为 y Wx bBitFit 只更新 b 向量而保持 W 不变。这种方法实现简单但上限受限于任务对偏置的敏感度。另外像Diff Pruning等工作则通过学习一个稀疏掩码只更新对任务贡献最大的部分参数也属于选择性微调的范畴。小结选择性微调的优点是几乎没有额外结构开销非常容易实现。缺点是在复杂任务上可能无法学到足够强的任务适应能力通常不如参数化更强的 Additive 或 Reparameterization 方法。4.2 基于额外模块的方法Additive这类方法在原始模型架构中插入额外的可训练模块或者通过可学习的“软提示”向量引导模型行为。其共同点是可训练参数以附加形式存在不改变原始权重。4.2.1 AdaptersAdapters 最早由 Houlsby 等人提出其思路是在 Transformer 的每一层中插入一个小型瓶颈网络bottleneck包含下投影、非线性激活和上投影三层结构。训练时仅更新 Adapter 的参数主模型保持冻结。每个 Adapter 的参数量可以通过瓶颈维度调节通常只占模型总参数的 2–5%。Adapters 的变种很多例如AdapterFusion允许组合多个任务的 Adapter 进行知识复用Compacter通过参数共享进一步压缩体积。Hugging Face PEFT 库原生支持多种 Adapter 配置使用非常方便。4.2.2 Soft Prompts与在内部插入模块不同Soft Prompts 方法直接在输入序列前拼接一组可学习的连续向量“软提示”将下游任务信号融入模型的早期处理。Prefix‑Tuning在每一层 Transformer 的键K和值V上添加可学习的前缀向量等价于为模型提供了一个上下文引导。它最早在生成任务上验证成功参数量极小。Prompt‑Tuning只在前置输入的嵌入层拼接几个虚拟 token 对应的嵌入向量结构更简单但通常需要较大的模型规模才能获得好效果。P‑Tuning / P‑Tuning v2将连续提示与离散提示结合并在多层级中引入可学习 prompt提升了小模型上的表现。Soft Prompt 方法的显著优势是参数量非常少通常只需几个到几十个 token 的向量且不改变网络结构。不过它们对提示长度、初始化以及训练超参数较为敏感。Soft Prompt 与 Prompt Engineering 的区别理解 Soft Prompt 最容易的方式是将其与传统“提示工程”Prompt Engineering对比Prompt Engineering工程师或用户通过人工设计离散的自然语言文本如“请对以下评论进行情感分析正面回答 1负面回答 0”来引导模型输出。这种方法完全依赖人的经验和反复试错无需训练模型但效果受限于措辞质量且在不同模型或任务间迁移性差。Soft Prompt将“提示”本身转化为一组可训练的连续嵌入向量这些向量不再对应任何真实词汇而是由模型在训练数据上通过梯度优化自动学习得到。它本质上是让模型自己“发现”最优的引导信号属于微调方法的一部分需要少量标注数据但参数量极小通常仅几百到几千个浮点数。简而言之Prompt Engineering 停留在离散文本空间的手工调优而 Soft Prompt 进入了连续向量空间的可学习优化。后者把“提得好问题”这件事从人的经验变成了模型自己的学习能力在少样本和领域适应场景中优势显著。4.2.3 (IA)³ —— 注入式适配器(IA)³Infused Adapter by Inhibiting and Amplifying Inner Activations3是一种极其轻量的 Additive 方法。它在 Transformer 的激活键、值以及前馈网络的中间激活上插入三个可学习的缩放向量对应地对激活进行抑制或放大。(IA)³ 的参数量仅与隐藏维度相当几乎为零额外成本但在 T0 等模型上往往能击败 LoRA尤其在少样本学习场景表现突出。Hugging Face PEFT 库中也提供了 (IA)³ 的实现非常适合极端参数受限的场景。4.3 基于重参数化的方法Reparameterization‑based重参数化的核心思想是用一个低秩矩阵间接表示全量微调时权重的变化训练时只优化该低秩矩阵推理时将其与冻结的原始权重合并不引入额外推理延迟。目前最具代表性的工作就是LoRALow‑Rank Adaptation。LoRA低秩适配LoRA 是 参数高效微调PEFT 的奠基性核心算法2021 年微软团队论文《LoRA: Low-Rank Adaptation of Large Language Models》提出。核心思路冻结预训练大模型全部原始权重仅在 Transformer 注意力层Q/V 线性投影插入两组极小的低秩矩阵只训练这两组矩阵用极少参数实现媲美全量微调的领域适配效果。LoRA 可以应用到 Transformer 的全连接层或注意力层的 Q、K、V 投影矩阵上实践中通常只对 Q 和 V 应用就已足够。由于矩阵 A、B 参数极少LoRA 的训练速度极快。推理时可以直接将 AB 乘回 W 中得到完整的 W’因此推理延迟与原始模型完全一致——这是相对 Adapter 等方法的重大优势。在此基础上还衍生出许多改进版本AdaLoRA自适应地为不同层分配不同的秩QLoRA结合量化技术进一步将微调成本压缩到一条消费级 GPU 足以运行 65B 模型的程度。LoRA 与主流微调方案横向对比LoRA 变体概览方法特点代表用途LoRA固定低秩简单有效文本生成、指令微调AdaLoRA自适应秩分配多任务或动态预算场景QLoRA量化 LoRA极限显存限制下的微调VeRA向量随机适配极度压缩仅需两个向量这些方法共同构成了重参数化路径的丰富工具箱而 Hugging Face PEFT 库对上述绝大部分都有良好支持。5. 如何选择适合的 PEFT 方法面对如此多的 PEFT 类型选择时建议从以下几个维度权衡任务复杂度与数据量简单分类、情感分析等任务BitFit 或 Prompt‑Tuning 可能已经足够且调参简单。复杂生成、多轮对话或代码生成LoRA 或 (IA)³ 通常能带来更好的上限。参数量约束与存储成本极度参数受限如边缘设备且不想修改模型推理过程可优先考虑 BitFit、(IA)³ 或 Prompt‑Tuning。可接受少量插件式存储几 MB 到几十 MB且希望性能最佳LoRA 系列是性价比最高的选择。推理延迟要求需要与原始模型完全一致的推理速度LoRA合并权重后、(IA)³非额外层是首选。Adapter 会引入额外的层轻微增加推理成本但通常可以接受。开发与集成便利性所有方法在 Hugging Face PEFT 库中都有统一接口但成熟度不同。LoRA 是目前社区最活跃、文档最丰富的方法推荐作为入门首选。一个实用的策略是先尝试 LoRA如 r8 或 16快速验证如果效果不够满意再尝试 (IA)³ 或 Adapter。如果资源极为有限或强调即插即用则可以考虑 BitFit 或 Prompt‑Tuning。6. 实战使用 Hugging Face PEFT 微调大模型本节展示一个完整的 LoRA 微调流程使用 Hugging Face 的peft、transformers和datasets库。我们以微调一个小型 LLM例如 GPT‑2作为情绪分类任务的例子但同样的流程可以直接迁移到 LLaMA、Bloom 等模型上。fromtransformersimportAutoModelForCausalLM,AutoTokenizer,Trainer,TrainingArgumentsfrompeftimportLoraConfig,get_peft_model,TaskTypefromdatasetsimportload_dataset# 1. 加载基础模型和分词器model_namegpt2modelAutoModelForCausalLM.from_pretrained(model_name)tokenizerAutoTokenizer.from_pretrained(model_name)tokenizer.pad_tokentokenizer.eos_token# 2. 定义 LoRA 配置lora_configLoraConfig(task_typeTaskType.CAUSAL_LM,# 因果语言模型r8,# 低秩维度lora_alpha32,# 缩放系数lora_dropout0.1,# Dropouttarget_modules[c_attn]# GPT‑2 中 Q/K/V 的融合层名称)# 3. 包装成为 PEFT 模型peft_modelget_peft_model(model,lora_config)peft_model.print_trainable_parameters()# 输出类似: trainable params: 294,912 || all params: 124,439,808 || trainable%: 0.2371# 4. 准备数据集IMDB 情绪二分类简单演示datasetload_dataset(imdb,splittrain[:1%])defpreprocess(examples):returntokenizer(examples[text],truncationTrue,paddingmax_length,max_length256)datasetdataset.map(preprocess,batchedTrue)# 5. 设置训练参数只演示一小段实际训练需更多 steptraining_argsTrainingArguments(output_dir./lora_imdb,per_device_train_batch_size4,num_train_epochs1,logging_steps10,save_strategyno,report_tonone)trainerTrainer(modelpeft_model,argstraining_args,train_datasetdataset)trainer.train()# 6. 保存 PEFT 模块仅保存 LoRA 增量权重peft_model.save_pretrained(lora_imdb_adapter)训练完成后只有几 MB 的adapter_config.json和adapter_model.bin被保存原始 GPT‑2 模型无需改动。部署时只需加载基础模型再附加这个 PEFT 模块即可frompeftimportPeftModel base_modelAutoModelForCausalLM.from_pretrained(model_name)peft_modelPeftModel.from_pretrained(base_model,lora_imdb_adapter)这种方式天然支持多任务同一个基础模型可以同时加载多个 PEFT 模块通过set_adapter动态切换无需多次加载整个模型。https://huggingface.co/docs/peft/index ↩︎https://arxiv.org/abs/2106.10199 ↩︎https://arxiv.org/abs/2205.05638 ↩︎
深入解析参数高效微调（PEFT）：原理、分类与实战
发布时间：2026/7/8 1:57:40
目录1. 引言2. 什么是参数高效微调PEFT3. PEFT 的主要作用与优势4. PEFT 的实现类型4.1 选择性微调Selective4.2 基于额外模块的方法Additive4.3 基于重参数化的方法Reparameterization‑based5. 如何选择适合的 PEFT 方法6. 实战使用 Hugging Face PEFT 微调大模型1. 引言近年来大规模预训练语言模型LLM如 GPT‑4、LLaMA、Bloom 等通过海量无标注数据习得了丰富的语言知识并在诸多自然语言处理任务上展现出惊人的能力。然而“预训练 全量微调”的传统范式正面临一个严峻的现实模型规模以指数级增长全量微调所需的内存、算力和时间成本已远超绝大多数研究团队和个人开发者的承受范围。对于一个 65B 参数的模型即使使用混合精度训练也需要数百 GB 的显存这几乎封锁了普通用户对其进行自定义适配的可能。正是这一困境催生了**参数高效微调Parameter‑Efficient Fine‑Tuning简称 PEFT**的研究热潮。PEFT 的核心思想是在保持预训练模型主体参数冻结的前提下只引入极少量的可训练参数或对模型进行极轻量的修改从而以极低的资源开销将模型适配到下游任务。这不仅大幅降低了显存和存储需求还避免了灾难性遗忘使得“一人一模型”或“一任务一插件”式的敏捷部署成为现实。本文将基于 Hugging Face 官方 PEFT 生态1的风格和设计思路系统梳理 PEFT 的内涵、作用、实现类型并给出一个端到端的实战案例。无论你是正在寻找低成本微调方案的研究者还是想在自己的应用中嵌入大模型能力的工程师都能从中获得清晰的认知。2. 什么是参数高效微调PEFT参数高效微调是一类方法的统称它允许我们在不更新全部预训练参数的情况下将大模型适应到新的任务或领域。与传统的全量微调Full Fine‑Tuning相比PEFT 最显著的特征是可训练参数量占比极低——通常仅占模型总参数的 0.1% ~ 3%却能在许多任务上达到与全量微调相当甚至更优的效果。举个直观的例子全量微调 LLaMA‑7B 需要约 56 GB 显存才能加载模型参数并计算梯度而使用 LoRA低秩适配方法可训练参数可能只有几十 MB显存需求可降至 20 GB 以下。这意味着在一块消费级 GPU如 RTX 3090上开发者就能对几十亿参数的模型进行定制。PEFT 方法通常遵循以下设计准则最小化可训练参数只添加或修改极小部分权重主体模型保持冻结。模块化与可组合不同任务的参数可以像插件一样存储和加载互不干扰便于版本管理和快速切换。性能近乎无损在多数 NLP 任务上性能与全量微调持平甚至更优且对原始知识的遗忘程度更低。这一理念由诸如 Adapters、Prefix‑Tuning、Prompt‑Tuning、LoRA 等方法共同推动并已被 Hugging Face 统一封装到 PEFT 库中形成了丰富的工具链。3. PEFT 的主要作用与优势PEFT 带来的价值远不止“省显存”这么简单它深刻改变了我们使用大模型的方式极低的训练成本可训练参数往往只有几十万到几千万量级在单卡 GPU 上即可完成微调使大模型的平民化成为可能。避免灾难性遗忘冻结原始参数仅通过附加结构学习任务相关知识极大程度保留了预训练阶段习得的通用语言能力在持续学习场景下优势明显。灵活的模型部署与分享PEFT 插件如 LoRA 权重体积小巧几 MB 到几十 MB可独立于基础模型分发。开发者只需一份原始模型再根据需要挂载不同的 PEFT 模块就能同时服务多个下游任务。提升分布式训练效率由于大部分参数无需通信梯度减少了分布式环境下的同步开销特别是在多机多卡的场景下能显著加速训练。支持联邦学习和隐私保护客户端只需上传 PEFT 模块而不是完整模型降低了数据传输带宽也更利于隐私保护。正是因为这些实打实的工程收益PEFT 已成为当前大模型应用落地的核心技术之一被广泛应用于问答系统、文本分类、代码生成、指令跟随微调等场景。4. PEFT 的实现类型根据可训练参数插入位置、修改方式以及参数结构的差异PEFT 方法可以大致分为三类选择性微调Selective、基于额外模块的方法Additive和基于重参数化的方法Reparameterization‑based。本节我们将逐一展开并穿插代表性的工作。4.1 选择性微调Selective选择性微调不添加任何新结构而是从预训练模型中“挑选”一小部分参数进行训练其余参数保持冻结。早期工作如BitFit2仅微调模型中的偏置参数bias以及任务特定的归一化层参数。实验表明仅仅调整这些极少量的参数在一些基础任务上就能逼近全量微调的效果参数量占比不到 0.1%。BitFit 的数学形式极为简单对于 Transformer 层中的每个权重矩阵 W其输出通常为 y Wx bBitFit 只更新 b 向量而保持 W 不变。这种方法实现简单但上限受限于任务对偏置的敏感度。另外像Diff Pruning等工作则通过学习一个稀疏掩码只更新对任务贡献最大的部分参数也属于选择性微调的范畴。小结选择性微调的优点是几乎没有额外结构开销非常容易实现。缺点是在复杂任务上可能无法学到足够强的任务适应能力通常不如参数化更强的 Additive 或 Reparameterization 方法。4.2 基于额外模块的方法Additive这类方法在原始模型架构中插入额外的可训练模块或者通过可学习的“软提示”向量引导模型行为。其共同点是可训练参数以附加形式存在不改变原始权重。4.2.1 AdaptersAdapters 最早由 Houlsby 等人提出其思路是在 Transformer 的每一层中插入一个小型瓶颈网络bottleneck包含下投影、非线性激活和上投影三层结构。训练时仅更新 Adapter 的参数主模型保持冻结。每个 Adapter 的参数量可以通过瓶颈维度调节通常只占模型总参数的 2–5%。Adapters 的变种很多例如AdapterFusion允许组合多个任务的 Adapter 进行知识复用Compacter通过参数共享进一步压缩体积。Hugging Face PEFT 库原生支持多种 Adapter 配置使用非常方便。4.2.2 Soft Prompts与在内部插入模块不同Soft Prompts 方法直接在输入序列前拼接一组可学习的连续向量“软提示”将下游任务信号融入模型的早期处理。Prefix‑Tuning在每一层 Transformer 的键K和值V上添加可学习的前缀向量等价于为模型提供了一个上下文引导。它最早在生成任务上验证成功参数量极小。Prompt‑Tuning只在前置输入的嵌入层拼接几个虚拟 token 对应的嵌入向量结构更简单但通常需要较大的模型规模才能获得好效果。P‑Tuning / P‑Tuning v2将连续提示与离散提示结合并在多层级中引入可学习 prompt提升了小模型上的表现。Soft Prompt 方法的显著优势是参数量非常少通常只需几个到几十个 token 的向量且不改变网络结构。不过它们对提示长度、初始化以及训练超参数较为敏感。Soft Prompt 与 Prompt Engineering 的区别理解 Soft Prompt 最容易的方式是将其与传统“提示工程”Prompt Engineering对比Prompt Engineering工程师或用户通过人工设计离散的自然语言文本如“请对以下评论进行情感分析正面回答 1负面回答 0”来引导模型输出。这种方法完全依赖人的经验和反复试错无需训练模型但效果受限于措辞质量且在不同模型或任务间迁移性差。Soft Prompt将“提示”本身转化为一组可训练的连续嵌入向量这些向量不再对应任何真实词汇而是由模型在训练数据上通过梯度优化自动学习得到。它本质上是让模型自己“发现”最优的引导信号属于微调方法的一部分需要少量标注数据但参数量极小通常仅几百到几千个浮点数。简而言之Prompt Engineering 停留在离散文本空间的手工调优而 Soft Prompt 进入了连续向量空间的可学习优化。后者把“提得好问题”这件事从人的经验变成了模型自己的学习能力在少样本和领域适应场景中优势显著。4.2.3 (IA)³ —— 注入式适配器(IA)³Infused Adapter by Inhibiting and Amplifying Inner Activations3是一种极其轻量的 Additive 方法。它在 Transformer 的激活键、值以及前馈网络的中间激活上插入三个可学习的缩放向量对应地对激活进行抑制或放大。(IA)³ 的参数量仅与隐藏维度相当几乎为零额外成本但在 T0 等模型上往往能击败 LoRA尤其在少样本学习场景表现突出。Hugging Face PEFT 库中也提供了 (IA)³ 的实现非常适合极端参数受限的场景。4.3 基于重参数化的方法Reparameterization‑based重参数化的核心思想是用一个低秩矩阵间接表示全量微调时权重的变化训练时只优化该低秩矩阵推理时将其与冻结的原始权重合并不引入额外推理延迟。目前最具代表性的工作就是LoRALow‑Rank Adaptation。LoRA低秩适配LoRA 是 参数高效微调PEFT 的奠基性核心算法2021 年微软团队论文《LoRA: Low-Rank Adaptation of Large Language Models》提出。核心思路冻结预训练大模型全部原始权重仅在 Transformer 注意力层Q/V 线性投影插入两组极小的低秩矩阵只训练这两组矩阵用极少参数实现媲美全量微调的领域适配效果。LoRA 可以应用到 Transformer 的全连接层或注意力层的 Q、K、V 投影矩阵上实践中通常只对 Q 和 V 应用就已足够。由于矩阵 A、B 参数极少LoRA 的训练速度极快。推理时可以直接将 AB 乘回 W 中得到完整的 W’因此推理延迟与原始模型完全一致——这是相对 Adapter 等方法的重大优势。在此基础上还衍生出许多改进版本AdaLoRA自适应地为不同层分配不同的秩QLoRA结合量化技术进一步将微调成本压缩到一条消费级 GPU 足以运行 65B 模型的程度。LoRA 与主流微调方案横向对比LoRA 变体概览方法特点代表用途LoRA固定低秩简单有效文本生成、指令微调AdaLoRA自适应秩分配多任务或动态预算场景QLoRA量化 LoRA极限显存限制下的微调VeRA向量随机适配极度压缩仅需两个向量这些方法共同构成了重参数化路径的丰富工具箱而 Hugging Face PEFT 库对上述绝大部分都有良好支持。5. 如何选择适合的 PEFT 方法面对如此多的 PEFT 类型选择时建议从以下几个维度权衡任务复杂度与数据量简单分类、情感分析等任务BitFit 或 Prompt‑Tuning 可能已经足够且调参简单。复杂生成、多轮对话或代码生成LoRA 或 (IA)³ 通常能带来更好的上限。参数量约束与存储成本极度参数受限如边缘设备且不想修改模型推理过程可优先考虑 BitFit、(IA)³ 或 Prompt‑Tuning。可接受少量插件式存储几 MB 到几十 MB且希望性能最佳LoRA 系列是性价比最高的选择。推理延迟要求需要与原始模型完全一致的推理速度LoRA合并权重后、(IA)³非额外层是首选。Adapter 会引入额外的层轻微增加推理成本但通常可以接受。开发与集成便利性所有方法在 Hugging Face PEFT 库中都有统一接口但成熟度不同。LoRA 是目前社区最活跃、文档最丰富的方法推荐作为入门首选。一个实用的策略是先尝试 LoRA如 r8 或 16快速验证如果效果不够满意再尝试 (IA)³ 或 Adapter。如果资源极为有限或强调即插即用则可以考虑 BitFit 或 Prompt‑Tuning。6. 实战使用 Hugging Face PEFT 微调大模型本节展示一个完整的 LoRA 微调流程使用 Hugging Face 的peft、transformers和datasets库。我们以微调一个小型 LLM例如 GPT‑2作为情绪分类任务的例子但同样的流程可以直接迁移到 LLaMA、Bloom 等模型上。fromtransformersimportAutoModelForCausalLM,AutoTokenizer,Trainer,TrainingArgumentsfrompeftimportLoraConfig,get_peft_model,TaskTypefromdatasetsimportload_dataset# 1. 加载基础模型和分词器model_namegpt2modelAutoModelForCausalLM.from_pretrained(model_name)tokenizerAutoTokenizer.from_pretrained(model_name)tokenizer.pad_tokentokenizer.eos_token# 2. 定义 LoRA 配置lora_configLoraConfig(task_typeTaskType.CAUSAL_LM,# 因果语言模型r8,# 低秩维度lora_alpha32,# 缩放系数lora_dropout0.1,# Dropouttarget_modules[c_attn]# GPT‑2 中 Q/K/V 的融合层名称)# 3. 包装成为 PEFT 模型peft_modelget_peft_model(model,lora_config)peft_model.print_trainable_parameters()# 输出类似: trainable params: 294,912 || all params: 124,439,808 || trainable%: 0.2371# 4. 准备数据集IMDB 情绪二分类简单演示datasetload_dataset(imdb,splittrain[:1%])defpreprocess(examples):returntokenizer(examples[text],truncationTrue,paddingmax_length,max_length256)datasetdataset.map(preprocess,batchedTrue)# 5. 设置训练参数只演示一小段实际训练需更多 steptraining_argsTrainingArguments(output_dir./lora_imdb,per_device_train_batch_size4,num_train_epochs1,logging_steps10,save_strategyno,report_tonone)trainerTrainer(modelpeft_model,argstraining_args,train_datasetdataset)trainer.train()# 6. 保存 PEFT 模块仅保存 LoRA 增量权重peft_model.save_pretrained(lora_imdb_adapter)训练完成后只有几 MB 的adapter_config.json和adapter_model.bin被保存原始 GPT‑2 模型无需改动。部署时只需加载基础模型再附加这个 PEFT 模块即可frompeftimportPeftModel base_modelAutoModelForCausalLM.from_pretrained(model_name)peft_modelPeftModel.from_pretrained(base_model,lora_imdb_adapter)这种方式天然支持多任务同一个基础模型可以同时加载多个 PEFT 模块通过set_adapter动态切换无需多次加载整个模型。https://huggingface.co/docs/peft/index ↩︎https://arxiv.org/abs/2106.10199 ↩︎https://arxiv.org/abs/2205.05638 ↩︎
