人工智能大模型微调LoRA【免费下载链接】peft PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.项目地址https://gitcode.com/gh_mirrors/pe/peft点击查看免费下载本篇技术指南聚焦 PEFT 提供的适配器**热替换Hotswapping能力在不删除、不重新加载适配器的前提下通过hotswap_adapter函数将当前模型上已加载的 LoRA 权重原位in-place**替换为另一个 LoRA 适配器的权重。它特别适用于 transformers 与 diffusers 模型的多 LoRA 推理场景并能在模型已通过torch.compile编译时避免重新编译、大幅节省切换时间。读完本文你将掌握hotswap_adapter与prepare_model_for_compiled_hotswap的完整用法、适用边界与底层实现原理。什么是适配器热替换为什么需要它PEFT 本身支持在同一个模型中同时加载多个适配器例如同时加载两个 LoRA推理时通过active_adapter或set_adapter在它们之间切换。但有些场景下我们并不需要同时持有多个适配器而是希望一次只保留一个适配器、反复更换其权重——例如流水线式的多租户推理、按请求切换不同微调版本的模型。热替换解决的就是这个问题把当前已加载的适配器权重直接替换为另一个适配器 checkpoint 中的权重而适配器名字保持不变。与删除旧适配器 → 重新加载新适配器的传统做法相比热替换有两个核心优势见 hotswap 文档更快省去了删除与重新加载的额外开销权重替换在原位完成防止重新编译如果 PEFT 模型已经用torch.compile编译热替换可以避免因适配器结构/超参变化而触发的重编译这在编译开销较大的场景下能节省大量时间。从源码看热替换功能由 src/peft/utils/hotswap.py 提供核心函数为hotswap_adapter高层入口与hotswap_adapter_from_state_dict低层入口并配套prepare_model_for_compiled_hotswap用于编译前预处理。适用边界与注意事项Caveats文档明确列出了热替换目前的使用限制这些限制在源码中均有对应实现见 hotswap 文档 与 兼容性检查实现目前只有 LoRA 被完整支持。check_hotswap_configs_compatible中定义了检查项常量CONFIG_KEYS_TO_CHECK {PeftType.LORA: [use_rslora, lora_dropout, alpha_pattern, use_dora]}即对 LoRA 而言两个适配器的use_rslora、lora_dropout、alpha_pattern、use_dora必须一致否则抛出ValueError。只支持同一种 PEFT 方法之间互换例如不能用 LoRA 去替换 LoHa。两个配置的peft_type不同会直接报错测试用例test_hotswap_different_peft_types_raises验证了 LORA 与 IA3 互换会抛出Incompatible PEFT types found: LORA and IA3。被换入的适配器必须瞄准与旧适配器相同的层或其子集不能瞄准新层。因此文档建议如果可能先从瞄准层数最多的适配器开始加载这样后续替换的子集关系才成立。这一点在hotswap_adapter_from_state_dict中体现为若新 state_dict 含有当前模型中没有的 keyunexpected keys直接抛出RuntimeError对应测试test_hotswap_extra_key_raises反之若新适配器缺少某些 key则这些位置会被置零以保证不影响输出对应测试test_hotswap_missing_key_works。与target_parameters的冲突若权重是通过target_parameters即直接瞄准nn.Parameter添加的则无法避免重新编译或图断裂graph breaks因此文档建议不要在编译模型 热替换的组合中使用target_parameters。基础用法无 torch.compile 场景下的热替换最简单的热替换只需要hotswap_adapter这一个函数。以下示例完整取自 hotswap 文档它演示了在同一个因果语言模型上先加载 LoRA 0 做推理再热替换为 LoRA 1import torch from transformers import AutoModelForCausalLM from peft import PeftModel from peft.utils.hotswap import hotswap_adapter model_id ... inputs ... device ... model AutoModelForCausalLM.from_pretrained(model_id).to(device) # load lora 0 model PeftModel.from_pretrained(model, path-adapter-0) with torch.inference_mode(): output_adapter_0 model(inputs) # replace the default lora adapter with the new one hotswap_adapter(model, path-adapter-1, adapter_namedefault, torch_devicedevice) with torch.inference_mode(): output_adapter_1 model(inputs).logits关键点被替换的适配器名通过adapter_namedefault指定替换后名字保持不变hotswap_adapter的 docstring 明确说明 The adapter name will remain the same, but the weights and other parameters will be swapped out。torch_device参数指定新权重加载到的设备如果省略源码会自动调用infer_device()推断见 src/peft/utils/other.py#L144推断顺序为cuda→mps→mlu→xpu→npu→cpu。hotswap_adapter还接受与load_peft_weights一致的关键字参数如subfolder、revision、cache_dir、token、use_auth_token因此也可以从 Hugging Face Hub 按模型 ID 加载新适配器权重参见 load_peft_weights 实现。进阶用法torch.compile 场景下的热替换当模型通过torch.compile编译后如果两个 LoRA 适配器的rank 或 alphascaling不同直接热替换会导致图重新编译抵消编译带来的收益。为此PEFT 提供了prepare_model_for_compiled_hotswap预处理函数其作用是把当前适配器的 LoRA 权重填充pad到目标 rank并把 scaling 值转换为torch.Tensor从而保证后续替换任意 rank/alpha 的适配器都不会改变计算图结构。以下示例同样完整取自 hotswap 文档import torch from transformers import AutoModelForCausalLM from peft import PeftModel from peft.utils.hotswap import hotswap_adapter, prepare_model_for_compiled_hotswap model_id ... inputs ... device ... max_rank ... # maximum rank among all LoRA adapters that will be used model AutoModelForCausalLM.from_pretrained(model_id).to(device) # load lora 0 model PeftModel.from_pretrained(model, path-adapter-0) # Prepare the model to allow hotswapping even if ranks/scalings of 2nd adapter differ. # You can skip this step if all ranks and scalings are identical. prepare_model_for_compiled_hotswap(model, target_rankmax_rank) model torch.compile(model) with torch.inference_mode(): output_adapter_0 model(inputs) # replace the default lora adapter with the new one hotswap_adapter(model, path-adapter-1, adapter_namedefault, torch_devicedevice) with torch.inference_mode(): output_adapter_1 model(inputs).logitsprepare_model_for_compiled_hotswap 的调用时机与参数从 源码 docstring 可以归纳出三个关键约束调用时机必须在加载完第一个将被换出的LoRA 适配器之后、torch.compile之前调用。若在编译后调用默认抛出ValueError(Call prepare_model_for_compiled_hotswap *before* compiling the model)可通过check_compiled参数可选值error/warn/ignore默认error调整行为测试用例test_prepare_model_for_compiled_hotswap_model_already_compiled_{raises,warns,ignore}逐一验证。target_rank应设为所有将被热替换的 LoRA 适配器中的最大 rank。所有 LoRA A/B 权重会被填充到该 rank填充位置补零数学上不影响原输出测试test_prepare_model_for_compiled_hotswap_does_not_change_output验证了预处理前后模型输出一致。若目标 rank小于现有 rank会抛出ValueError若目标 rank 不能整除分组卷积的groups数也会抛出ValueError。config可选传入LoraConfig或dict[str, LoraConfig]如model.peft_config时会将其中r及rank_pattern同步更新为target_rank保持配置与实际权重一致测试test_prepare_model_for_compiled_hotswap_scalings_update_config验证。in-place 修改该函数直接修改模型无法撤销如需恢复原始状态只能重新加载模型。若传入的模型没有任何适配器层例如在加载第一个适配器之前调用会抛出ValueError(No adapter layers found on the model)。源码级剖析hotswap_adapter 的执行流程hotswap_adapter的整体流程见 src/peft/utils/hotswap.py#L625-L716可以拆解为三个阶段1. 加载配置并做兼容性校验根据model_name_or_path通过PeftConfig._get_peft_type识别 PEFT 类型再实例化对应配置类然后调用check_hotswap_configs_compatible(model.active_peft_config, config)校验新旧适配器配置是否兼容——这就是前文所述 caveats 的落地检查点PEFT 类型必须相同、且仅 LoRA 的use_rslora/lora_dropout/alpha_pattern/use_dora四项被检查。2. 加载并重映射 state_dict通过load_peft_weights加载新适配器权重再调用_insert_adapter_name_into_state_dictsrc/peft/utils/save_and_load.py#L409把新适配器权重中的 key 全部改写为旧适配器的名字即adapter_name以便原位替换到lora_A.name.weight/lora_B.name.weight等张量上。3. 原位替换最终委托给低层函数hotswap_adapter_from_state_dict完成实际替换详见下一节。替换完成后新权重即刻生效无需任何额外操作。低层 APIhotswap_adapter_from_state_dict 与三种形状处理策略hotswap_adapter_from_state_dict(model, state_dict, adapter_name, config, parameter_prefixlora_)是低层入口源码它假设调用方已经完成了兼容性校验与 key 映射适用于需要精细控制的高级用法。它的行为要点保护已 merge 的适配器如果目标适配器当前已合并merged进基础权重会抛出ValueError提示先调用peft_model.unmerge_adapter()diffusers 模型对应unfuse_lora()否则后续 unmerge 会损坏权重回归测试见test_hotswap_raises_when_target_adapter_merged而其他适配器已 merge 不影响本次替换见test_hotswap_allowed_when_other_adapter_merged。key 对齐检查先做一次 dry run对比新 state_dict 与模型现有 key。出现 unexpected keys 直接RuntimeError缺失的 key 对应权重被置零fill_(0.0)避免旧权重残留影响输出。scaling 同步更新根据新适配器的配置重新计算 scaling 并写入_update_scaling支持use_rslora时的alpha / sqrt(rank)与普通时的alpha / rank两种公式与 LoRA layer 初始化逻辑 一致同时兼容rank_pattern与alpha_pattern的逐层覆盖。三种形状处理策略形状相同shapes_match直接copy_原地拷贝新权重更小new_is_smaller将目标张量整体清零后把新权重写入其左上角子块Linear 与 Conv2d 均支持分组卷积的 LoRA A 使用_copy_grouped_conv2d_lora_a_weights按 group 逐块拷贝新权重更大new_is_larger优先使用torch.utils.swap_tensors交换底层存储失败时回退为直接替换.data但此时若模型已编译仍可能破坏 inductor 的优化假设因此正确做法是事先用prepare_model_for_compiled_hotswap把 rank 填充到足够大。测试验证TestHotSwapping 覆盖的行为矩阵热替换功能在 tests/test_initialization.py 的TestHotSwapping测试类约第 4646 行起中有系统性的回归覆盖可作为理解行为边界的最佳参照测试用例验证的行为test_hotswap_works同 rank 下热替换 替换回来输出与直接加载对应适配器完全一致do_compile参数化覆盖编译/非编译两种模式test_hotswap_different_peft_types_raises/test_hotswap_wrong_peft_types_raises不同 PEFT 方法互换报错非 LoRA 方法如 IA3直接报Hotswapping only supports LORAtest_hotswap_missing_key_works新适配器缺少某个 key 时旧权重被置零输出不受残留权重影响test_hotswap_extra_key_raises新适配器多出模型中没有的 key 时抛出RuntimeErrortest_hotswap_works_different_ranks_alphas不同 rank/alpha参数化(7, 13)与(13, 7)下热替换与替换回来均正确test_hotswap_works_different_ranks_alphas_conv2d/..._conv2d_groupsConv2d 与分组卷积groups2场景后者依赖prepare_model_for_compiled_hotswap预先填充到最大 ranktest_hotswap_raises_when_target_adapter_merged/test_hotswap_allowed_when_other_adapter_mergedmerge 状态保护逻辑test_prepare_model_for_compiled_hotswap_*系列scalings 转为 Tensor、rank 填充、同 rank 不报错、rank 小于现状报错、rank_pattern同步、requires_grad保留、bias保留、预处理不改输出、已编译模型的 error/warn/ignore 三种模式、无适配器报错等实用建议在需要反复切换适配器做推理如多用户、多任务服务时优先使用热替换而非删除 重载尤其是在模型已torch.compile的场景下。先加载瞄准层最多的适配器再热替换为层数更少的适配器避免 unexpected keys 报错。若所有适配器 rank/alpha 一致可以完全跳过prepare_model_for_compiled_hotswap否则务必在torch.compile之前以最大 rank 调用它。热替换只适用于 LoRA且两个适配器需满足use_rslora、lora_dropout、alpha_pattern、use_dora一致更复杂的跨方法切换不在当前能力范围内。功能入口、实现与验证代码分别位于 hotswap 文档、src/peft/utils/hotswap.py 与 tests/test_initialization.py 中的TestHotSwapping类如需深入可自行查阅。赞分享人工智能大模型微调LoRA【免费下载链接】peft PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.项目地址https://gitcode.com/gh_mirrors/pe/peft点击查看免费下载相关推荐mistral.rs 动态 LoRA 实战在 Rust 中加载模型并热切换 LoRA 适配器mistral.rs 动态 LoRA 实战在 Rust 中加载模型并热切换 LoRA 适配器 本文围绕 mistral.rs 仓库中的 Rust 进阶示例 l推理引擎模型推理服务AI Agent多模态突破LLM性能瓶颈PEFT热交换技术实现毫秒级适配器切换突破LLM性能瓶颈PEFT热交换技术实现毫秒级适配器切换 你是否遇到过这些困境训练多个LoRA适配器占用大量显存、切换任务时需要重启服务、生产环境中模型更新人工智能大模型微调LoRAHotswap Agent革新Java开发流程的热替换神器Hotswap Agent革新Java开发流程的热替换神器 在Java开发者的世界里“修改代码—重启应用—验证更改”的循环几乎成了日常。但这一切随着【Ho开发工具上一篇Dorado性能优化秘籍10个技巧最大化GPU利用率和处理速度下一篇3步搭建智能翻译流水线Dify迭代器翻译技术全解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 PEFT 适配器热替换（Hotswap）实战指南：用 hotswap_adapter 在 torch.compile 模型中零重编译切换 LoRA
人工智能大模型微调LoRA【免费下载链接】peft PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.项目地址https://gitcode.com/gh_mirrors/pe/peft点击查看免费下载本篇技术指南聚焦 PEFT 提供的适配器**热替换Hotswapping能力在不删除、不重新加载适配器的前提下通过hotswap_adapter函数将当前模型上已加载的 LoRA 权重原位in-place**替换为另一个 LoRA 适配器的权重。它特别适用于 transformers 与 diffusers 模型的多 LoRA 推理场景并能在模型已通过torch.compile编译时避免重新编译、大幅节省切换时间。读完本文你将掌握hotswap_adapter与prepare_model_for_compiled_hotswap的完整用法、适用边界与底层实现原理。什么是适配器热替换为什么需要它PEFT 本身支持在同一个模型中同时加载多个适配器例如同时加载两个 LoRA推理时通过active_adapter或set_adapter在它们之间切换。但有些场景下我们并不需要同时持有多个适配器而是希望一次只保留一个适配器、反复更换其权重——例如流水线式的多租户推理、按请求切换不同微调版本的模型。热替换解决的就是这个问题把当前已加载的适配器权重直接替换为另一个适配器 checkpoint 中的权重而适配器名字保持不变。与删除旧适配器 → 重新加载新适配器的传统做法相比热替换有两个核心优势见 hotswap 文档更快省去了删除与重新加载的额外开销权重替换在原位完成防止重新编译如果 PEFT 模型已经用torch.compile编译热替换可以避免因适配器结构/超参变化而触发的重编译这在编译开销较大的场景下能节省大量时间。从源码看热替换功能由 src/peft/utils/hotswap.py 提供核心函数为hotswap_adapter高层入口与hotswap_adapter_from_state_dict低层入口并配套prepare_model_for_compiled_hotswap用于编译前预处理。适用边界与注意事项Caveats文档明确列出了热替换目前的使用限制这些限制在源码中均有对应实现见 hotswap 文档 与 兼容性检查实现目前只有 LoRA 被完整支持。check_hotswap_configs_compatible中定义了检查项常量CONFIG_KEYS_TO_CHECK {PeftType.LORA: [use_rslora, lora_dropout, alpha_pattern, use_dora]}即对 LoRA 而言两个适配器的use_rslora、lora_dropout、alpha_pattern、use_dora必须一致否则抛出ValueError。只支持同一种 PEFT 方法之间互换例如不能用 LoRA 去替换 LoHa。两个配置的peft_type不同会直接报错测试用例test_hotswap_different_peft_types_raises验证了 LORA 与 IA3 互换会抛出Incompatible PEFT types found: LORA and IA3。被换入的适配器必须瞄准与旧适配器相同的层或其子集不能瞄准新层。因此文档建议如果可能先从瞄准层数最多的适配器开始加载这样后续替换的子集关系才成立。这一点在hotswap_adapter_from_state_dict中体现为若新 state_dict 含有当前模型中没有的 keyunexpected keys直接抛出RuntimeError对应测试test_hotswap_extra_key_raises反之若新适配器缺少某些 key则这些位置会被置零以保证不影响输出对应测试test_hotswap_missing_key_works。与target_parameters的冲突若权重是通过target_parameters即直接瞄准nn.Parameter添加的则无法避免重新编译或图断裂graph breaks因此文档建议不要在编译模型 热替换的组合中使用target_parameters。基础用法无 torch.compile 场景下的热替换最简单的热替换只需要hotswap_adapter这一个函数。以下示例完整取自 hotswap 文档它演示了在同一个因果语言模型上先加载 LoRA 0 做推理再热替换为 LoRA 1import torch from transformers import AutoModelForCausalLM from peft import PeftModel from peft.utils.hotswap import hotswap_adapter model_id ... inputs ... device ... model AutoModelForCausalLM.from_pretrained(model_id).to(device) # load lora 0 model PeftModel.from_pretrained(model, path-adapter-0) with torch.inference_mode(): output_adapter_0 model(inputs) # replace the default lora adapter with the new one hotswap_adapter(model, path-adapter-1, adapter_namedefault, torch_devicedevice) with torch.inference_mode(): output_adapter_1 model(inputs).logits关键点被替换的适配器名通过adapter_namedefault指定替换后名字保持不变hotswap_adapter的 docstring 明确说明 The adapter name will remain the same, but the weights and other parameters will be swapped out。torch_device参数指定新权重加载到的设备如果省略源码会自动调用infer_device()推断见 src/peft/utils/other.py#L144推断顺序为cuda→mps→mlu→xpu→npu→cpu。hotswap_adapter还接受与load_peft_weights一致的关键字参数如subfolder、revision、cache_dir、token、use_auth_token因此也可以从 Hugging Face Hub 按模型 ID 加载新适配器权重参见 load_peft_weights 实现。进阶用法torch.compile 场景下的热替换当模型通过torch.compile编译后如果两个 LoRA 适配器的rank 或 alphascaling不同直接热替换会导致图重新编译抵消编译带来的收益。为此PEFT 提供了prepare_model_for_compiled_hotswap预处理函数其作用是把当前适配器的 LoRA 权重填充pad到目标 rank并把 scaling 值转换为torch.Tensor从而保证后续替换任意 rank/alpha 的适配器都不会改变计算图结构。以下示例同样完整取自 hotswap 文档import torch from transformers import AutoModelForCausalLM from peft import PeftModel from peft.utils.hotswap import hotswap_adapter, prepare_model_for_compiled_hotswap model_id ... inputs ... device ... max_rank ... # maximum rank among all LoRA adapters that will be used model AutoModelForCausalLM.from_pretrained(model_id).to(device) # load lora 0 model PeftModel.from_pretrained(model, path-adapter-0) # Prepare the model to allow hotswapping even if ranks/scalings of 2nd adapter differ. # You can skip this step if all ranks and scalings are identical. prepare_model_for_compiled_hotswap(model, target_rankmax_rank) model torch.compile(model) with torch.inference_mode(): output_adapter_0 model(inputs) # replace the default lora adapter with the new one hotswap_adapter(model, path-adapter-1, adapter_namedefault, torch_devicedevice) with torch.inference_mode(): output_adapter_1 model(inputs).logitsprepare_model_for_compiled_hotswap 的调用时机与参数从 源码 docstring 可以归纳出三个关键约束调用时机必须在加载完第一个将被换出的LoRA 适配器之后、torch.compile之前调用。若在编译后调用默认抛出ValueError(Call prepare_model_for_compiled_hotswap *before* compiling the model)可通过check_compiled参数可选值error/warn/ignore默认error调整行为测试用例test_prepare_model_for_compiled_hotswap_model_already_compiled_{raises,warns,ignore}逐一验证。target_rank应设为所有将被热替换的 LoRA 适配器中的最大 rank。所有 LoRA A/B 权重会被填充到该 rank填充位置补零数学上不影响原输出测试test_prepare_model_for_compiled_hotswap_does_not_change_output验证了预处理前后模型输出一致。若目标 rank小于现有 rank会抛出ValueError若目标 rank 不能整除分组卷积的groups数也会抛出ValueError。config可选传入LoraConfig或dict[str, LoraConfig]如model.peft_config时会将其中r及rank_pattern同步更新为target_rank保持配置与实际权重一致测试test_prepare_model_for_compiled_hotswap_scalings_update_config验证。in-place 修改该函数直接修改模型无法撤销如需恢复原始状态只能重新加载模型。若传入的模型没有任何适配器层例如在加载第一个适配器之前调用会抛出ValueError(No adapter layers found on the model)。源码级剖析hotswap_adapter 的执行流程hotswap_adapter的整体流程见 src/peft/utils/hotswap.py#L625-L716可以拆解为三个阶段1. 加载配置并做兼容性校验根据model_name_or_path通过PeftConfig._get_peft_type识别 PEFT 类型再实例化对应配置类然后调用check_hotswap_configs_compatible(model.active_peft_config, config)校验新旧适配器配置是否兼容——这就是前文所述 caveats 的落地检查点PEFT 类型必须相同、且仅 LoRA 的use_rslora/lora_dropout/alpha_pattern/use_dora四项被检查。2. 加载并重映射 state_dict通过load_peft_weights加载新适配器权重再调用_insert_adapter_name_into_state_dictsrc/peft/utils/save_and_load.py#L409把新适配器权重中的 key 全部改写为旧适配器的名字即adapter_name以便原位替换到lora_A.name.weight/lora_B.name.weight等张量上。3. 原位替换最终委托给低层函数hotswap_adapter_from_state_dict完成实际替换详见下一节。替换完成后新权重即刻生效无需任何额外操作。低层 APIhotswap_adapter_from_state_dict 与三种形状处理策略hotswap_adapter_from_state_dict(model, state_dict, adapter_name, config, parameter_prefixlora_)是低层入口源码它假设调用方已经完成了兼容性校验与 key 映射适用于需要精细控制的高级用法。它的行为要点保护已 merge 的适配器如果目标适配器当前已合并merged进基础权重会抛出ValueError提示先调用peft_model.unmerge_adapter()diffusers 模型对应unfuse_lora()否则后续 unmerge 会损坏权重回归测试见test_hotswap_raises_when_target_adapter_merged而其他适配器已 merge 不影响本次替换见test_hotswap_allowed_when_other_adapter_merged。key 对齐检查先做一次 dry run对比新 state_dict 与模型现有 key。出现 unexpected keys 直接RuntimeError缺失的 key 对应权重被置零fill_(0.0)避免旧权重残留影响输出。scaling 同步更新根据新适配器的配置重新计算 scaling 并写入_update_scaling支持use_rslora时的alpha / sqrt(rank)与普通时的alpha / rank两种公式与 LoRA layer 初始化逻辑 一致同时兼容rank_pattern与alpha_pattern的逐层覆盖。三种形状处理策略形状相同shapes_match直接copy_原地拷贝新权重更小new_is_smaller将目标张量整体清零后把新权重写入其左上角子块Linear 与 Conv2d 均支持分组卷积的 LoRA A 使用_copy_grouped_conv2d_lora_a_weights按 group 逐块拷贝新权重更大new_is_larger优先使用torch.utils.swap_tensors交换底层存储失败时回退为直接替换.data但此时若模型已编译仍可能破坏 inductor 的优化假设因此正确做法是事先用prepare_model_for_compiled_hotswap把 rank 填充到足够大。测试验证TestHotSwapping 覆盖的行为矩阵热替换功能在 tests/test_initialization.py 的TestHotSwapping测试类约第 4646 行起中有系统性的回归覆盖可作为理解行为边界的最佳参照测试用例验证的行为test_hotswap_works同 rank 下热替换 替换回来输出与直接加载对应适配器完全一致do_compile参数化覆盖编译/非编译两种模式test_hotswap_different_peft_types_raises/test_hotswap_wrong_peft_types_raises不同 PEFT 方法互换报错非 LoRA 方法如 IA3直接报Hotswapping only supports LORAtest_hotswap_missing_key_works新适配器缺少某个 key 时旧权重被置零输出不受残留权重影响test_hotswap_extra_key_raises新适配器多出模型中没有的 key 时抛出RuntimeErrortest_hotswap_works_different_ranks_alphas不同 rank/alpha参数化(7, 13)与(13, 7)下热替换与替换回来均正确test_hotswap_works_different_ranks_alphas_conv2d/..._conv2d_groupsConv2d 与分组卷积groups2场景后者依赖prepare_model_for_compiled_hotswap预先填充到最大 ranktest_hotswap_raises_when_target_adapter_merged/test_hotswap_allowed_when_other_adapter_mergedmerge 状态保护逻辑test_prepare_model_for_compiled_hotswap_*系列scalings 转为 Tensor、rank 填充、同 rank 不报错、rank 小于现状报错、rank_pattern同步、requires_grad保留、bias保留、预处理不改输出、已编译模型的 error/warn/ignore 三种模式、无适配器报错等实用建议在需要反复切换适配器做推理如多用户、多任务服务时优先使用热替换而非删除 重载尤其是在模型已torch.compile的场景下。先加载瞄准层最多的适配器再热替换为层数更少的适配器避免 unexpected keys 报错。若所有适配器 rank/alpha 一致可以完全跳过prepare_model_for_compiled_hotswap否则务必在torch.compile之前以最大 rank 调用它。热替换只适用于 LoRA且两个适配器需满足use_rslora、lora_dropout、alpha_pattern、use_dora一致更复杂的跨方法切换不在当前能力范围内。功能入口、实现与验证代码分别位于 hotswap 文档、src/peft/utils/hotswap.py 与 tests/test_initialization.py 中的TestHotSwapping类如需深入可自行查阅。赞分享人工智能大模型微调LoRA【免费下载链接】peft PEFT: State-of-the-art Parameter-Efficient Fine-Tuning.项目地址https://gitcode.com/gh_mirrors/pe/peft点击查看免费下载相关推荐mistral.rs 动态 LoRA 实战在 Rust 中加载模型并热切换 LoRA 适配器mistral.rs 动态 LoRA 实战在 Rust 中加载模型并热切换 LoRA 适配器 本文围绕 mistral.rs 仓库中的 Rust 进阶示例 l推理引擎模型推理服务AI Agent多模态突破LLM性能瓶颈PEFT热交换技术实现毫秒级适配器切换突破LLM性能瓶颈PEFT热交换技术实现毫秒级适配器切换 你是否遇到过这些困境训练多个LoRA适配器占用大量显存、切换任务时需要重启服务、生产环境中模型更新人工智能大模型微调LoRAHotswap Agent革新Java开发流程的热替换神器Hotswap Agent革新Java开发流程的热替换神器 在Java开发者的世界里“修改代码—重启应用—验证更改”的循环几乎成了日常。但这一切随着【Ho开发工具上一篇Dorado性能优化秘籍10个技巧最大化GPU利用率和处理速度下一篇3步搭建智能翻译流水线Dify迭代器翻译技术全解析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考