Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution论文链接https://arxiv.org/pdf/2606.06492v1作者:Liliana Hotsko, Yinxi Li, Yuntian Deng, Pengyu Nie论文详细解读:Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software EvolutionAuthors: Liliana Hotsko, Yinxi Li, Yuntian Deng, Pengyu Nie机构: University of WaterlooYear: 2026 |arXiv: 2606.06492二、研究背景与动机 / Background Motivation真实代码库跨越成千上万个文件代码大模型需要理解其中的导入关系、API 调用和项目约定才能完成补全、修复 bug 或导航项目等任务。现有方法的两大局限长输入方法RAG / DRC每次推理都要消耗大量 context windowRAG 检索能力有限仓库规模大时往往失效。逐仓库微调 / LoRA训练成本高且对演化中的代码库脆弱——每次 commit 都可能使适配器过时需重新训练。超网络方法的机遇Text2LoRA、Doc2LoRA 等工作已证明可以用一次前向传播从条件输入生成 LoRA 权重但它们只针对短文本任务描述或单文档无法处理整个代码仓库也没有追踪代码演化的机制。Code2LoRA 正是在此背景下提出将仓库级知识参数化存入 LoRA 权重并通过 GRU 递归追踪代码演化一举解决了上述两大挑战。四、实验 / Experiments4.1 RepoPeftBench 基准 / Benchmark任务断言补全Assertion Completion——给定测试文件中断言前的结构化前缀预测断言期望值即断言的右值。这是一个需要代码执行语义推理的任务直接源自 LiveCodeBench 的 code-execution 设定但以自然测试套件替代人工构造样本。数据规模轨道仓库数Commits任务数静态轨道 训练40940939,612静态轨道 CR Test52526,414演化轨道 训练Code2LoRA-Evo40045,516215,129演化轨道 CR Test516,61844,732OOD Test921,95014,813Commit 历史的突发性Bursty Pattern图25个随机仓库的 test-touching commit 分布。提交以不规则突发方式到来中位仓库累积超过100个此类提交这正是 Code2LoRA-Evo 逐 commit 适应而非静态快照的动机。输入长度分布图3前缀左和 DRC前缀右的 token 长度分布。仓库大小中位数 165K token前缀紧凑中位 224 tokenDRC前缀有重尾分布需要更大上下文窗口。4.2 实验设置基础 LLMQwen2.5-Coder-1.5Bbfloat16仓库编码器Qwen3-Embedding-0.6BLoRA 设置rank16α32覆盖全部7种注意力/MLP投影类型所有28层共享训练3 epochsAdamW cosine schedule单张 H100 80GB GPU基线方法Pretrained零样本RAGk3512-token 块DRC依赖解析上下文FFT全参数微调Single LoRA所有仓库共享单一 rank-16 适配器Per-repo LoRA每仓库独立训练仅用于 IR splits作为上界Text2LoRA用相同输入增强的基线仅超网络头不同4.3 主实验结果 / Main Results静态轨道单仓库快照方法CR EM (%)IR EM (%)Pretrained45.746.8RAG (k3)39.742.1DRC48.249.5FFT51.455.9FFT RAG53.956.8Single LoRA47.450.4Per-repo LoRA†—64.0Text2LoRA45.846.7Code2LoRA-Static63.866.2Code2LoRA-Static 在 CR 上比最强基线FFTRAG高9.9 pp在 IR 上匹配Per-repo LoRA 上界66.2% vs 64.0%无需任何逐仓库训练。演化轨道commit 历史方法CR EM (%)IR EM (%)Pretrained31.529.3Single LoRA55.161.3Per-repo LoRA†—64.2Code2LoRA-Static55.760.6Code2LoRA-Evo60.364.5Code2LoRA-Evo CR EM 60.3%比 Single LoRA5.2 ppIR EM 64.5%超越Per-repo LoRA 上界64.2%。LoRA 对比热力图各方法表现的仓库级细粒度分析图4各方法在 RepoPeftBench 测试仓库上的 EM 细粒度对比热力图。LoRA 嵌入 t-SNE 可视化图5不同方法生成的 LoRA 适配器的 t-SNE 可视化展示 Code2LoRA 生成的适配器空间分布。4.4 OOD 泛化方法OOD EM (%)Pretrained44.6Single LoRA72.3Text2LoRA60.4Code2LoRA-Static72.2Code2LoRA-Evo74.1注OOD 目标字符串系统性更短中位 7 字符 vs. 分布内 12-13 字符导致所有方法 EM 值整体偏高。在 OOD 内部比较Code2LoRA-Evo 领先次优方法约 1.8 pp EM。演化轨道随 commit 进展的性能趋势图6各方法随 commit 历史进展的性能变化。Code2LoRA-Evo 在长 commit 历史中保持最小的下滑趋势。4.5 消融实验 / Ablation StudyPer-repo LoRA 数据稀疏性分析不同数据量的仓库Per-repo LoRA 性能方差大图7Per-repo LoRA 的数据稀疏性散点图——样本量少的仓库方差大Code2LoRA 无此问题。Per-repo 性能分布图8各方法在 409 个 IR-test 仓库上 EM 的小提琴图展示分布中位数和方差。缩放律分析Scaling Law图9Code2LoRA 的缩放律分析展示超网络规模与性能的关系。错误再分类分析图10错误类型再分类分析揭示不同方法在不同失败模式上的分布差异。六、局限性与展望 / Limitations Future Work评估范围仅在 Python 仓库、单一基础模型Qwen2.5-Coder-1.5B、单一任务断言补全上验证多语言、多骨干模型的扩展留待未来OOD 目标长度偏差OOD 仓库的断言目标系统性更短中位 7 字符可能人为抬高 OOD EM 数值评估指标精确匹配可能漏掉功能等价实现作者补充了 EditSim、CodeBLEU 和小规模 pytest 执行探测但完整执行评估超出当前计算预算模型规模超网络本身约 720-745M 参数远大于基础 LLM1.5B是否在更大规模基础模型上仍需递归聚合是开放问题未来方向扩展至更多编程语言和下游任务探索更大规模基础模型研究更高效的仓库编码方式原文摘要:Code language models need repository-level context to resolve imports, APIs, and project conventions. Existing methods inject this knowledge as long inputs (retrieved through RAG or dependency analysis) or through per-repository fine-tuning and LoRA – costly at repository scale and brittle to evolving codebases. We introduce Code2LoRA, a hypernetwork framework that generates repository-specific LoRA adapters, effectively injecting repository knowledge with zero inference-time token overhead. Code2LoRA supports two usage scenarios: Code2LoRA-Static converts a single repository snapshot into an adapter, suitable for comprehension of stable codebases; while Code2LoRA-Evo maintains an adapter backed by a GRU hidden state updated per code diff, suitable for active development of evolving codebases. To evaluate Code2LoRA against parameter-efficient fine-tuning baselines, we build RepoPeftBench, a benchmark of 604 Python repositories with two tracks: a static track with 40K training and 12K test assertion-completion tasks, and an evolution track with 215K commit-derived training and 87K commit-derived test tasks. On the static track, Code2LoRA-Static achieves 63.8% cross-repo and 66.2% in-repo exact match, matching the per-repository LoRA upper bound; on the evolution track, Code2LoRA-Evo achieves 60.3% cross-repo exact match (5.2 pp over a single shared LoRA). Code2LoRA’s code can be found at https://anonymous.4open.science/r/code2lora-6857; the model checkpoints and RepoPeftBench datasets can be found at https://huggingface.co/code2lora.PDF链接:https://arxiv.org/pdf/2606.06492v1部分平台可能图片显示异常请以我的博客内容为准
Code2LoRA：MIT新框架助力代码模型真正“理解”项目！
发布时间：2026/6/9 3:36:17
Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution论文链接https://arxiv.org/pdf/2606.06492v1作者:Liliana Hotsko, Yinxi Li, Yuntian Deng, Pengyu Nie论文详细解读:Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software EvolutionAuthors: Liliana Hotsko, Yinxi Li, Yuntian Deng, Pengyu Nie机构: University of WaterlooYear: 2026 |arXiv: 2606.06492二、研究背景与动机 / Background Motivation真实代码库跨越成千上万个文件代码大模型需要理解其中的导入关系、API 调用和项目约定才能完成补全、修复 bug 或导航项目等任务。现有方法的两大局限长输入方法RAG / DRC每次推理都要消耗大量 context windowRAG 检索能力有限仓库规模大时往往失效。逐仓库微调 / LoRA训练成本高且对演化中的代码库脆弱——每次 commit 都可能使适配器过时需重新训练。超网络方法的机遇Text2LoRA、Doc2LoRA 等工作已证明可以用一次前向传播从条件输入生成 LoRA 权重但它们只针对短文本任务描述或单文档无法处理整个代码仓库也没有追踪代码演化的机制。Code2LoRA 正是在此背景下提出将仓库级知识参数化存入 LoRA 权重并通过 GRU 递归追踪代码演化一举解决了上述两大挑战。四、实验 / Experiments4.1 RepoPeftBench 基准 / Benchmark任务断言补全Assertion Completion——给定测试文件中断言前的结构化前缀预测断言期望值即断言的右值。这是一个需要代码执行语义推理的任务直接源自 LiveCodeBench 的 code-execution 设定但以自然测试套件替代人工构造样本。数据规模轨道仓库数Commits任务数静态轨道 训练40940939,612静态轨道 CR Test52526,414演化轨道 训练Code2LoRA-Evo40045,516215,129演化轨道 CR Test516,61844,732OOD Test921,95014,813Commit 历史的突发性Bursty Pattern图25个随机仓库的 test-touching commit 分布。提交以不规则突发方式到来中位仓库累积超过100个此类提交这正是 Code2LoRA-Evo 逐 commit 适应而非静态快照的动机。输入长度分布图3前缀左和 DRC前缀右的 token 长度分布。仓库大小中位数 165K token前缀紧凑中位 224 tokenDRC前缀有重尾分布需要更大上下文窗口。4.2 实验设置基础 LLMQwen2.5-Coder-1.5Bbfloat16仓库编码器Qwen3-Embedding-0.6BLoRA 设置rank16α32覆盖全部7种注意力/MLP投影类型所有28层共享训练3 epochsAdamW cosine schedule单张 H100 80GB GPU基线方法Pretrained零样本RAGk3512-token 块DRC依赖解析上下文FFT全参数微调Single LoRA所有仓库共享单一 rank-16 适配器Per-repo LoRA每仓库独立训练仅用于 IR splits作为上界Text2LoRA用相同输入增强的基线仅超网络头不同4.3 主实验结果 / Main Results静态轨道单仓库快照方法CR EM (%)IR EM (%)Pretrained45.746.8RAG (k3)39.742.1DRC48.249.5FFT51.455.9FFT RAG53.956.8Single LoRA47.450.4Per-repo LoRA†—64.0Text2LoRA45.846.7Code2LoRA-Static63.866.2Code2LoRA-Static 在 CR 上比最强基线FFTRAG高9.9 pp在 IR 上匹配Per-repo LoRA 上界66.2% vs 64.0%无需任何逐仓库训练。演化轨道commit 历史方法CR EM (%)IR EM (%)Pretrained31.529.3Single LoRA55.161.3Per-repo LoRA†—64.2Code2LoRA-Static55.760.6Code2LoRA-Evo60.364.5Code2LoRA-Evo CR EM 60.3%比 Single LoRA5.2 ppIR EM 64.5%超越Per-repo LoRA 上界64.2%。LoRA 对比热力图各方法表现的仓库级细粒度分析图4各方法在 RepoPeftBench 测试仓库上的 EM 细粒度对比热力图。LoRA 嵌入 t-SNE 可视化图5不同方法生成的 LoRA 适配器的 t-SNE 可视化展示 Code2LoRA 生成的适配器空间分布。4.4 OOD 泛化方法OOD EM (%)Pretrained44.6Single LoRA72.3Text2LoRA60.4Code2LoRA-Static72.2Code2LoRA-Evo74.1注OOD 目标字符串系统性更短中位 7 字符 vs. 分布内 12-13 字符导致所有方法 EM 值整体偏高。在 OOD 内部比较Code2LoRA-Evo 领先次优方法约 1.8 pp EM。演化轨道随 commit 进展的性能趋势图6各方法随 commit 历史进展的性能变化。Code2LoRA-Evo 在长 commit 历史中保持最小的下滑趋势。4.5 消融实验 / Ablation StudyPer-repo LoRA 数据稀疏性分析不同数据量的仓库Per-repo LoRA 性能方差大图7Per-repo LoRA 的数据稀疏性散点图——样本量少的仓库方差大Code2LoRA 无此问题。Per-repo 性能分布图8各方法在 409 个 IR-test 仓库上 EM 的小提琴图展示分布中位数和方差。缩放律分析Scaling Law图9Code2LoRA 的缩放律分析展示超网络规模与性能的关系。错误再分类分析图10错误类型再分类分析揭示不同方法在不同失败模式上的分布差异。六、局限性与展望 / Limitations Future Work评估范围仅在 Python 仓库、单一基础模型Qwen2.5-Coder-1.5B、单一任务断言补全上验证多语言、多骨干模型的扩展留待未来OOD 目标长度偏差OOD 仓库的断言目标系统性更短中位 7 字符可能人为抬高 OOD EM 数值评估指标精确匹配可能漏掉功能等价实现作者补充了 EditSim、CodeBLEU 和小规模 pytest 执行探测但完整执行评估超出当前计算预算模型规模超网络本身约 720-745M 参数远大于基础 LLM1.5B是否在更大规模基础模型上仍需递归聚合是开放问题未来方向扩展至更多编程语言和下游任务探索更大规模基础模型研究更高效的仓库编码方式原文摘要:Code language models need repository-level context to resolve imports, APIs, and project conventions. Existing methods inject this knowledge as long inputs (retrieved through RAG or dependency analysis) or through per-repository fine-tuning and LoRA – costly at repository scale and brittle to evolving codebases. We introduce Code2LoRA, a hypernetwork framework that generates repository-specific LoRA adapters, effectively injecting repository knowledge with zero inference-time token overhead. Code2LoRA supports two usage scenarios: Code2LoRA-Static converts a single repository snapshot into an adapter, suitable for comprehension of stable codebases; while Code2LoRA-Evo maintains an adapter backed by a GRU hidden state updated per code diff, suitable for active development of evolving codebases. To evaluate Code2LoRA against parameter-efficient fine-tuning baselines, we build RepoPeftBench, a benchmark of 604 Python repositories with two tracks: a static track with 40K training and 12K test assertion-completion tasks, and an evolution track with 215K commit-derived training and 87K commit-derived test tasks. On the static track, Code2LoRA-Static achieves 63.8% cross-repo and 66.2% in-repo exact match, matching the per-repository LoRA upper bound; on the evolution track, Code2LoRA-Evo achieves 60.3% cross-repo exact match (5.2 pp over a single shared LoRA). Code2LoRA’s code can be found at https://anonymous.4open.science/r/code2lora-6857; the model checkpoints and RepoPeftBench datasets can be found at https://huggingface.co/code2lora.PDF链接:https://arxiv.org/pdf/2606.06492v1部分平台可能图片显示异常请以我的博客内容为准
