尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

CodeWhale上下文压缩机制:超长会话怎么办完整指南

CodeWhale上下文压缩机制:超长会话怎么办完整指南 CodeWhale上下文压缩机制超长会话怎么办完整指南【免费下载链接】CodeWhaleOpen-source coding agent for your terminal, built in Rust and on a journey of continuous community improvement. Issues and PRs welcome.项目地址: https://gitcode.com/GitHub_Trending/de/CodeWhaleCodeWhale 是一个用 Rust 编写的开源终端编码智能体coding agent。当你和它连续工作几小时、会话越来越长时上下文压缩Compaction机制会自动或手动把冗长的历史总结成精炼的交接摘要帮你把 token 预算省回来、让模型保持清醒。这篇文章带你搞懂它的工作原理和实用方法。为什么超长会话需要上下文压缩大模型有上下文窗口上限。会话越长每次请求携带的历史越多会带来三个问题成本上升历史 token 每轮都要重新计费响应变慢长上下文拖慢推理速度模型晕头信息过载后开始遗忘约束、重复劳动。CodeWhale 在状态栏顶部实时显示上下文占用例如9K/1.0M表示当前约 9K token、窗口 1.0M、占比 1%。当占用接近窗口上限时就是压缩登场的时候。上下文压缩的工作原理三道防线整个机制的核心实现位于 compaction.rs官方将其定义为长对话的上下文压缩。它采用先便宜后昂贵的分级策略1️⃣ 第一道防线本地工具结果剪枝零成本在动用模型之前Codewhale 会先做机械式的本地清理把早期重复或冗长的工具输出如大段日志、文件读取结果替换为一行摘要最近 4 条消息保持逐字节不动KEEP_RECENT_MESSAGES。如果剪枝后压力解除就完全不需要调用模型——省了一次 LLM 请求的钱。2️⃣ 第二道防线LLM 交接摘要剪枝仍不够时才会触发模型总结。摘要提示词COMPACT_PROMPT要求模型产出一份给下一位接手者的交接简报固定包含四要素摘要要素作用当前进度与关键决策避免重做已确认的选择约束条件与用户偏好保持行为一致性剩余待办清晰的下一步任务不中断关键数据文件路径、命令、报错原文让后续工作可直接续接3️⃣ 第三道防线只保留一份最新摘要每次压缩生成的摘要以一条历史消息的形式提交且新摘要直接替换旧摘要绝不层层堆叠同时原样保留最近的用户消息2 万 token 预算内。此外摘要语言会跟随你最近一次实质性发言的语言不会中英串味对空回复、占位回复也有防损坏校验绝不用垃圾摘要毁掉真实历史。压缩会重置提示缓存前缀系统会在 CACHE.md 所述的/cache stats中把这次失效标记为reset:compaction让你知道缓存为何失效——而不是悄悄变慢。一键手动压缩/compact 用法会话变长、模型开始抓不住重点时随时输入/compact还可以给摘要指定聚焦主题让 checkpoint 更看重你关心的部分/compact the auth refactor快捷键CtrlL同样可以触发手动压缩。命令入口源码见 session.rs。自动压缩怎么配置自动压缩默认开启触发点按当前模型的真实上下文窗口计算。常用开关在settings.toml中可通过/config图形化编辑# 到达上下文窗口的 80% 时自动触发压缩10–100默认 80 auto_compact_threshold_percent 80 # 彻底关闭自动压缩/compact 和 CtrlL 仍可用 auto_compact false这两项的完整说明见 CONFIGURATION.md。 建议日常保持默认 80% 即可如果你更在意每次请求的原始细节可以手动关自动、改用/compact自己掌控节奏。超长会话实战建议先看状态栏占用低于 60% 时通常无需干预持续重活前先 /compact 一次压缩是带状态换新车比让模型带着臃肿历史硬撑更稳摘要后重新锚定手动压缩失败或方向偏移时停止、重述目标与约束或开一个全新会话并用一句话交接官方指南 GUIDE.md 推荐的做法用 /cache stats 验证确认压缩后缓存重新命中避免压完又白烧钱。延伸资料压缩核心源码crates/tui/src/compaction.rs上下文预算计算context_budget.rs手动压缩命令commands/groups/session/session.rs缓存与压缩的关系docs/CACHE.md配置参考docs/CONFIGURATION.md新手指南docs/GUIDE.md上下文压缩不是删聊天记录而是一份让模型无缝接棒的交接单——用好它超长会话也能又快又省。【免费下载链接】CodeWhaleOpen-source coding agent for your terminal, built in Rust and on a journey of continuous community improvement. Issues and PRs welcome.项目地址: https://gitcode.com/GitHub_Trending/de/CodeWhale创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表