笔记6混合检索方案设计一、RAG的核心缺陷问题背景L2生成的剧情文本通常很长直接切片做RAG存在严重问题问题表现叙事完整性破坏切片只保留片段丢失上下文关联序列逻辑断裂一个完整序列被切成多个碎片边界切割问题关键信息刚好切在边界处检索结果失真返回的切片无法支撑决策示例L2生成拍卖会打脸序列5000字压抑阶段反派嘲讽、众人轻视2000字爆发阶段主角亮宝、全场震惊2000字余韵阶段天价成交、反派失声1000字传统切片1000字/片200字重叠片段1嘲讽的前半部分片段2嘲讽的后半部分 亮宝的开头片段3亮宝的中段片段4震惊 成交结果检索拍卖会打脸返回的是破碎的片段无法理解完整序列。二、混合检索方案初步设计架构总览L2生成长剧情文本 ↓ Agent数据集处理流程 ↓ ┌───┴───┐ ↓ ↓ 向量数据库 MD文本库 (摘要标签) (完整切片) ↓ ↓ 标签指针 ──→ 片段数据 (多维度切分)核心设计1. 双库分离库存储内容作用向量数据库摘要 标签 指针快速检索定位相关内容MD文本库完整切片文本提供完整上下文2. 知识库检索专家定位L2专家会议的参与者负责从知识库获取必要信息职责理解当前专家会议的讨论语境判断需要检索的维度调用向量数据库获取标签根据标签获取完整文本智能加工后返回给专家会议工作流专家会议讨论 → 检索专家监听 → 判断需求 ↓ 选择检索维度 ↓ 查询向量数据库 ↓ 获取标签/指针 ↓ 读取MD文本库 ↓ 智能加工处理 ↓ 返回专家会议三、多维度切片方案设计思路放弃机械的重叠切片采用多维度智能切分。同一份原始文本从不同角度切分成不同粒度的片段。维度设计维度切片单位切片边界适用场景剧情维度序列/事件序列开始/结束剧情架构师查询完整情节人物维度角色相关段落人物出场/退场人物设计师查询角色行为爽点维度情绪段落情绪转折点网络编辑评估爽点节奏功能维度叙事功能功能边界分析剧情结构切片示例原始文本拍卖会打脸序列5000字剧情维度切片切片A拍卖会打脸完整序列5000字边界序列开始入场→ 序列结束离场人物维度切片切片B1主角戏份1500字切片B2反派赵少戏份2000字切片B3鉴定师戏份800字切片B4群众反应700字爽点维度切片切片C1压抑阶段2000字切片C2爆发阶段2000字切片C3余韵阶段1000字功能维度切片切片D1铺垫功能入场嘲讽切片D2转折功能亮宝切片D3反馈功能震惊成交检索场景示例场景网络编辑评估拍卖会打脸的爽点节奏是否合理检索专家处理 1. 识别语境网络编辑关注爽点节奏 2. 选择维度爽点维度 3. 检索结果 - 压抑阶段2000字 标签压抑强度中 - 爆发阶段2000字 标签爆发强度高 - 余韵阶段1000字 标签余韵强度低 4. 智能加工 - 分析情绪曲线压抑→爆发→余韵 - 评估节奏压抑略短建议延长 5. 返回给网络编辑四、粒度冲突与解决问题不同维度的切片粒度不同可能存在冲突人物维度主角戏份跨多个序列剧情维度单个序列完整呈现爽点维度按情绪阶段切分解决思路分别返回侧重不同Agent统一处理查询主角在拍卖会的表现 检索结果 ├── 剧情维度拍卖会打脸序列完整上下文 ├── 人物维度主角戏份聚焦主角 └── 爽点维度主角相关的爽点段落 知识库检索专家 - 理解查询意图人物行为分析 - 优先返回人物维度切片 - 补充剧情维度作为上下文参考 - 加工整合后返回五、待深入讨论的问题1. 索引结构设计多维度索引多套独立索引 vs 一套索引多维度标签标签体系需要哪些标签字段指针结构如何高效关联向量库与文本库2. 切分Agent设计切分Agent需要理解哪些叙事学概念如何自动识别序列边界、情绪转折点、功能边界人工预标注 vs 全自动切分3. 检索策略多维度检索时如何选择返回哪些维度的切片检索结果的优先级排序切片长度上限是多少4. 与L2专家会议的集成检索专家如何监听专家会议何时主动检索何时被动响应检索结果如何呈现给专家5. 数据格式MD文本库的具体格式向量数据库的数据结构标签字段设计六、后续工作深入思考索引结构和切分Agent设计设计具体的标签体系和数据格式实现一个最小原型验证可行性与现有的L2专家会议流程集成测试七、AgentRAG混合方案的扩展应用洞察这套混合检索方案不仅适用于L2的长文本问题对于L3和L4的RAG映射处理同样具有参考价值。AgentRAG的混合方式比单纯的RAG方法更智能、更可控。L3叙事层的应用L3的核心任务是映射将网文效果指令翻译为叙事学技术指令。单纯RAG的问题检索到的映射规则可能不完整无法理解当前细纲的具体语境多条映射规则冲突时无法判断AgentRAG混合方案L3叙事层 映射检索专家 工作流 1. 读取L2产出的精修大纲 2. 映射检索专家监听当前任务 3. 判断需要哪些映射规则视角节奏话语模式 4. 检索L3映射关系库 5. Agent智能加工根据具体场景选择/组合映射规则 6. 产出细纲指令待思考L3的映射检索专家需要理解哪些概念多条映射规则冲突时如何仲裁映射规则是否需要优先级或适用条件标签L4渲染层的应用L4的核心任务是渲染根据细纲指令生成正文文本。单纯RAG的问题检索到的参考文本风格可能不一致无法根据当前章节的具体需求筛选参考文本可能带偏生成方向AgentRAG混合方案L4渲染层 技法检索专家 工作流 1. 读取L3产出的细纲指令 2. 技法检索专家分析当前场景需求 3. 检索L4微观技法库 4. Agent智能加工筛选、组合、调整参考文本 5. 产出正文待思考L4的技法检索专家如何判断风格一致性多个参考文本如何融合如何避免参考文本过度影响生成结果统一的AgentRAG架构┌─────────────────────────────────────────────────┐ │ 创作模型 │ ├─────────────────────────────────────────────────┤ │ L1种子层 → L2架构层 → L3叙事层 → L4渲染层 │ │ ↓ ↓ ↓ │ │ 检索专家(剧情) 检索专家(映射) 检索专家(技法) │ │ ↓ ↓ ↓ │ │ ┌────┴───────────┴───────────┴────┐ │ │ ↓ Agent智能加工层 ↓ │ │ └────┬───────────┬───────────┬────┘ │ │ ↓ ↓ ↓ │ │ 向量数据库 向量数据库 向量数据库 │ │ (剧情库) (映射库) (技法库) │ │ ↓ ↓ ↓ │ │ MD文本库 MD文本库 MD文本库 │ └─────────────────────────────────────────────────┘待深入讨论的问题L3映射检索专家的职责边界只检索映射规则还是也参与映射决策L4技法检索专家如何避免风格漂移三个检索专家是否需要共享某些信息如当前故事的整体风格基调Agent智能加工层的具体逻辑压缩重组摘要推理是否需要一个总检索协调者来统筹三个检索专家八、业界相近的RAG增强方案以下是检索到的业界方案笔者未深入研读。如果读者发现本文的方案走不通可以参考这些方案进行改进。1. Query Transformations查询变换LangChain提出的查询增强方法方法说明Query Expansion将问题拆分成多个子问题分别检索Query Re-writing重写问题以提高检索效果Query Compression压缩对话历史为单一检索问题参考https://blog.langchain.dev/deconstructing-rag/2. Multi-Vector Retriever多向量检索器核心思想将用于检索的内容和返回给LLM的内容分离。检索时使用摘要、小切片或表格描述返回时返回完整的原文、原始表格与本文方案的相似性本文的向量库存摘要标签MD库存完整文本与之类似但本文增加了多维度切分和Agent智能加工参考LangChain Multi-Vector Retriever3. Parent Document Retriever父文档检索器核心思想小切片检索返回大切片父文档。解决切片边界问题但仍是机械的长度切分没有语义边界与本文方案的差异本文按叙事学概念序列、情绪、功能切分而非机械长度本文的多维度切分可以考虑不同粒度需求参考LangChain Parent Document Retriever4. GraphRAG微软核心思想构建知识图谱而非简单切片。从文本中提取实体、关系、声明使用Leiden算法进行层级聚类生成社区摘要支持全局/局部搜索与本文方案的相似性都关注关系和层级GraphRAG用知识图谱本文用叙事学概念与本文方案的差异GraphRAG偏通用知识抽取本文针对网文创作有爽点、功能、序列等特定维度参考https://microsoft.github.io/graphrag/方案对比总结方案切片策略索引结构检索处理适用场景Multi-Vector机械切分摘要原文分离直接返回通用Parent Document小切大返回层级索引直接返回通用GraphRAG知识图谱图结构图遍历复杂推理本文方案多维度语义切分双库AgentAgent智能加工网文创作本文方案的创新点叙事学驱动的切分维度按人物、爽点、剧情、功能维度切分Agent作为检索专家主动理解语境智能加工检索结果与创作流程深度绑定L2/L3/L4各有专门的检索专家创建时间2026-03-19 状态方案讨论中