
构建个人知识库的新范式LLM Wiki我们与 LLM 和文档的交互方式大多停留在 RAG 阶段上传一批文件查询时检索相关片段生成回答。这有效但 LLM 每次都在从头发现知识没有积累。问一个需要综合五份文档的细微问题它每次都要重新寻找和拼凑碎片。知识没有叠加增量。LLM Wiki提出了一个不同的思路不再仅在查询时从原始文档中检索而是让 LLM增量构建和维护一个持久的 wiki——一个位于你和原始资料之间的结构化、互相链接的 markdown 文件集合。当你添加新来源时LLM 不会只把它索引以备检索而是读取它、提取关键信息、将其整合进现有 wiki——更新实体页面、修订主题摘要、标注新旧数据矛盾之处、强化或挑战不断演进的综合认知。知识被编译一次然后保持最新而非每次查询都重新推导。核心区别传统 RAG查询时从原始文档中检索 → 知识每次重新派生LLM Wiki持久 wiki 作为中间层 → 知识被编译、积累、交叉引用关键在于wiki 是一个持久、复合的产物。跨引用已经存在矛盾已被标注综合认知已反映了你读过的所有内容。每添加一个来源wiki 就变得更有价值。三层架构原始资料层——你精选的源文档集合。文章、论文、图片、数据文件。这些是不可变的——LLM 读取但不修改它们。这是你的信任根源。Wiki 层——LLM 生成的 markdown 文件目录。摘要、实体页面、概念页面、对比、总览、综合。LLM 完全拥有这一层。它创建页面、在新来源到达时更新它们、维护交叉引用、保持一切一致。你阅读它LLM 编写它。Schema 层——一份文档如 CLAUDE.md 或 AGENTS.md告诉 LLM wiki 如何组织、有哪些约定、在摄取来源、回答问题或维护 wiki 时遵循什么工作流程。这是关键配置文件——它使 LLM 成为有纪律的 wiki 维护者而非通用聊天机器人。你和 LLM 共同演进这份文档随着你们摸索出适合领域的方式。核心操作Ingest摄取——你将新来源放入原始集合告诉 LLM 处理它。流程示例LLM 读取来源、与你讨论关键收获、在 wiki 中写摘要页面、更新索引、更新 wiki 中相关的实体和概念页面、向日志追加条目。一份来源可能涉及 10-15 个 wiki 页面。Query查询——你针对 wiki 提问。LLM 搜索相关页面、读取它们、综合出有引用的回答。重要洞察好的回答可以被归档回 wiki 作为新页面。你请求的对比、分析、你发现的关联——这些是有价值的不该消失在聊天历史中。这样你的探索就像摄取的来源一样在知识库中复合。Lint检查——定期让 LLM 做 wiki 健康检查。寻找页面间的矛盾、被新来源取代了的过时说法、没有入站链接的孤立页面、被提及但缺乏独立页面的重要概念、缺失的交叉引用、可以通过网络搜索填补的数据空白。两种特殊文件index.md是面向内容的。它是 wiki 中一切的目录——每个页面列出链接、一行摘要、可选元数据。LLM 每次摄取时更新它。回答查询时LLM 先读索引找相关页面再深入阅读。中等规模~100 来源、数百页面效果出奇地好避免了嵌入向量 RAG 基础设施的复杂度。log.md是时间线的。它是发生什么事、何时的append-only 记录——摄取、查询、lint 通过。有用的技巧如果每条目以一致前缀开头如## [2026-04-02] ingest | Article Title日志可以用简单 unix 工具解析——grep ^## \[ log.md | tail -5给你最近 5 条目。日志给你 wiki 演化的 timeline帮助 LLM 理解最近做了什么。为什么它有效维护知识库繁琐的部分不是阅读或思考——是记账工作。更新交叉引用、保持摘要最新、标注新数据何时与旧说法矛盾、维护数十个页面间的一致性。人类放弃 wiki 是因为维护负担增长快于价值。LLM 不会厌倦、不会忘记更新交叉引用、可以一次修改 15 个文件。维护成本接近零wiki 因此保持更新。人类的工作是策展来源、指导分析、问好问题、思考意义。LLM 的工作是其他一切。这与 Vannevar Bush 1945 年的 Memex 愿景在精神上相关——一个个人策划的知识存储文档间有关联trail。Bush 的愿景比网络最终走向更接近这个方向私有、主动策展、文档间的连接与文档本身同样有价值。他无法解决的部分是谁来维护。LLM 解决了。这个想法是抽象的——它描述了一个思路而非具体实现。确切的目录结构、schema 约定、页面格式、工具都取决于你的领域和偏好。所有提到的都是模块化的——取你所需。正确的使用方式是将其分享给你的 LLM Agent共同将它具体化到适合你需求的形式。落地实例llm-wiki下面介绍一个基于该理念实现的Github开源项目展示 LLM Wiki 如何将上述理念落地为实际应用。我们以学术研究场景为例摄入关于注意力机制的三篇论文让 LLM 自动构建可查询、可巡检的知识维基。环境准备从 GitHub 下载最新 release双击安装后启动。首次使用会要求创建一个项目——LLM Wiki 内置了五种场景模板模板适用场景特有目录Research学术研究、论文综述 thesis/、methodology/、findings/Reading书籍阅读、读书笔记 characters/、themes/、chapters/Personal Growth个人成长、心理认知 goals/、habits/、reflections/Business团队办公、会议纪要 meetings/、decisions/、projects/General通用场景仅基础结构选择Research模板系统自动生成项目骨架my-research-wiki/ ├── purpose.md # 研究目标、核心问题、论文范围 ├── schema.md # 页面类型规范、命名约定、交叉引用规则 ├── raw/sources/ # 原始 PDF/Word 文档不可变 ├── raw/assets/ # 图片资源 ├── wiki/ │ ├── index.md # 内容总索引 │ ├── log.md # 操作时间线 │ ├── overview.md # 全局综述自动更新 │ ├── entities/ # 实体词条作者、机构、数据集 │ ├── concepts/ # 概念词条注意力机制、Transformer │ ├── sources/ # 论文摘要页 │ ├── queries/ # 问答沉淀 │ └── synthesis/ # 综合分析跨论文观点对比 └── .obsidian/ # Obsidian 兼容配置在Settings中配置 LLM Provider以 OpenAI 为例填入 API Key、选择模型默认 GPT-4o、上下文窗口设为 128K Tokens。启用向量搜索可进一步提升召回率默认关闭召回率基准 58.2%开启后提升至 71.4%。素材摄入两阶段思维链将三篇 PDF 拖入Sources面板或点击「导入文件夹」递归摄入整个目录结构。点击「开始摄取」Activity 面板实时展示处理进度。第一阶段分析AnalysisLLM 调用两阶段思维链。第一步中LLM 读取论文全文生成结构化分析——不写入任何 wiki 文件Step 1 Output结构化分析: - 核心贡献提出了 Multi-Head Attention将注意力分解为多个并行子空间 - 关键实体Ashish Vaswani、Noam Shazeer、Google Brain - 关键概念Scaled Dot-Product Attention、Residual Connection - 与现有维基的关联直接扩展了《Attention is All You Need》的分析 - 矛盾点新版本相比早期版本移除了 Layer Normalization 的位置 - 建议的 wiki 页面entity/「Multi-Head Attention」、concept/「Scaled Dot-Product」第二阶段生成GenerationLLM 接收分析结果以 Markdown 格式输出所有待写入文件。系统通过--FILE: wiki/path---和--END FILE--包裹每个文件内容交由 Rust 后端写入磁盘。每份 15 页的论文平均联动更新 10-15 个 wiki 页面wiki/sources/attention-is-all-you-need.md wiki/concepts/multi-head-attention.md wiki/concepts/scaled-dot-product-attention.md wiki/entities/ashish-vaswani.md wiki/entities/google-brain.md wiki/index.md # 更新内容索引 wiki/overview.md # 重新生成全局综述 wiki/log.md # 追加本次操作记录增量缓存确保重复摄入时跳过未修改的文件——源文件 SHA256 哈希值对比缓存已变化或新增的文件才会触发 LLM 调用。持久化队列保证即使应用崩溃、进程中断已入队的任务也会在重启后自动恢复最多重试 3 次。多模态图片摄入如果 PDF 内嵌图片如模型架构图、实验结果图Rust 后端会将其提取至raw/assets/可选调用视觉 LLM 生成事实性描述_caption_最终在对应的 wiki 页面中以引用形式呈现。智能问答基于沉淀知识作答进入Chat面板直接提问「Transformer 的残差连接为什么需要按比例缩放」检索流程经历四个阶段Phase 1: Tokenized Search - 对查询分词英文按空格停用词中文按 CJK 二元语法 - 在 wiki/ 和 raw/sources/ 中匹配 - 标题命中的页面 10 加权分 Phase 1.5: Vector Semantic Search可选 - 若开启通过 OpenAI-compatible /v1/embeddings 接口嵌入 - LanceDB 存储向量支持近似最近邻ANN检索 - 语义相关但关键词不匹配的页面可被发现 Phase 2: Graph Expansion - 用 Phase 1 结果作为种子节点 - 4-Signal 相关性模型扩展直接链接(x3.0)、同源文件(x4.0)、Adamic-Adar(x1.5)、类型亲和(x1.0) - 2-hop 遍历 衰减 Phase 3: Budget Control - 按配置的上下文窗口4K-1M Tokens分配检索量 - 分配比例60% wiki 内容、20% 聊天历史、5% 索引、15% 系统提示 Phase 4: Context Assembly - 组装检索到的页面附编号 [1][2] - 系统提示注入 purpose.md、schema.md、语言规则 - 要求 LLM 回答时引用页面编号假设 LLM 找到了concept/scaled-dot-product-attention.md和wiki/overview.md回答会类似残差连接中的缩放因子1 d k \frac{1}{\sqrt{d_k}}dk1用于控制点积的方差。当维度d k d_kdk较大时点积的方差会随d k d_kdk增长导致 softmax 函数进入饱和区梯度接近于零。缩放后保证了 softmax 输入的方差稳定详情见 [1]。问答反向沉淀有价值的分析不会被丢弃——点击「Save to Wiki」LLM 会将回答归档至wiki/queries/并再次调用两阶段思维链提取其中的实体和概念更新维基网络。这意味着每次问答都可能让维基生长。定期巡检知识库自我健康维护点击左侧Lint面板触发双重检查结构检查无需 LLM系统扫描图结构发现以下问题并输出报告孤立页面没有任何入站链接的页面可能代表被遗忘的死角断链[[wikilinks]]引用了不存在的目标页面出站为零页面没有链接到任何其他页面缺乏关联语义检查LLM 驱动对于更复杂的问题LLM 被调用来检测页面间矛盾同一问题的表述在两份来源中出现冲突标记过时内容某观点被新摄入的论文推翻发现缺失页面页面中提及了某个概念但没有独立词条提出完善建议补充交叉引用、填补空白---LINT: contradiction | HIGH | LayerNorm 位置不一致--- 在 paper-v1 中LayerNorm 位于残差连接之前而在 paper-v2 中 位置被移至残差连接之后。两篇论文的摘要页均未注明这一变更。 建议更新两篇论文的摘要页明确标注差异。 ---END LINT---巡检结果进入Review面板异步处理——Review 中的条目不会阻塞摄入流程用户可随时逐一处理。LLM 为每条 Review 预先生成网络搜索查询用户可一键触发 Deep Research 填补空白。知识图谱从全局看见关联点击Graph面板sigma.js 渲染整个维基的知识网络节点每个 wiki 页面大小按链接数开方缩放边wikilinks 关系厚度代表相关性权重着色可切换「按类型着色」entity/concept/source或「按 Louvain 社区着色」Louvain 社区检测自动将维基划分为若干知识簇——比如「模型架构簇」「训练优化簇」「应用场景簇」。低内聚社区cohesion 0.15会被标记警告提示该区域的内容关联薄弱。Graph Insights进一步挖掘图结构意外连接跨社区的边或跨类型的链接通常代表创新性关联孤立页面度 1 的节点代表潜在的知识盲区桥接节点连接 3 个以上社区的页面是知识融合的关键枢纽点击「Deep Research」LLM 会先读取overview.md和purpose.md理解研究背景再生成针对该桥接节点的网络搜索主题将结果自动摄入维基。Obsidian 实时浏览双窗口协作LLM Wiki 生成的wiki/目录天然是合法的 Obsidian vault——直接用 Obsidian 打开同一目录可以享受 Obsidian 的图谱视图、模板功能、插件生态。LLM Wiki 作为背后的「开发者」持续编辑维护Obsidian 作为前台的「IDE」供你浏览和探索。也可以同时运行 LLM Wiki 和 Obsidian左侧 Obsidian 浏览已有知识右侧 LLM Wiki 提问或摄入新论文工作流互不干扰。完整工作流小结整个研究维基的日常维护循环如下摄入新论文 → 两阶段思维链生成 wiki 页面 → 自动更新 index/overview/log ↓ 提问 / 讨论 → 4-Signal 检索 Graph Expansion → 生成带引用的回答 ↓ Save to Wiki → 问答沉淀为新页面 → 维基持续生长 ↓ 定期 Lint → 孤立页面 / 断链 / 矛盾检测 → Review 异步处理 ↓ Graph Insights → 发现知识空白 → Deep Research → 新论文摄入整个过程中人类只需做三件事搜集素材把 PDF 丢进 Sources、提问和讨论Chat 面板、做判断Review 面板中处理 LLM 拿不准的事项。LLM 承担了所有繁琐的记账工作——撰写词条、维护交叉引用、追踪矛盾、巡检健康度。这正是 LLM Wiki 从概念到落地的核心价值让知识库从「存起来再说」变成「边用边长」。