复现 Qwen 的双块注意力 DCA 时Inter-Chunk Attention 这块的报错一般不是「算不出来」而是「位置索引越界」。块间注意力要把所有 query 位置索引设成常数 c-1再用 M[i][j]c-1-Pk[j] 算相对位置矩阵Pk[j] 本应按照块内位置 0 到 s-1 循环。只要循环范围写错比如直接用全局位置 j或者把 s 和 c 的大小关系弄反前向一跑就报 position index out of range。这篇排障文章就从这条报错出发用 Codex 走 TaoToken 核对原文公式先到 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 创建 API Key把 Codex 的 Base URL 指到 https://taotoken.net/api然后把报错和公式贴给 Codex让它给出一版修正后的相对位置矩阵写法。1. Inter-Chunk 的越界是从哪儿冒出来的1.1 块间注意力到底在算什么DCA 把长序列切成一个个大小为 s 的块三种注意力分工不同。块内注意力只处理同一个块里的 token直接用原始相对位置编码连续块注意力管相邻两个块让块边界处的 token 保持局部性块间注意力则处理不相邻的块之间那些比较远的依赖。块间注意力想做的是「隔块也能关联」。既然要隔块query 的位置就不能直接用它在整个序列里的真实坐标——一旦用了真实坐标相对位置值会随着序列变长而无限变大而模型预训练时根本没吃过那么大的位置索引。所以原文的做法是把所有 query 的位置索引统一设成预训练长度减一也就是 c-1key 侧则继续保持块内位置 0 到 s-1 循环再按 M[i][j] c-1 - Pk[j] 得到相对位置矩阵。写成形式化表达就是这样的PqInter [c-1, c-1, c-1, ...]长度等于整个序列长度Pk[j] j mod s属于窗口大小 s 内的偏移量当两个 token 不在同一个块内即 floor(i/s) ! floor(j/s) 时使用 M[i][j] c-1 - Pk[j]。这里最关键的一步是 Pk[j] 的大小范围。预训练长度 c 是固定的块大小 s 一定是小于 c 的所以 Pk[j] 算出来的值永远落在 0 到 c-1 以内。问题在于很多人实现时直接把 Pk 写成了全局位置索引这一下就把 j%3E 推到了 c 附近甚至更远位置编码一查表就炸。1.2 Pk 循环范围出错时的具体表现下面这段代码是典型的错误写法。Pq 按要求设成了常数 c-1但 Pk 用的是全局索引 range(seq_len)导致 M 矩阵里出现大量超出预训练范围的值def inter_chunk_attn_wrong(q, k, c, s, seq_len): Pq [c - 1] * seq_len Pk list(range(seq_len)) # 错误应该用 j % s 循环 M [[Pq[i] - Pk[j] for j in range(seq_len)] for i in range(seq_len)] # 前向时会报 position index out of range修正后应该让 Pk 按块大小循环同时保留原始文本长度不变def inter_chunk_attn_fixed(q, k, c, s, seq_len): Pq [c - 1] * seq_len Pk [j % s for j in range(seq_len)] # 块内位置 0..s-1 循环 M [[Pq[i] - Pk[j] for j in range(seq_len)] for i in range(seq_len)] # M 的值域为 [c-s, c-1]不会越界报错本身通常会出现在位置编码阶段报错信息类似 index N is out of bounds for dimension 0 with size c。它不直接指向你的 Pk 列表而是指向你喂进 RoPE 的向量所以不少人盯着位置编码函数看半天实际上问题出在更前面的索引构造。还有一种隐蔽情况连续块注意力里前 w 个 query 的位置索引被设置成 s 到 sw-1 的递增序列如果 w 写成 c-s那最后一个值会到 c-1刚好不越界但如果你把 w 不小心写成了 c-s1最后一个值就变成 c立刻越界。这类边界条件靠人眼很难一次挑出来适合交给 Codex 对着原文逐行核对。2. 用 Codex 排查前先把通道接到 TaoToken2.1 拿 Key 这件事可以一步做完在开始排查之前需要一把能用的 API Key。打开 TaoToken 完成注册进入控制台创建 Key。创建之后把 Key 复制下来后面所有配置都填 YOUR_API_KEY 这个占位符不要直接把 Key 贴到博客评论区或者提交到 Git 仓库。拿到 Key 之后Codex 这边还需要一套模型 ID。不同时间点模型广场上可用的 ID 会变化所以不要照抄别人的文章里写死的模型名以 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 模型广场当时列表为准。TaoToken 在这里只负责给 Codex 提供 Key 和通道DCA 的计算本身由 Codex 调用的模型完成通道不参与矩阵运算逻辑。2.2 在 config.toml 里把 Base URL 指过去Codex 使用 ~/.codex/config.toml 作为配置文件。自定义 provider 的写法如下model YOUR_MODEL_ID model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY wire_api chat注意 base_url 是 https://taotoken.net/api末尾不要加 /v1也不要加任何 UTM 参数。模型 ID 那一栏请替换成你在模型广场看到的实际 ID。如果 Codex 升级后提示 model_provider 相关字段有变化以当前版本 Codex 官方配置文档为准。保存 config.toml 后设置环境变量并启动 Codexexport TAOTOKEN_API_KEYYOUR_API_KEY codex启动后先用一句简单的话确认通道通不通比如问 Codex 是否能看到当前工作目录。能正常回复就说明 Key、Base URL、模型 ID 三者已经对齐接下来可以进入正式排查。3. 把报错和公式贴给 Codex让它逐项核对 Pk 与 M[i][j]3.1 要贴给 Codex 的内容Codex 的优势在于它可以看到上下文也能根据你贴的公式做对照。为了让核对更精准建议把三样东西一次性贴进去报错原文、当前代码里 Pk 和 M 的构造逻辑、原文的公式描述。下面是一段可以参考的 prompt 结构你可以根据自己的报错信息改我在复现 Qwen 的 DCA 双块注意力块间注意力阶段报了 position index out of range。 我的代码里 Pk 是这样写的 Pk list(range(seq_len)) 原文的描述是 - PqInter [c-1, c-1, ..., c-1] - 当两个 token 不在同一块内时M[i][j] c-1 - Pk[j] - Pk[j] 在 0 到 s-1 之间循环 请帮我核对 1. Pk 的循环是否应该改成 j % s而不是直接使用全局位置 j 2. PqInter 必须保持常数 c-1还是可以随着 query 的实际位置变化 3. 如果块大小 s 大于预训练长度 c这个公式本身是否已经不成立 4. 给出修正后的相对位置矩阵写法并标出与原文公式的对应关系。Codex 拿到这段信息后通常会把你的 Pk 定义和原文公式逐条对齐指出越界的根因。你不需要它直接改完全部训练代码只需要它针对索引构造给出修正版本再由你自己放进项目里跑通。3.2 Codex 大概会给出什么样的修正按照经验Codex 大概率会指出下面几个点你可以拿它输出的结果对照核查。第一Pk 必须按块内位置循环。原文说得很清楚Pk[j] 在 0 到 s-1 之间循环所以正确写法是 Pk [j % s for j in range(seq_len)]而不是 range(seq_len)。这里的 j 是全局 token 下标但位置编码只关心它落在当前块内的偏移。第二PqInter 不能取实际位置。Inter-Chunk 处理的是非相邻块的 token如果 Pq 也用真实位置M[i][j] Pq[i] - Pk[j] 会拆成两个大数相减结果虽然可能不越界但已经偏离原文设计的相对位置语义。修正时坚持 Pq [c-1] * seq_len 即可。第三注意块大小 s 与窗口长度 c 的关系。原文隐含一个前提s c。如果你的配置里块大小 s 被设置得等于或大于预训练长度 c任何修法都会继续越界。这时要调整 s 的取值而不是只改代码。第四连续块注意力里有一个递增区间 s 到 sw-1。这个区间的终点是 sw-1不是 sw。如果 w c-s终点是 c-1合法如果 w 多写 1终点变成 c立刻越界。Codex 会顺手检查你这部分边界。如果你贴进去的错误代码里同时包含块内、连续块、块间三种注意力Codex 给的修正可能是一段完整的位置索引构造函数。把它和原文公式对照一遍确认每一行都能对应上再复制进项目。4. 修完怎么验证以及这次调用去哪看用量4.1 用手工矩阵验证修正结果改完代码不要直接跑大模型。先用一个小规模的例子手算一遍 M 矩阵确认数值符合原文公式再放进注意力计算里验证。选一组很小的参数预训练长度 c8块大小 s4序列长度 seq_len8。原始序列被切分成两个块第 0 块全局位置 0 到 3Pk [0, 1, 2, 3]第 1 块全局位置 4 到 7Pk [0, 1, 2, 3]PqInter 全部等于 c-1 7。那么M[0][0] 7 - Pk[0] 7 - 0 7 M[0][3] 7 - Pk[3] 7 - 3 4 M[0][5] 7 - Pk[5] 7 - 1 6 M[7][6] 7 - Pk[6] 7 - 2 5手工核对这几个格子的值是否和你代码跑出来的一致。如果一致说明 Pk 循环和 Pq 常数设定已经修正到位如果不一致把实际输出和手工矩阵一起贴给 Codex让它重新对照。这里有个容易忽略的点M 矩阵只在两个 token 不在同一块内时才需要计算同一块内应该走原始位置编码。验证时要确认你的代码对跨块和块内做了正确分支否则可能出现 M 矩阵正确但注意力结果仍然不对的情况。4.2 回控制台对一下这次调用代码验证通过后可以到 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 的控制台查看这次排查期间的调用记录确认每一轮 Codex 对话都正常计费。如果发现自己常用的模型 ID 在广场列表中已经下架或改名也可以顺便在模型广场挑一个等价模型回头改掉 config.toml 里的 model 字段。后续要继续在 Codex 里排查别的问题时先用 TaoToken 模型对话 发一条消息验证 Key 状态需要长期跑 Codex 写代码的话可以看看 Coding Plan 是否比按量更合适新 Key 的创建始终在 控制台 API Keys 完成。Claude Code 用户另有一份环境变量对照文档但本文的 Codex 排障流程到这里已经用完一套完整闭环。回头再看报错它不神秘位置索引越界无非就是 Pq 没保持常数、Pk 没按块内循环、或者 s 和 c 的边界关系被打破。把这三件事逐一核对清楚DCA 的块间注意力就能顺利跑通。以后遇到类似索引越界先拿出纸笔把位置索引矩阵手算几个格子再交给 Codex 对照公式比你盯着堆栈猜要快得多。