研究对象：Solve the Loop: Attractor Models for Language and Reasoning作者：Jacob Fein-Ashley, Paria Rashidinejad (USC)arXiv：2605.12466发布时间：2026-05-12项目主页：https://attractor-models.github.io/代码：https://github.com/jacobfa/Attractor一、问题的本质：为什么循环不是答案Transformer 改变了 NLP，但它有一个根本假设：每个 token 经过一层前馈网络就被定型了。这合理吗？你读一个句子，第一遍理解和第三遍理解能一样吗？人在思考时会反复琢磨、修正、再修正。但标准 Transformer 说：不行，你必须一次算对。于是研究者们开始探索循环架构——让模型反复迭代同一个计算块，逐步精炼它的理解。Universal Transformer、Looped Transformer、Recurrent-Depth Transformer……这条路走了好几年。但循环架构遇到了三个结构性难题：训练内存爆炸：每多循环一次，反向传播就要存一份
Attractor Models 深度拆解：当循环 Transformer 遇见不动点，AI 学会了自己迭代到答案
发布时间：2026/5/21 3:49:35
研究对象：Solve the Loop: Attractor Models for Language and Reasoning作者：Jacob Fein-Ashley, Paria Rashidinejad (USC)arXiv：2605.12466发布时间：2026-05-12项目主页：https://attractor-models.github.io/代码：https://github.com/jacobfa/Attractor一、问题的本质：为什么循环不是答案Transformer 改变了 NLP，但它有一个根本假设：每个 token 经过一层前馈网络就被定型了。这合理吗？你读一个句子，第一遍理解和第三遍理解能一样吗？人在思考时会反复琢磨、修正、再修正。但标准 Transformer 说：不行，你必须一次算对。于是研究者们开始探索循环架构——让模型反复迭代同一个计算块，逐步精炼它的理解。Universal Transformer、Looped Transformer、Recurrent-Depth Transformer……这条路走了好几年。但循环架构遇到了三个结构性难题：训练内存爆炸：每多循环一次，反向传播就要存一份
