如果有一天大模型不再依赖人类语言训练会发生什么过去几年大模型能力的飞跃几乎都建立在一个前提之上海量文本数据。互联网、书籍、代码、论文几乎所有人类留下的语言痕迹都被当作训练数据。但随着高质量文本逐渐逼近枯竭研究者开始提出一个更激进的问题语言真的必须是智能的起点吗最新的一项研究给出了一个令人意外的答案也许不需要。他们假设让语言模型在学习语言之前先在完全非语言的合成数据上进行训练。论文使用了一种完全不同的数据来源在神经细胞自动机Neural Cellular Automata, NCA生成的数据上对 Transformer 进行预预训练pre-pre-training—— 这些数据完全是合成的不包含任何语言内容。结果显示这种方法能够将语言建模性能提升最多 6%将训练收敛速度加快 40%并增强模型在下游任务中的推理能力。这种方式的效果甚至超过了在自然文本上进行预预训练pre-pre-training的模型。论文标题Training Language Models via Neural Cellular Automata论文地址https://arxiv.org/pdf/2603.10055博客https://hanseungwook.github.io/blog/nca-pre-pre-training/自然语言真的是通向智能的唯一道路吗本文的核心假设是语言之所以适合用于预训练关键并不在于它的语义而在于它所具备的结构。如果这一点成立那么那些同样具有丰富结构、但并非语言形式的数据理论上也可能被用来训练智能系统。在得出这一假设之后本文提出利用 NCA 生成合成的、非语言数据用于对大语言模型进行预预训练pre-pre-training即先在合成数据上训练再在自然语言上继续训练。值得一提的是预预训练是本文提出的一种训练范式模型先学习 NCA 序列然后再在语料库上预训练最后微调。NCA 数据具有丰富的时空结构其统计特性在某些方面与自然语言相似同时又可控且易于大规模低成本生成。另外NCA 是对康威生命游戏Conway’s Game of LifeGardner1970等系统的一种推广它通过用神经网络替代固定的动力学规则来定义系统的演化过程并能够在空间局部规则的基础上生成多样化的数据分布。这种机制能够产生任意规模的长程时空模式见图 1并呈现出重尾heavy-tailed、齐夫定律的 token 分布这一统计特性与自然数据十分相似。在这种框架下每一个随机采样得到的神经网络都会对应一套独特的状态转移规则从而在网格上产生丰富多样的时空动态演化。当这些系统在较长时间尺度上不断展开运行时便会涌现出一系列复杂行为从快速收敛到固定吸引子状态的简单模式到随着时间逐渐演化形成的复杂结构呈现出极为丰富的动态形态谱系。这些 NCA 的演化轨迹会被离散化为序列通过 2×2 的图块 patch 进行分块类似视觉 Transformer 的处理方式随后输入到一个标准 Transformer 模型中并通过下一 token 预测进行训练。关键之处在于由于每一条序列都对应着一条独特的潜在演化规则latent rule模型要想正确预测接下来会发生什么就必须在上下文中推断出这条规则。而这种在上下文中推断规则的能力正是语言模型中许多核心推理能力得以产生的基础。出人意料的结果在相同的 token 预算每种设置均为 1.64 亿 tokens 下使用 NCA 进行预预训练pre-pre-training 的模型优于以下几种方案从零开始训练使用自然语言数据C4进行预预训练使用其他合成数据如 Dyck进行预预训练。这种优势在网页文本、数学以及代码任务上都得到很好的体现。更重要的是这种提升不仅仅体现在收敛速度更快还体现在最终困惑度perplexity更低也就是说模型在最终性能上同样更强。这些在语言建模上的性能提升也能够迁移到真实的推理基准测试中更令人惊讶的是作者发现在相同规模的数据条件下这种非语言的 NCA 数据表现反而优于自然语言数据。因此作者进一步进行了测试如果给 C4 大约 10 倍的数据会发生什么在新的实验中他们将 C4 的预预训练pre-pre-training规模扩大到 16 亿 tokens而 NCA 仍然保持在 1.64 亿 tokens。即便在这种数据规模明显占优的情况下NCA 训练的模型依然表现更好收敛速度快 1.4 倍最终困惑度perplexity降低约 5%。1.64 亿 tokens 的自动机数据击败了 16 亿 tokens 的自然语言。作者认为这种差异反映了不同数据源在不同规模下所教会模型的能力差异。在 16 亿 tokens 的规模下这仍然远低于计算最优规模compute-optimal scaleC4 数据主要让模型学到的是浅层、局部的统计模式。而每一条 NCA 序列都会迫使模型在上下文中推断出一个潜在规则即 in-context learning并在后续预测中持续一致地应用这一规则。换句话说相比于自然语言中大量重复的语言模式NCA 数据在每个 token 上提供了更多样的函数结构。这种每个 token 所携带的高多样性规则学习信号似乎更高效地帮助模型构建能够迁移到语言任务中的通用表示能力。是什么驱动了这种迁移首先作者发现注意力是核心载体。重新初始化实验表明注意力层承载了最具可迁移性的计算原语。而 MLP 层更多编码的是领域特定的知识只有在源任务与目标任务相匹配时这些知识才具有可迁移性。其次是复杂度需要匹配。最优的 NCA 复杂度会随着应用领域而变化代码任务更受益于较简单的动态规则而数学和网页文本任务则更偏好更复杂的动态结构。这为针对特定领域进行定制化训练提供了一种新的调节手段。接着是结构而非语义。NCA 数据完全不包含任何语言内容却依然能够训练模型去跟踪长程依赖关系并推断潜在规则而这些能力正是语言理解与推理所需要的核心能力。最后是效率优于规模。更多的合成数据并不一定带来更好的效果。相比单纯增加数据量校准数据生成机制的复杂度更为关键这使得在更少计算资源下实现更高效的训练成为可能。更纯粹的训练信号在 token 规模较小的情况下自然语言预训练主要让模型学到的是浅层的统计模式。模型往往依赖语义捷径semantic shortcuts和词语共现先验co-occurrence priors来完成预测而不是从结构本身学习推理能力。相比之下NCA 序列中完全不存在这样的语义捷径。每一条 NCA 演化轨迹都由一条隐藏的状态转移规则生成这条规则来自一个随机采样的神经网络模型必须仅通过上下文信息来推断它。由于没有任何语义内容可以依赖每一个 token 都在迫使模型进行上下文规则推断观察序列 → 假设潜在规则 → 在后续预测中持续应用该规则。这一过程实际上复现了语言模型的一项核心能力上下文学习。此外NCA 的规则来自可计算函数的一个通用类别其中一些甚至可以实现图灵完备系统。因此这一规则分布的空间过于庞大无法通过记忆来覆盖。模型不得不学习一种通用的规则推断机制而不是简单记住某些特定规则。实验结果也支持这一点最具可迁移性的结构主要存在于注意力层而不是 MLP 层。已有研究表明上下文学习能力的出现与归纳头induction heads的形成密切相关这是一种注意力电路可以从序列前部复制并应用模式到后续位置。而 NCA 的预预训练过程恰恰只奖励这种行为因此很可能在语言训练开始之前就更早且更稳固地促成这些注意力电路的形成。超越「一刀切」的训练方式这项研究为语言模型训练打开了一条全新的控制维度。过去人们通常将训练数据分布视为既定条件而现在可以通过调节合成数据的结构使其更好地匹配特定目标领域。例如对于代码任务可以使用更简单的 NCA 规则而在基因序列建模等场景中则可以设计具有更丰富长程动态结构的规则。这一方向的长期愿景是基础模型先通过完全合成的数据获得推理能力再通过一小部分精心筛选的自然语言语料学习语义。这样一来我们或许能够构建出一种新的模型体系能够进行推理却不会在一开始就继承人类文本中的各种偏见。因此问题已经不再是合成预训练是否可行而是它究竟能够走多远。如果有一天大模型不再依赖人类语言训练会发生什么过去几年大模型能力的飞跃几乎都建立在一个前提之上海量文本数据。互联网、书籍、代码、论文几乎所有人类留下的语言痕迹都被当作训练数据。但随着高质量文本逐渐逼近枯竭研究者开始提出一个更激进的问题语言真的必须是智能的起点吗最新的一项研究给出了一个令人意外的答案也许不需要。他们假设让语言模型在学习语言之前先在完全非语言的合成数据上进行训练。论文使用了一种完全不同的数据来源在神经细胞自动机Neural Cellular Automata, NCA生成的数据上对 Transformer 进行预预训练pre-pre-training—— 这些数据完全是合成的不包含任何语言内容。结果显示这种方法能够将语言建模性能提升最多 6%将训练收敛速度加快 40%并增强模型在下游任务中的推理能力。这种方式的效果甚至超过了在自然文本上进行预预训练pre-pre-training的模型。论文标题Training Language Models via Neural Cellular Automata论文地址https://arxiv.org/pdf/2603.10055博客https://hanseungwook.github.io/blog/nca-pre-pre-training/自然语言真的是通向智能的唯一道路吗本文的核心假设是语言之所以适合用于预训练关键并不在于它的语义而在于它所具备的结构。如果这一点成立那么那些同样具有丰富结构、但并非语言形式的数据理论上也可能被用来训练智能系统。在得出这一假设之后本文提出利用 NCA 生成合成的、非语言数据用于对大语言模型进行预预训练pre-pre-training即先在合成数据上训练再在自然语言上继续训练。值得一提的是预预训练是本文提出的一种训练范式模型先学习 NCA 序列然后再在语料库上预训练最后微调。NCA 数据具有丰富的时空结构其统计特性在某些方面与自然语言相似同时又可控且易于大规模低成本生成。另外NCA 是对康威生命游戏Conway’s Game of LifeGardner1970等系统的一种推广它通过用神经网络替代固定的动力学规则来定义系统的演化过程并能够在空间局部规则的基础上生成多样化的数据分布。这种机制能够产生任意规模的长程时空模式见图 1并呈现出重尾heavy-tailed、齐夫定律的 token 分布这一统计特性与自然数据十分相似。在这种框架下每一个随机采样得到的神经网络都会对应一套独特的状态转移规则从而在网格上产生丰富多样的时空动态演化。当这些系统在较长时间尺度上不断展开运行时便会涌现出一系列复杂行为从快速收敛到固定吸引子状态的简单模式到随着时间逐渐演化形成的复杂结构呈现出极为丰富的动态形态谱系。这些 NCA 的演化轨迹会被离散化为序列通过 2×2 的图块 patch 进行分块类似视觉 Transformer 的处理方式随后输入到一个标准 Transformer 模型中并通过下一 token 预测进行训练。关键之处在于由于每一条序列都对应着一条独特的潜在演化规则latent rule模型要想正确预测接下来会发生什么就必须在上下文中推断出这条规则。而这种在上下文中推断规则的能力正是语言模型中许多核心推理能力得以产生的基础。出人意料的结果在相同的 token 预算每种设置均为 1.64 亿 tokens 下使用 NCA 进行预预训练pre-pre-training 的模型优于以下几种方案从零开始训练使用自然语言数据C4进行预预训练使用其他合成数据如 Dyck进行预预训练。这种优势在网页文本、数学以及代码任务上都得到很好的体现。更重要的是这种提升不仅仅体现在收敛速度更快还体现在最终困惑度perplexity更低也就是说模型在最终性能上同样更强。这些在语言建模上的性能提升也能够迁移到真实的推理基准测试中更令人惊讶的是作者发现在相同规模的数据条件下这种非语言的 NCA 数据表现反而优于自然语言数据。因此作者进一步进行了测试如果给 C4 大约 10 倍的数据会发生什么在新的实验中他们将 C4 的预预训练pre-pre-training规模扩大到 16 亿 tokens而 NCA 仍然保持在 1.64 亿 tokens。即便在这种数据规模明显占优的情况下NCA 训练的模型依然表现更好收敛速度快 1.4 倍最终困惑度perplexity降低约 5%。1.64 亿 tokens 的自动机数据击败了 16 亿 tokens 的自然语言。作者认为这种差异反映了不同数据源在不同规模下所教会模型的能力差异。在 16 亿 tokens 的规模下这仍然远低于计算最优规模compute-optimal scaleC4 数据主要让模型学到的是浅层、局部的统计模式。而每一条 NCA 序列都会迫使模型在上下文中推断出一个潜在规则即 in-context learning并在后续预测中持续一致地应用这一规则。换句话说相比于自然语言中大量重复的语言模式NCA 数据在每个 token 上提供了更多样的函数结构。这种每个 token 所携带的高多样性规则学习信号似乎更高效地帮助模型构建能够迁移到语言任务中的通用表示能力。是什么驱动了这种迁移首先作者发现注意力是核心载体。重新初始化实验表明注意力层承载了最具可迁移性的计算原语。而 MLP 层更多编码的是领域特定的知识只有在源任务与目标任务相匹配时这些知识才具有可迁移性。其次是复杂度需要匹配。最优的 NCA 复杂度会随着应用领域而变化代码任务更受益于较简单的动态规则而数学和网页文本任务则更偏好更复杂的动态结构。这为针对特定领域进行定制化训练提供了一种新的调节手段。接着是结构而非语义。NCA 数据完全不包含任何语言内容却依然能够训练模型去跟踪长程依赖关系并推断潜在规则而这些能力正是语言理解与推理所需要的核心能力。最后是效率优于规模。更多的合成数据并不一定带来更好的效果。相比单纯增加数据量校准数据生成机制的复杂度更为关键这使得在更少计算资源下实现更高效的训练成为可能。更纯粹的训练信号在 token 规模较小的情况下自然语言预训练主要让模型学到的是浅层的统计模式。模型往往依赖语义捷径semantic shortcuts和词语共现先验co-occurrence priors来完成预测而不是从结构本身学习推理能力。相比之下NCA 序列中完全不存在这样的语义捷径。每一条 NCA 演化轨迹都由一条隐藏的状态转移规则生成这条规则来自一个随机采样的神经网络模型必须仅通过上下文信息来推断它。由于没有任何语义内容可以依赖每一个 token 都在迫使模型进行上下文规则推断观察序列 → 假设潜在规则 → 在后续预测中持续应用该规则。这一过程实际上复现了语言模型的一项核心能力上下文学习。此外NCA 的规则来自可计算函数的一个通用类别其中一些甚至可以实现图灵完备系统。因此这一规则分布的空间过于庞大无法通过记忆来覆盖。模型不得不学习一种通用的规则推断机制而不是简单记住某些特定规则。实验结果也支持这一点最具可迁移性的结构主要存在于注意力层而不是 MLP 层。已有研究表明上下文学习能力的出现与归纳头induction heads的形成密切相关这是一种注意力电路可以从序列前部复制并应用模式到后续位置。而 NCA 的预预训练过程恰恰只奖励这种行为因此很可能在语言训练开始之前就更早且更稳固地促成这些注意力电路的形成。超越「一刀切」的训练方式这项研究为语言模型训练打开了一条全新的控制维度。过去人们通常将训练数据分布视为既定条件而现在可以通过调节合成数据的结构使其更好地匹配特定目标领域。例如对于代码任务可以使用更简单的 NCA 规则而在基因序列建模等场景中则可以设计具有更丰富长程动态结构的规则。这一方向的长期愿景是基础模型先通过完全合成的数据获得推理能力再通过一小部分精心筛选的自然语言语料学习语义。这样一来我们或许能够构建出一种新的模型体系能够进行推理却不会在一开始就继承人类文本中的各种偏见。因此问题已经不再是合成预训练是否可行而是它究竟能够走多远。学习资源推荐如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
不用任何人类语言训练，大模型反而更强了？
发布时间：2026/7/9 11:18:48
如果有一天大模型不再依赖人类语言训练会发生什么过去几年大模型能力的飞跃几乎都建立在一个前提之上海量文本数据。互联网、书籍、代码、论文几乎所有人类留下的语言痕迹都被当作训练数据。但随着高质量文本逐渐逼近枯竭研究者开始提出一个更激进的问题语言真的必须是智能的起点吗最新的一项研究给出了一个令人意外的答案也许不需要。他们假设让语言模型在学习语言之前先在完全非语言的合成数据上进行训练。论文使用了一种完全不同的数据来源在神经细胞自动机Neural Cellular Automata, NCA生成的数据上对 Transformer 进行预预训练pre-pre-training—— 这些数据完全是合成的不包含任何语言内容。结果显示这种方法能够将语言建模性能提升最多 6%将训练收敛速度加快 40%并增强模型在下游任务中的推理能力。这种方式的效果甚至超过了在自然文本上进行预预训练pre-pre-training的模型。论文标题Training Language Models via Neural Cellular Automata论文地址https://arxiv.org/pdf/2603.10055博客https://hanseungwook.github.io/blog/nca-pre-pre-training/自然语言真的是通向智能的唯一道路吗本文的核心假设是语言之所以适合用于预训练关键并不在于它的语义而在于它所具备的结构。如果这一点成立那么那些同样具有丰富结构、但并非语言形式的数据理论上也可能被用来训练智能系统。在得出这一假设之后本文提出利用 NCA 生成合成的、非语言数据用于对大语言模型进行预预训练pre-pre-training即先在合成数据上训练再在自然语言上继续训练。值得一提的是预预训练是本文提出的一种训练范式模型先学习 NCA 序列然后再在语料库上预训练最后微调。NCA 数据具有丰富的时空结构其统计特性在某些方面与自然语言相似同时又可控且易于大规模低成本生成。另外NCA 是对康威生命游戏Conway’s Game of LifeGardner1970等系统的一种推广它通过用神经网络替代固定的动力学规则来定义系统的演化过程并能够在空间局部规则的基础上生成多样化的数据分布。这种机制能够产生任意规模的长程时空模式见图 1并呈现出重尾heavy-tailed、齐夫定律的 token 分布这一统计特性与自然数据十分相似。在这种框架下每一个随机采样得到的神经网络都会对应一套独特的状态转移规则从而在网格上产生丰富多样的时空动态演化。当这些系统在较长时间尺度上不断展开运行时便会涌现出一系列复杂行为从快速收敛到固定吸引子状态的简单模式到随着时间逐渐演化形成的复杂结构呈现出极为丰富的动态形态谱系。这些 NCA 的演化轨迹会被离散化为序列通过 2×2 的图块 patch 进行分块类似视觉 Transformer 的处理方式随后输入到一个标准 Transformer 模型中并通过下一 token 预测进行训练。关键之处在于由于每一条序列都对应着一条独特的潜在演化规则latent rule模型要想正确预测接下来会发生什么就必须在上下文中推断出这条规则。而这种在上下文中推断规则的能力正是语言模型中许多核心推理能力得以产生的基础。出人意料的结果在相同的 token 预算每种设置均为 1.64 亿 tokens 下使用 NCA 进行预预训练pre-pre-training 的模型优于以下几种方案从零开始训练使用自然语言数据C4进行预预训练使用其他合成数据如 Dyck进行预预训练。这种优势在网页文本、数学以及代码任务上都得到很好的体现。更重要的是这种提升不仅仅体现在收敛速度更快还体现在最终困惑度perplexity更低也就是说模型在最终性能上同样更强。这些在语言建模上的性能提升也能够迁移到真实的推理基准测试中更令人惊讶的是作者发现在相同规模的数据条件下这种非语言的 NCA 数据表现反而优于自然语言数据。因此作者进一步进行了测试如果给 C4 大约 10 倍的数据会发生什么在新的实验中他们将 C4 的预预训练pre-pre-training规模扩大到 16 亿 tokens而 NCA 仍然保持在 1.64 亿 tokens。即便在这种数据规模明显占优的情况下NCA 训练的模型依然表现更好收敛速度快 1.4 倍最终困惑度perplexity降低约 5%。1.64 亿 tokens 的自动机数据击败了 16 亿 tokens 的自然语言。作者认为这种差异反映了不同数据源在不同规模下所教会模型的能力差异。在 16 亿 tokens 的规模下这仍然远低于计算最优规模compute-optimal scaleC4 数据主要让模型学到的是浅层、局部的统计模式。而每一条 NCA 序列都会迫使模型在上下文中推断出一个潜在规则即 in-context learning并在后续预测中持续一致地应用这一规则。换句话说相比于自然语言中大量重复的语言模式NCA 数据在每个 token 上提供了更多样的函数结构。这种每个 token 所携带的高多样性规则学习信号似乎更高效地帮助模型构建能够迁移到语言任务中的通用表示能力。是什么驱动了这种迁移首先作者发现注意力是核心载体。重新初始化实验表明注意力层承载了最具可迁移性的计算原语。而 MLP 层更多编码的是领域特定的知识只有在源任务与目标任务相匹配时这些知识才具有可迁移性。其次是复杂度需要匹配。最优的 NCA 复杂度会随着应用领域而变化代码任务更受益于较简单的动态规则而数学和网页文本任务则更偏好更复杂的动态结构。这为针对特定领域进行定制化训练提供了一种新的调节手段。接着是结构而非语义。NCA 数据完全不包含任何语言内容却依然能够训练模型去跟踪长程依赖关系并推断潜在规则而这些能力正是语言理解与推理所需要的核心能力。最后是效率优于规模。更多的合成数据并不一定带来更好的效果。相比单纯增加数据量校准数据生成机制的复杂度更为关键这使得在更少计算资源下实现更高效的训练成为可能。更纯粹的训练信号在 token 规模较小的情况下自然语言预训练主要让模型学到的是浅层的统计模式。模型往往依赖语义捷径semantic shortcuts和词语共现先验co-occurrence priors来完成预测而不是从结构本身学习推理能力。相比之下NCA 序列中完全不存在这样的语义捷径。每一条 NCA 演化轨迹都由一条隐藏的状态转移规则生成这条规则来自一个随机采样的神经网络模型必须仅通过上下文信息来推断它。由于没有任何语义内容可以依赖每一个 token 都在迫使模型进行上下文规则推断观察序列 → 假设潜在规则 → 在后续预测中持续应用该规则。这一过程实际上复现了语言模型的一项核心能力上下文学习。此外NCA 的规则来自可计算函数的一个通用类别其中一些甚至可以实现图灵完备系统。因此这一规则分布的空间过于庞大无法通过记忆来覆盖。模型不得不学习一种通用的规则推断机制而不是简单记住某些特定规则。实验结果也支持这一点最具可迁移性的结构主要存在于注意力层而不是 MLP 层。已有研究表明上下文学习能力的出现与归纳头induction heads的形成密切相关这是一种注意力电路可以从序列前部复制并应用模式到后续位置。而 NCA 的预预训练过程恰恰只奖励这种行为因此很可能在语言训练开始之前就更早且更稳固地促成这些注意力电路的形成。超越「一刀切」的训练方式这项研究为语言模型训练打开了一条全新的控制维度。过去人们通常将训练数据分布视为既定条件而现在可以通过调节合成数据的结构使其更好地匹配特定目标领域。例如对于代码任务可以使用更简单的 NCA 规则而在基因序列建模等场景中则可以设计具有更丰富长程动态结构的规则。这一方向的长期愿景是基础模型先通过完全合成的数据获得推理能力再通过一小部分精心筛选的自然语言语料学习语义。这样一来我们或许能够构建出一种新的模型体系能够进行推理却不会在一开始就继承人类文本中的各种偏见。因此问题已经不再是合成预训练是否可行而是它究竟能够走多远。如果有一天大模型不再依赖人类语言训练会发生什么过去几年大模型能力的飞跃几乎都建立在一个前提之上海量文本数据。互联网、书籍、代码、论文几乎所有人类留下的语言痕迹都被当作训练数据。但随着高质量文本逐渐逼近枯竭研究者开始提出一个更激进的问题语言真的必须是智能的起点吗最新的一项研究给出了一个令人意外的答案也许不需要。他们假设让语言模型在学习语言之前先在完全非语言的合成数据上进行训练。论文使用了一种完全不同的数据来源在神经细胞自动机Neural Cellular Automata, NCA生成的数据上对 Transformer 进行预预训练pre-pre-training—— 这些数据完全是合成的不包含任何语言内容。结果显示这种方法能够将语言建模性能提升最多 6%将训练收敛速度加快 40%并增强模型在下游任务中的推理能力。这种方式的效果甚至超过了在自然文本上进行预预训练pre-pre-training的模型。论文标题Training Language Models via Neural Cellular Automata论文地址https://arxiv.org/pdf/2603.10055博客https://hanseungwook.github.io/blog/nca-pre-pre-training/自然语言真的是通向智能的唯一道路吗本文的核心假设是语言之所以适合用于预训练关键并不在于它的语义而在于它所具备的结构。如果这一点成立那么那些同样具有丰富结构、但并非语言形式的数据理论上也可能被用来训练智能系统。在得出这一假设之后本文提出利用 NCA 生成合成的、非语言数据用于对大语言模型进行预预训练pre-pre-training即先在合成数据上训练再在自然语言上继续训练。值得一提的是预预训练是本文提出的一种训练范式模型先学习 NCA 序列然后再在语料库上预训练最后微调。NCA 数据具有丰富的时空结构其统计特性在某些方面与自然语言相似同时又可控且易于大规模低成本生成。另外NCA 是对康威生命游戏Conway’s Game of LifeGardner1970等系统的一种推广它通过用神经网络替代固定的动力学规则来定义系统的演化过程并能够在空间局部规则的基础上生成多样化的数据分布。这种机制能够产生任意规模的长程时空模式见图 1并呈现出重尾heavy-tailed、齐夫定律的 token 分布这一统计特性与自然数据十分相似。在这种框架下每一个随机采样得到的神经网络都会对应一套独特的状态转移规则从而在网格上产生丰富多样的时空动态演化。当这些系统在较长时间尺度上不断展开运行时便会涌现出一系列复杂行为从快速收敛到固定吸引子状态的简单模式到随着时间逐渐演化形成的复杂结构呈现出极为丰富的动态形态谱系。这些 NCA 的演化轨迹会被离散化为序列通过 2×2 的图块 patch 进行分块类似视觉 Transformer 的处理方式随后输入到一个标准 Transformer 模型中并通过下一 token 预测进行训练。关键之处在于由于每一条序列都对应着一条独特的潜在演化规则latent rule模型要想正确预测接下来会发生什么就必须在上下文中推断出这条规则。而这种在上下文中推断规则的能力正是语言模型中许多核心推理能力得以产生的基础。出人意料的结果在相同的 token 预算每种设置均为 1.64 亿 tokens 下使用 NCA 进行预预训练pre-pre-training 的模型优于以下几种方案从零开始训练使用自然语言数据C4进行预预训练使用其他合成数据如 Dyck进行预预训练。这种优势在网页文本、数学以及代码任务上都得到很好的体现。更重要的是这种提升不仅仅体现在收敛速度更快还体现在最终困惑度perplexity更低也就是说模型在最终性能上同样更强。这些在语言建模上的性能提升也能够迁移到真实的推理基准测试中更令人惊讶的是作者发现在相同规模的数据条件下这种非语言的 NCA 数据表现反而优于自然语言数据。因此作者进一步进行了测试如果给 C4 大约 10 倍的数据会发生什么在新的实验中他们将 C4 的预预训练pre-pre-training规模扩大到 16 亿 tokens而 NCA 仍然保持在 1.64 亿 tokens。即便在这种数据规模明显占优的情况下NCA 训练的模型依然表现更好收敛速度快 1.4 倍最终困惑度perplexity降低约 5%。1.64 亿 tokens 的自动机数据击败了 16 亿 tokens 的自然语言。作者认为这种差异反映了不同数据源在不同规模下所教会模型的能力差异。在 16 亿 tokens 的规模下这仍然远低于计算最优规模compute-optimal scaleC4 数据主要让模型学到的是浅层、局部的统计模式。而每一条 NCA 序列都会迫使模型在上下文中推断出一个潜在规则即 in-context learning并在后续预测中持续一致地应用这一规则。换句话说相比于自然语言中大量重复的语言模式NCA 数据在每个 token 上提供了更多样的函数结构。这种每个 token 所携带的高多样性规则学习信号似乎更高效地帮助模型构建能够迁移到语言任务中的通用表示能力。是什么驱动了这种迁移首先作者发现注意力是核心载体。重新初始化实验表明注意力层承载了最具可迁移性的计算原语。而 MLP 层更多编码的是领域特定的知识只有在源任务与目标任务相匹配时这些知识才具有可迁移性。其次是复杂度需要匹配。最优的 NCA 复杂度会随着应用领域而变化代码任务更受益于较简单的动态规则而数学和网页文本任务则更偏好更复杂的动态结构。这为针对特定领域进行定制化训练提供了一种新的调节手段。接着是结构而非语义。NCA 数据完全不包含任何语言内容却依然能够训练模型去跟踪长程依赖关系并推断潜在规则而这些能力正是语言理解与推理所需要的核心能力。最后是效率优于规模。更多的合成数据并不一定带来更好的效果。相比单纯增加数据量校准数据生成机制的复杂度更为关键这使得在更少计算资源下实现更高效的训练成为可能。更纯粹的训练信号在 token 规模较小的情况下自然语言预训练主要让模型学到的是浅层的统计模式。模型往往依赖语义捷径semantic shortcuts和词语共现先验co-occurrence priors来完成预测而不是从结构本身学习推理能力。相比之下NCA 序列中完全不存在这样的语义捷径。每一条 NCA 演化轨迹都由一条隐藏的状态转移规则生成这条规则来自一个随机采样的神经网络模型必须仅通过上下文信息来推断它。由于没有任何语义内容可以依赖每一个 token 都在迫使模型进行上下文规则推断观察序列 → 假设潜在规则 → 在后续预测中持续应用该规则。这一过程实际上复现了语言模型的一项核心能力上下文学习。此外NCA 的规则来自可计算函数的一个通用类别其中一些甚至可以实现图灵完备系统。因此这一规则分布的空间过于庞大无法通过记忆来覆盖。模型不得不学习一种通用的规则推断机制而不是简单记住某些特定规则。实验结果也支持这一点最具可迁移性的结构主要存在于注意力层而不是 MLP 层。已有研究表明上下文学习能力的出现与归纳头induction heads的形成密切相关这是一种注意力电路可以从序列前部复制并应用模式到后续位置。而 NCA 的预预训练过程恰恰只奖励这种行为因此很可能在语言训练开始之前就更早且更稳固地促成这些注意力电路的形成。超越「一刀切」的训练方式这项研究为语言模型训练打开了一条全新的控制维度。过去人们通常将训练数据分布视为既定条件而现在可以通过调节合成数据的结构使其更好地匹配特定目标领域。例如对于代码任务可以使用更简单的 NCA 规则而在基因序列建模等场景中则可以设计具有更丰富长程动态结构的规则。这一方向的长期愿景是基础模型先通过完全合成的数据获得推理能力再通过一小部分精心筛选的自然语言语料学习语义。这样一来我们或许能够构建出一种新的模型体系能够进行推理却不会在一开始就继承人类文本中的各种偏见。因此问题已经不再是合成预训练是否可行而是它究竟能够走多远。学习资源推荐如果你想更深入地学习大模型以下是一些非常有价值的学习资源这些资源将帮助你从不同角度学习大模型提升你的实践能力。一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。因篇幅有限仅展示部分资料需要点击文章最下方名片即可前往获取四、AI大模型商业化落地方案作为普通人入局大模型时代需要持续学习和实践不断提高自己的技能和认知水平同时也需要有责任感和伦理意识为人工智能的健康发展贡献力量。
