这项由独立研究者完成的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.05691有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。每当我们训练一个能读懂化学分子的人工智能时机器首先需要将分子的文字描述切碎成一个个小块才能开始学习。这个切碎的过程在AI领域叫做分词而完成这个任务的工具叫做分词器。长久以来化学AI领域的研究者们几乎不假思索地从自然语言处理领域借来一把叫做BPE字节对编码的切割刀却很少有人认真问过这把刀真的适合切化学分子吗有没有另一把刀切出来的效果截然不同这篇研究的核心就是把BPE和它的竞争对手Unigram-LM单字元语言模型这两把刀拿来并排比较看看它们切出来的东西到底有多大区别。结论出人意料这两把刀切出来的东西几乎是完全不同的两套碎片。**一、先聊聊分子语言是什么**化学研究者发明了一种叫做SMILES的文字系统用来描述分子结构。以阿司匹林为例它的SMILES写法是CC(O)Oc1ccccc1C(O)O——这一串字符就像分子的身份证号每个字母和符号都代表特定的化学元素或化学键。一个AI如果想理解分子就必须先读懂这串字符。但机器不是直接读整串字符的。就像我们读中文时大脑会自动把人工智能识别为一个整体词汇而不是四个独立的字AI也需要把SMILES字符串拆成有意义的词汇单元然后才能学习每个单元的含义。这个拆分过程就是分词。打个比方假设你要教一个外国人读中文菜谱。你可以把红烧肉拆成红、烧、肉三个字分开教也可以直接把红烧肉作为一个整体词汇教。前者粒度细后者粒度粗。化学AI的分词问题本质上就是这个粒度之争。**二、两把切割刀两种哲学**BPE的工作方式像是一个贪吃蛇游戏。它从最小的化学符号开始然后不断找出哪两个相邻的符号组合出现得最频繁就把它们合并成一个新单元如此反复直到词汇表达到设定的大小。这是一种从下往上堆积的策略每一步都在贪婪地抓住当下最常见的组合。Unigram-LM的做法则截然相反。它先造出一个包含海量候选词汇的巨型库然后用统计学方法评估每个词汇对整体理解的贡献度逐步把那些可有可无的词汇修剪掉直到词汇表缩减到目标大小。这是一种从上往下剪枝的策略每一步都在问删掉这个词汇损失有多大两种策略就像两种不同的厨师面对同一块食材。BPE厨师喜欢先把最常见的食材组合打包处理端出几道大份套餐Unigram-LM厨师则更倾向于保留食材的原始形态用概率模型来决定今天要用多大的块来烹饪。在自然语言处理领域这两把刀切出来的词汇表确实有所不同。但化学SMILES有其特殊性它的字母表极小只有158个基本化学符号而且受到严格的化学规则约束比如碳最多只能连接四个其他原子。有研究者猜测这种严格的约束可能会迫使两把刀切出完全一样的东西——因为高频组合已经被化学规则固定死了两种算法没有分歧的空间。这篇研究就是要验证这个猜测是否成立。**三、实验设计一场严格控制的切割大赛**为了确保比较的公平性研究者给两把刀设置了完全相同的起点一个叫做Smirk的165个基本化学符号的词汇库。这个库覆盖了所有符合OpenSMILES规范的化学分子也就是说任何合法的化学分子都可以被这165个符号无遗漏地描述出来不会出现这个分子没有对应符号的尴尬情况。从这个共同起点出发BPE和Unigram-LM各自添加更多的词汇单元直到词汇表达到设定的大小。研究者还精心挑选了三类化学分子数据库来训练和测试这两把刀。第一类是PubChem包含约5000万个多样化分子涵盖各种元素和结构第二类是ZINC-22包含约1000万个药物分子结构相对单一第三类是COCONUT包含约74万个天然产物分子结构复杂、含有丰富的环状结构。此外还有一个特殊的压力测试数据库——REAL-Space包含1.36亿个通过组合合成的分子字母多样性极低但数量庞大。词汇表的大小也是一个关键变量。研究者选择了256、512和1024这三个小型词汇量进行主要比较同时也测试了2048和8192这两个更大的规模作为参考。为什么聚焦于小词汇量因为词汇表太大时很多词汇单元在训练过程中出现的次数太少AI根本来不及学会它们的含义相当于花钱买了一堆根本不会用到的工具。研究者引入了一个可学习性门槛——要求词汇表中至少95%的非基础词汇在训练数据中出现超过100次以确保比较是在AI真正能学到知识的范围内进行的。**四、令人震惊的发现两把刀切出的是平行宇宙**当研究者把两把刀在同样条件下切出的词汇表拿来比较时结果令人瞠目结舌。衡量两个集合重叠程度有一个标准工具叫做Jaccard相似度它的值从0完全不重叠到1完全一样。如果两把刀切出的词汇表完全相同这个值应该是1如果完全不同是0。研究者测量了22组配对条件下两把刀在基础165个符号之上额外学到的词汇单元的重叠程度。结果在所有22组条件下这个重叠值从未超过0.161也就是说两把刀额外学到的词汇单元中最多只有约16%是相同的剩下至少84%都是各自独有的。更进一步如果按照词汇单元在实际分子中出现的频率加权也就是优先关注AI最经常接触、更新最多的那些词汇重叠值最低跌到了0.002——千分之二接近于零。这意味着什么用一个通俗的比喻如果你用BPE分词器训练一个化学AI它每天主要接触到的词汇和用Unigram-LM训练的AI每天接触的词汇有超过99%是不同的东西。这两个AI虽然都在学习化学但它们学习的语言几乎是平行宇宙中的两套不同体系。从具体的化学结构来看两把刀的分歧有清晰的规律。BPE非常喜欢把芳香环苯环这类分子中的六边形结构合并成大块词汇——在多样化的PubChem数据库上BPE独有的词汇单元中有27%到37%是芳香环片段。而Unigram-LM几乎从不形成芳香环词汇只有0到7%它更偏爱把含氮、含氧的杂原子链保留下来在药物分子ZINC-22数据库上Unigram-LM独有词汇中有高达92%是杂原子链。简单说BPE喜欢整环打包Unigram-LM喜欢杂原子链条。**五、切割深度的巨大差异一个分词一个字母还是一口吞下整个环**除了切出不同的字典两把刀的切割粒度也截然不同。研究者测量了对同一批化学分子进行分词后平均每个分子被切成多少块。结论非常一致在所有22组配对条件下Unigram-LM切出的块数都比BPE多。具体到1024词汇量的设置下以PubChem多样化数据库为例BPE平均把每个分子切成约36个词元而Unigram-LM则切成约51个词元多出将近42%。这个差距在不同数据库和不同词汇量下的范围是29%到41%。用切西瓜来比喻BPE是那种下刀豪爽、切出几大块的厨师Unigram-LM是那种精细地把西瓜切成几十个小丁的厨师。两人面对同一个西瓜切出来的块数相差将近三分之一到四成。从压缩率的角度看差异更明显。BPE平均把1.4到1.8个基础符号打包成一个词元明显比一对一多Unigram-LM则几乎是一个基础符号对应一个词元比值约1.0到1.2几乎没有打包压缩。这说明BPE确实在更积极地把常见组合合并而Unigram-LM更倾向于保持原子级别的细粒度。切块更多意味着什么对于使用Transformer架构的化学AI这是目前最主流的设计处理更多词元意味着更长的序列更长的序列意味着更高的计算成本。反过来词元更少的BPE可以让AI在处理分子时视野更大能在同样的计算预算下看到更多的分子上下文。**六、切割位置的惊人一致性两把刀知道在哪里切但切法深浅不同**尽管切出的词汇表几乎互不重叠切出的块数又相差三四成研究者发现了一个令人意外的事实两把刀在在哪里下刀这个问题上其实有很高的共识。研究者详细分析了每个分子中每个相邻符号对的位置记录两把刀在那个位置是切断两个符号归入不同词元还是合并两个符号合为一个词元。他们把这些位置上的分歧分成三类双方都切断一致切、双方都合并一致合、Unigram-LM切断但BPE合并嵌套以及BPE切断但Unigram-LM合并冲突。结果显示冲突——即真正方向相反的分歧——极为罕见在所有条件下均低于每1000个位置7个在1024词汇量以上时更是低于每1000个位置1个。绝大多数分歧都是嵌套型也就是Unigram-LM在某个位置切断了而BPE把两段合并在一起了。这意味着BPE的切割方案是Unigram-LM切割方案的粗化版——BPE在Unigram-LM已经切好的地方把相邻的小块再捏合成了更大的块而很少出现BPE单独在Unigram-LM没切的地方切断的情况。在1024词汇量的配对中一个分子的BPE分词方案严格是Unigram-LM方案粗化版的比例在PubChem数据库上达到97%在ZINC-22和REAL-Space数据库上更高达99%以上。这个发现解决了一个看似矛盾的谜题两把刀的词汇表几乎互不重叠但它们切出来的方案却又高度兼容。本质上BPE是在Unigram-LM已经划定好的切割骨架上把某些相邻的小块进一步合并而非另起炉灶。**七、频率分布的差异谁的词汇表更公平**除了词汇表的内容和切割粒度研究者还测量了两把刀词汇表中各词汇单元被使用的频率是否均衡。想象一个班级里如果只有几个同学总是被老师点名其他人从不被点到这个班级的参与度就极不均衡。对于AI来说如果词汇表中大多数词汇很少被用到AI就无法从大量训练数据中积累足够的经验来学习这些词汇的含义。研究者用不均衡度来量化这个问题技术上称为与均匀分布的偏差D。结果显示两把刀都存在相当严重的不均衡现象D值高达0.76到0.970代表绝对均衡1代表极度不均衡。不过在22组配对条件中BPE的词汇表始终比Unigram-LM更均衡一些D值更低信息熵更高。这个差异在不同的化学数据库上表现出一定的规律性。在天然产物数据库COCONUT上两把刀的不均衡差距比在其他数据库上小了大约一半。研究者通过额外的对照实验证明这种差异是由数据库的化学结构类型决定的而不是因为COCONUT数据量较小导致的。**八、大规模测试把词汇量提高8倍两把刀会合并成一把吗**研究者也许最担心的问题是以上发现是否只是在小词汇量下才成立的特殊现象如果把词汇量提高到语言AI的规模如3.2万、12.8万两把刀是不是会趋于一致为此研究者在PubChem数据库上训练了词汇量高达8192的超大型词汇表是主要实验规模1024的整整8倍并重新测量重叠度和切割粒度差异。结果重叠度从1024规模时的0.022频率加权几乎没有变化变到8192规模时的0.022差异只有0.0004切割粒度的相对差距依然稳定在34%左右与1024规模时的34%几乎完全相同。两把刀在8倍规模下依然切出近乎平行宇宙的两套词汇体系。更关键的是研究者同时测量了在这个8192词汇量下两把刀的词汇单元是否还在可学习性范围内即每个词汇在训练中出现超过100次。结果令人警醒Unigram-LM在词汇量只有2048时就已经有43%的学到词汇出现次数不够学习了BPE的情况稍好但在8192规模时也有32%的词汇出现不足。也就是说对于化学分子这种字母表小、受约束强的特殊语言词汇量能有效利用的上限远低于自然语言。在化学AI的语境下自然语言处理领域惯用的大词汇表策略超过某个临界点后反而会造成大量词汇无法被充分学习。**九、跨领域迁移测试一个分词器能在不同化学领域通用吗**研究者还做了一个实用性很强的测试在一种化学数据库上训练的分词器能不能被直接用在另一种化学数据库上而不需要重新训练测试结果用相对肥力relative fertility即在新领域的切割块数相对于用本领域训练的分词器的比值来衡量。BPE表现得非常稳健在任何跨领域组合下切割块数与本土分词器的差距都在正负1%以内可以说几乎感觉不到跨域的损耗。Unigram-LM则稍微敏感一些跨域误差在负6%到正8%之间最极端的情况是用REAL-Space分词器在组合合成分子上训练去处理COCONUT天然产物分子切割块数比本土多了8%。这两把刀的跨域差异在化学AI领域意味着什么本质上BPE和Unigram-LM学到的是不同类型的化学共性——BPE学到的是在各类分子中频繁出现的大块结构比如各种苯环片段这种知识跨域通用性很强Unigram-LM学到的是更精细、更数据集特异的概率模式换个化学领域就容易水土不服一点。研究者还用两组非常特殊的化学数据库做了极限测试一组是约9.7万个含有过渡金属的配合物tmQM数据库这类分子里有很多非常规的金属元素另一组是约8000个环状多肽CycPeptMPDB数据库这类分子非常庞大平均每个分子在BPE分词下需要约111个词元在Unigram-LM下更多达约150个。面对这些怪异分子覆盖率依然良好——含金属配合物的数据库中未知符号的比例只有0.002%环状多肽的数据库中更是完全没有未知符号。切割粒度的差距也依然存在Unigram-LM在环状多肽上比BPE多切29.5%在金属配合物上多切23.5%。这个差距比训练域内的数据29%到41%略有缩小研究者认为这是因为金属配合物里有很多罕见的元素两把刀都没有充分学到针对这些元素的合并规律于是各自都退回到了接近原子粒度的切割差异自然变小了。**十、切法的稳定性换一种写法分词结果会乱套吗**化学分子的SMILES表达不是唯一的。同一个分子可以有无数种等价的SMILES写法——就像我爱你和你是我爱的人表达的是同一个意思但字面完全不同。对于实际应用中的化学AI输入的分子字符串可能来自不同的软件采用不同的写法约定分词器需要在面对各种写法时都能给出稳定的结果。研究者测试了五种不同的SMILES改写方式从最温和的只改变环连接编号到最剧烈的把所有隐含氢原子显式写出来并测量了两把刀在这些改写下的包稳定性——即分词结果中有多少比例的词元发生了变化。在随机化的SMILES写法最接近真实应用的改写方式下Unigram-LM的包稳定性更好词元变化比例为11%到22%而BPE的变化比例为24%到38%Unigram-LM在全部22个配对条件下都更稳定。用另一家软件OpenBabel而非RDKit生成的标准SMILES来测试时同样的规律成立Unigram-LM变化9%到15%BPE变化19%到24%。然而有一种改写方式让Unigram-LM吃了大亏Kekulé形式把芳香键写成单键-双键交替的显式形式而不是小写字母代表的芳香表达。在这种改写下Unigram-LM在22个配对中的21个条件下比BPE更不稳定。原因清晰Unigram-LM的词汇中大量依赖芳香环片段c、cc、ccc这类小写字母组合Kekulé改写直接摧毁了所有这些词汇导致Unigram-LM的分词结果大幅波动。BPE虽然也有芳香环词汇但因为它的词汇体系更加多样受到的冲击相对小一些。全部变成显式氢原子的改写对两把刀都是灾难性的——词元变化比例高达54%到83%这是因为训练数据中几乎没有显式氢的写法两把刀都没学过怎么处理这种形式。**十一、这对化学AI的开发者意味着什么**说到底这篇研究的核心信息非常清晰选择BPE还是Unigram-LM不是一个无关紧要的技术细节而是一个会深刻影响AI看世界方式的根本性决策。BPE给AI提供的是更粗粒度的视角把常见的化学子结构尤其是芳香环直接打包成单个词元让AI处理每个分子时需要更少的词元计算效率更高单个词元能覆盖的化学语境更广。BPE的词汇表完全可以跨化学领域通用切割结果也较为稳定。Unigram-LM给AI提供的是更精细的视角保留更多原子级别的细节每个词元承载的化学信息更少但更精准。Unigram-LM还有一个独特优势它的概率模型允许在训练过程中对同一个分子采用多种分词方式这种数据增强效果在一些研究中已被证明对提升模型泛化能力有帮助。Unigram-LM的分词结果在面对不同写法时也更稳定除了Kekulé改写。研究者明确指出他们没有在这篇文章中比较两把刀训练出来的AI最终性能哪个更好——这个问题留给后续研究。但他们已经确凿地证明这两把刀切出的是完全不同的语言体系任何声称两者等价的说法都缺乏依据。化学AI的开发者在选择分词算法时需要主动做出有意识的决策而不能仅仅因为大家都这么用就不假思索地沿用BPE。归根结底这场切割刀之争揭示的是一个更深刻的道理在机器学习领域看似无关紧要的工程细节往往暗藏着影响深远的哲学分歧。两把刀都在用频率作为判断标准但一把从小到大积累一把从大到小修剪最终得到的词典却几乎属于平行宇宙。化学AI的研究者们是时候认真对待这把他们一直忽视的切割刀了。---QAQ1BPE和Unigram-LM分词器在化学分子上的词汇表重叠度有多低A在所有22组对照实验条件下BPE和Unigram-LM在基础词汇之上额外学到的词汇单元重叠度从未超过16.1%。如果按照实际使用频率加权计算优先关注AI训练中最常接触的词汇重叠度最低仅有0.2%接近于零说明两种分词器学到的化学词汇几乎完全不同。Q2Unigram-LM分词器切出的词元数量为什么比BPE多A因为Unigram-LM更偏向于保留原子级别的精细粒度很少把多个化学符号合并成大块词元导致同一个分子被切成更多小块。在1024词汇量的设置下Unigram-LM平均比BPE多产生29%到41%的词元而BPE则更倾向于把芳香环等常见子结构直接打包成单个词元切割更豪爽。Q3化学AI开发者应该选BPE还是Unigram-LMA这篇研究没有直接回答哪个更好因为研究者没有训练实际的化学语言模型来比较最终性能。但研究清楚地表明两者不可互换——BPE词元更少、计算效率更高、跨领域稳定适合需要更广上下文的任务Unigram-LM粒度更细、支持训练时多样化分词适合对分子局部结构敏感的任务。开发者需要根据实际需求做出有意识的选择。
BPE与Unigram-LM，谁才是解读分子语言的更好工具？
发布时间：2026/7/17 22:28:50
这项由独立研究者完成的研究以预印本形式发布于2026年7月论文编号为arXiv:2607.05691有兴趣深入了解的读者可以通过该编号在arXiv平台查询完整论文。每当我们训练一个能读懂化学分子的人工智能时机器首先需要将分子的文字描述切碎成一个个小块才能开始学习。这个切碎的过程在AI领域叫做分词而完成这个任务的工具叫做分词器。长久以来化学AI领域的研究者们几乎不假思索地从自然语言处理领域借来一把叫做BPE字节对编码的切割刀却很少有人认真问过这把刀真的适合切化学分子吗有没有另一把刀切出来的效果截然不同这篇研究的核心就是把BPE和它的竞争对手Unigram-LM单字元语言模型这两把刀拿来并排比较看看它们切出来的东西到底有多大区别。结论出人意料这两把刀切出来的东西几乎是完全不同的两套碎片。**一、先聊聊分子语言是什么**化学研究者发明了一种叫做SMILES的文字系统用来描述分子结构。以阿司匹林为例它的SMILES写法是CC(O)Oc1ccccc1C(O)O——这一串字符就像分子的身份证号每个字母和符号都代表特定的化学元素或化学键。一个AI如果想理解分子就必须先读懂这串字符。但机器不是直接读整串字符的。就像我们读中文时大脑会自动把人工智能识别为一个整体词汇而不是四个独立的字AI也需要把SMILES字符串拆成有意义的词汇单元然后才能学习每个单元的含义。这个拆分过程就是分词。打个比方假设你要教一个外国人读中文菜谱。你可以把红烧肉拆成红、烧、肉三个字分开教也可以直接把红烧肉作为一个整体词汇教。前者粒度细后者粒度粗。化学AI的分词问题本质上就是这个粒度之争。**二、两把切割刀两种哲学**BPE的工作方式像是一个贪吃蛇游戏。它从最小的化学符号开始然后不断找出哪两个相邻的符号组合出现得最频繁就把它们合并成一个新单元如此反复直到词汇表达到设定的大小。这是一种从下往上堆积的策略每一步都在贪婪地抓住当下最常见的组合。Unigram-LM的做法则截然相反。它先造出一个包含海量候选词汇的巨型库然后用统计学方法评估每个词汇对整体理解的贡献度逐步把那些可有可无的词汇修剪掉直到词汇表缩减到目标大小。这是一种从上往下剪枝的策略每一步都在问删掉这个词汇损失有多大两种策略就像两种不同的厨师面对同一块食材。BPE厨师喜欢先把最常见的食材组合打包处理端出几道大份套餐Unigram-LM厨师则更倾向于保留食材的原始形态用概率模型来决定今天要用多大的块来烹饪。在自然语言处理领域这两把刀切出来的词汇表确实有所不同。但化学SMILES有其特殊性它的字母表极小只有158个基本化学符号而且受到严格的化学规则约束比如碳最多只能连接四个其他原子。有研究者猜测这种严格的约束可能会迫使两把刀切出完全一样的东西——因为高频组合已经被化学规则固定死了两种算法没有分歧的空间。这篇研究就是要验证这个猜测是否成立。**三、实验设计一场严格控制的切割大赛**为了确保比较的公平性研究者给两把刀设置了完全相同的起点一个叫做Smirk的165个基本化学符号的词汇库。这个库覆盖了所有符合OpenSMILES规范的化学分子也就是说任何合法的化学分子都可以被这165个符号无遗漏地描述出来不会出现这个分子没有对应符号的尴尬情况。从这个共同起点出发BPE和Unigram-LM各自添加更多的词汇单元直到词汇表达到设定的大小。研究者还精心挑选了三类化学分子数据库来训练和测试这两把刀。第一类是PubChem包含约5000万个多样化分子涵盖各种元素和结构第二类是ZINC-22包含约1000万个药物分子结构相对单一第三类是COCONUT包含约74万个天然产物分子结构复杂、含有丰富的环状结构。此外还有一个特殊的压力测试数据库——REAL-Space包含1.36亿个通过组合合成的分子字母多样性极低但数量庞大。词汇表的大小也是一个关键变量。研究者选择了256、512和1024这三个小型词汇量进行主要比较同时也测试了2048和8192这两个更大的规模作为参考。为什么聚焦于小词汇量因为词汇表太大时很多词汇单元在训练过程中出现的次数太少AI根本来不及学会它们的含义相当于花钱买了一堆根本不会用到的工具。研究者引入了一个可学习性门槛——要求词汇表中至少95%的非基础词汇在训练数据中出现超过100次以确保比较是在AI真正能学到知识的范围内进行的。**四、令人震惊的发现两把刀切出的是平行宇宙**当研究者把两把刀在同样条件下切出的词汇表拿来比较时结果令人瞠目结舌。衡量两个集合重叠程度有一个标准工具叫做Jaccard相似度它的值从0完全不重叠到1完全一样。如果两把刀切出的词汇表完全相同这个值应该是1如果完全不同是0。研究者测量了22组配对条件下两把刀在基础165个符号之上额外学到的词汇单元的重叠程度。结果在所有22组条件下这个重叠值从未超过0.161也就是说两把刀额外学到的词汇单元中最多只有约16%是相同的剩下至少84%都是各自独有的。更进一步如果按照词汇单元在实际分子中出现的频率加权也就是优先关注AI最经常接触、更新最多的那些词汇重叠值最低跌到了0.002——千分之二接近于零。这意味着什么用一个通俗的比喻如果你用BPE分词器训练一个化学AI它每天主要接触到的词汇和用Unigram-LM训练的AI每天接触的词汇有超过99%是不同的东西。这两个AI虽然都在学习化学但它们学习的语言几乎是平行宇宙中的两套不同体系。从具体的化学结构来看两把刀的分歧有清晰的规律。BPE非常喜欢把芳香环苯环这类分子中的六边形结构合并成大块词汇——在多样化的PubChem数据库上BPE独有的词汇单元中有27%到37%是芳香环片段。而Unigram-LM几乎从不形成芳香环词汇只有0到7%它更偏爱把含氮、含氧的杂原子链保留下来在药物分子ZINC-22数据库上Unigram-LM独有词汇中有高达92%是杂原子链。简单说BPE喜欢整环打包Unigram-LM喜欢杂原子链条。**五、切割深度的巨大差异一个分词一个字母还是一口吞下整个环**除了切出不同的字典两把刀的切割粒度也截然不同。研究者测量了对同一批化学分子进行分词后平均每个分子被切成多少块。结论非常一致在所有22组配对条件下Unigram-LM切出的块数都比BPE多。具体到1024词汇量的设置下以PubChem多样化数据库为例BPE平均把每个分子切成约36个词元而Unigram-LM则切成约51个词元多出将近42%。这个差距在不同数据库和不同词汇量下的范围是29%到41%。用切西瓜来比喻BPE是那种下刀豪爽、切出几大块的厨师Unigram-LM是那种精细地把西瓜切成几十个小丁的厨师。两人面对同一个西瓜切出来的块数相差将近三分之一到四成。从压缩率的角度看差异更明显。BPE平均把1.4到1.8个基础符号打包成一个词元明显比一对一多Unigram-LM则几乎是一个基础符号对应一个词元比值约1.0到1.2几乎没有打包压缩。这说明BPE确实在更积极地把常见组合合并而Unigram-LM更倾向于保持原子级别的细粒度。切块更多意味着什么对于使用Transformer架构的化学AI这是目前最主流的设计处理更多词元意味着更长的序列更长的序列意味着更高的计算成本。反过来词元更少的BPE可以让AI在处理分子时视野更大能在同样的计算预算下看到更多的分子上下文。**六、切割位置的惊人一致性两把刀知道在哪里切但切法深浅不同**尽管切出的词汇表几乎互不重叠切出的块数又相差三四成研究者发现了一个令人意外的事实两把刀在在哪里下刀这个问题上其实有很高的共识。研究者详细分析了每个分子中每个相邻符号对的位置记录两把刀在那个位置是切断两个符号归入不同词元还是合并两个符号合为一个词元。他们把这些位置上的分歧分成三类双方都切断一致切、双方都合并一致合、Unigram-LM切断但BPE合并嵌套以及BPE切断但Unigram-LM合并冲突。结果显示冲突——即真正方向相反的分歧——极为罕见在所有条件下均低于每1000个位置7个在1024词汇量以上时更是低于每1000个位置1个。绝大多数分歧都是嵌套型也就是Unigram-LM在某个位置切断了而BPE把两段合并在一起了。这意味着BPE的切割方案是Unigram-LM切割方案的粗化版——BPE在Unigram-LM已经切好的地方把相邻的小块再捏合成了更大的块而很少出现BPE单独在Unigram-LM没切的地方切断的情况。在1024词汇量的配对中一个分子的BPE分词方案严格是Unigram-LM方案粗化版的比例在PubChem数据库上达到97%在ZINC-22和REAL-Space数据库上更高达99%以上。这个发现解决了一个看似矛盾的谜题两把刀的词汇表几乎互不重叠但它们切出来的方案却又高度兼容。本质上BPE是在Unigram-LM已经划定好的切割骨架上把某些相邻的小块进一步合并而非另起炉灶。**七、频率分布的差异谁的词汇表更公平**除了词汇表的内容和切割粒度研究者还测量了两把刀词汇表中各词汇单元被使用的频率是否均衡。想象一个班级里如果只有几个同学总是被老师点名其他人从不被点到这个班级的参与度就极不均衡。对于AI来说如果词汇表中大多数词汇很少被用到AI就无法从大量训练数据中积累足够的经验来学习这些词汇的含义。研究者用不均衡度来量化这个问题技术上称为与均匀分布的偏差D。结果显示两把刀都存在相当严重的不均衡现象D值高达0.76到0.970代表绝对均衡1代表极度不均衡。不过在22组配对条件中BPE的词汇表始终比Unigram-LM更均衡一些D值更低信息熵更高。这个差异在不同的化学数据库上表现出一定的规律性。在天然产物数据库COCONUT上两把刀的不均衡差距比在其他数据库上小了大约一半。研究者通过额外的对照实验证明这种差异是由数据库的化学结构类型决定的而不是因为COCONUT数据量较小导致的。**八、大规模测试把词汇量提高8倍两把刀会合并成一把吗**研究者也许最担心的问题是以上发现是否只是在小词汇量下才成立的特殊现象如果把词汇量提高到语言AI的规模如3.2万、12.8万两把刀是不是会趋于一致为此研究者在PubChem数据库上训练了词汇量高达8192的超大型词汇表是主要实验规模1024的整整8倍并重新测量重叠度和切割粒度差异。结果重叠度从1024规模时的0.022频率加权几乎没有变化变到8192规模时的0.022差异只有0.0004切割粒度的相对差距依然稳定在34%左右与1024规模时的34%几乎完全相同。两把刀在8倍规模下依然切出近乎平行宇宙的两套词汇体系。更关键的是研究者同时测量了在这个8192词汇量下两把刀的词汇单元是否还在可学习性范围内即每个词汇在训练中出现超过100次。结果令人警醒Unigram-LM在词汇量只有2048时就已经有43%的学到词汇出现次数不够学习了BPE的情况稍好但在8192规模时也有32%的词汇出现不足。也就是说对于化学分子这种字母表小、受约束强的特殊语言词汇量能有效利用的上限远低于自然语言。在化学AI的语境下自然语言处理领域惯用的大词汇表策略超过某个临界点后反而会造成大量词汇无法被充分学习。**九、跨领域迁移测试一个分词器能在不同化学领域通用吗**研究者还做了一个实用性很强的测试在一种化学数据库上训练的分词器能不能被直接用在另一种化学数据库上而不需要重新训练测试结果用相对肥力relative fertility即在新领域的切割块数相对于用本领域训练的分词器的比值来衡量。BPE表现得非常稳健在任何跨领域组合下切割块数与本土分词器的差距都在正负1%以内可以说几乎感觉不到跨域的损耗。Unigram-LM则稍微敏感一些跨域误差在负6%到正8%之间最极端的情况是用REAL-Space分词器在组合合成分子上训练去处理COCONUT天然产物分子切割块数比本土多了8%。这两把刀的跨域差异在化学AI领域意味着什么本质上BPE和Unigram-LM学到的是不同类型的化学共性——BPE学到的是在各类分子中频繁出现的大块结构比如各种苯环片段这种知识跨域通用性很强Unigram-LM学到的是更精细、更数据集特异的概率模式换个化学领域就容易水土不服一点。研究者还用两组非常特殊的化学数据库做了极限测试一组是约9.7万个含有过渡金属的配合物tmQM数据库这类分子里有很多非常规的金属元素另一组是约8000个环状多肽CycPeptMPDB数据库这类分子非常庞大平均每个分子在BPE分词下需要约111个词元在Unigram-LM下更多达约150个。面对这些怪异分子覆盖率依然良好——含金属配合物的数据库中未知符号的比例只有0.002%环状多肽的数据库中更是完全没有未知符号。切割粒度的差距也依然存在Unigram-LM在环状多肽上比BPE多切29.5%在金属配合物上多切23.5%。这个差距比训练域内的数据29%到41%略有缩小研究者认为这是因为金属配合物里有很多罕见的元素两把刀都没有充分学到针对这些元素的合并规律于是各自都退回到了接近原子粒度的切割差异自然变小了。**十、切法的稳定性换一种写法分词结果会乱套吗**化学分子的SMILES表达不是唯一的。同一个分子可以有无数种等价的SMILES写法——就像我爱你和你是我爱的人表达的是同一个意思但字面完全不同。对于实际应用中的化学AI输入的分子字符串可能来自不同的软件采用不同的写法约定分词器需要在面对各种写法时都能给出稳定的结果。研究者测试了五种不同的SMILES改写方式从最温和的只改变环连接编号到最剧烈的把所有隐含氢原子显式写出来并测量了两把刀在这些改写下的包稳定性——即分词结果中有多少比例的词元发生了变化。在随机化的SMILES写法最接近真实应用的改写方式下Unigram-LM的包稳定性更好词元变化比例为11%到22%而BPE的变化比例为24%到38%Unigram-LM在全部22个配对条件下都更稳定。用另一家软件OpenBabel而非RDKit生成的标准SMILES来测试时同样的规律成立Unigram-LM变化9%到15%BPE变化19%到24%。然而有一种改写方式让Unigram-LM吃了大亏Kekulé形式把芳香键写成单键-双键交替的显式形式而不是小写字母代表的芳香表达。在这种改写下Unigram-LM在22个配对中的21个条件下比BPE更不稳定。原因清晰Unigram-LM的词汇中大量依赖芳香环片段c、cc、ccc这类小写字母组合Kekulé改写直接摧毁了所有这些词汇导致Unigram-LM的分词结果大幅波动。BPE虽然也有芳香环词汇但因为它的词汇体系更加多样受到的冲击相对小一些。全部变成显式氢原子的改写对两把刀都是灾难性的——词元变化比例高达54%到83%这是因为训练数据中几乎没有显式氢的写法两把刀都没学过怎么处理这种形式。**十一、这对化学AI的开发者意味着什么**说到底这篇研究的核心信息非常清晰选择BPE还是Unigram-LM不是一个无关紧要的技术细节而是一个会深刻影响AI看世界方式的根本性决策。BPE给AI提供的是更粗粒度的视角把常见的化学子结构尤其是芳香环直接打包成单个词元让AI处理每个分子时需要更少的词元计算效率更高单个词元能覆盖的化学语境更广。BPE的词汇表完全可以跨化学领域通用切割结果也较为稳定。Unigram-LM给AI提供的是更精细的视角保留更多原子级别的细节每个词元承载的化学信息更少但更精准。Unigram-LM还有一个独特优势它的概率模型允许在训练过程中对同一个分子采用多种分词方式这种数据增强效果在一些研究中已被证明对提升模型泛化能力有帮助。Unigram-LM的分词结果在面对不同写法时也更稳定除了Kekulé改写。研究者明确指出他们没有在这篇文章中比较两把刀训练出来的AI最终性能哪个更好——这个问题留给后续研究。但他们已经确凿地证明这两把刀切出的是完全不同的语言体系任何声称两者等价的说法都缺乏依据。化学AI的开发者在选择分词算法时需要主动做出有意识的决策而不能仅仅因为大家都这么用就不假思索地沿用BPE。归根结底这场切割刀之争揭示的是一个更深刻的道理在机器学习领域看似无关紧要的工程细节往往暗藏着影响深远的哲学分歧。两把刀都在用频率作为判断标准但一把从小到大积累一把从大到小修剪最终得到的词典却几乎属于平行宇宙。化学AI的研究者们是时候认真对待这把他们一直忽视的切割刀了。---QAQ1BPE和Unigram-LM分词器在化学分子上的词汇表重叠度有多低A在所有22组对照实验条件下BPE和Unigram-LM在基础词汇之上额外学到的词汇单元重叠度从未超过16.1%。如果按照实际使用频率加权计算优先关注AI训练中最常接触的词汇重叠度最低仅有0.2%接近于零说明两种分词器学到的化学词汇几乎完全不同。Q2Unigram-LM分词器切出的词元数量为什么比BPE多A因为Unigram-LM更偏向于保留原子级别的精细粒度很少把多个化学符号合并成大块词元导致同一个分子被切成更多小块。在1024词汇量的设置下Unigram-LM平均比BPE多产生29%到41%的词元而BPE则更倾向于把芳香环等常见子结构直接打包成单个词元切割更豪爽。Q3化学AI开发者应该选BPE还是Unigram-LMA这篇研究没有直接回答哪个更好因为研究者没有训练实际的化学语言模型来比较最终性能。但研究清楚地表明两者不可互换——BPE词元更少、计算效率更高、跨领域稳定适合需要更广上下文的任务Unigram-LM粒度更细、支持训练时多样化分词适合对分子局部结构敏感的任务。开发者需要根据实际需求做出有意识的选择。
高级应用：超越游戏AI的五大实战场景)
