【AI黑话日日新】什么是token？

最近AI圈有个很火的梗：Token应该翻译成“新智元”。玩梗归玩梗，很多刚接触大模型的朋友还是一脸懵：Token到底是什么？是登录用的令牌？是区块链代币？还是AI圈的新黑话？这篇博客就用纯入门、零门槛、接地气的方式，把Token讲透，看完你就能彻底理解这个大模型最基础的核心概念。一、先辟谣：Token≠新智元，翻译只是玩笑首先澄清：“新智元”是AI圈玩梗的趣味翻译，并非标准译名；目前行业主流译法：词元，也有部分机构叫智元；它的本质和“品牌”“新造词”无关，就是大模型处理文本的最小单元。你可以把Token理解为：AI眼里的“文字积木”。二、一句话核心定义Token是大语言模型理解、处理、生成人类语言的最小语义单元。大模型本质是做矩阵运算，不直接认识汉字、英文、符号，必须把文字拆成一个个标准化的小片段，再转成数字向量——这个小片段，就是Token。它不是字、不是词，