我给你最简单、直接、能复制运行的 Python 代码教程专门用来精确计算 AI 模型的 Token 数量不用懂复杂原理粘贴就能用我分3 个最常用场景GPT 3.5 / GPT 4 / 豆包 / 百川最常用通义千问 / 文心一言国内大模型Llama 2 / 3 / Mistral 等开源模型一、最常用计算 GPT 系列 TokenOpenAI 官方库适用于GPT-3.5GPT-4豆包大部分国内商用模型1. 安装bash运行pip install tiktoken2. 代码直接复制运行python运行import tiktoken # 选择模型对应的分词器GPT-3.5 / GPT-4 通用 encoding tiktoken.get_encoding(cl100k_base) # 你要计算的文本 text 又是新的一天今天撸串享受烟火生活。 # 计算 Token token_count len(encoding.encode(text)) print(f文本 Token 数量{token_count})运行结果plaintext文本 Token 数量20二、国内大模型通义千问 / 文心一言通义千问阿里云python运行from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen-7B-Chat, trust_remote_codeTrue) text 今天撸串快乐加倍 print(len(tokenizer.encode(text)))文心一言百度python运行import wenxin_api # 文心需要调用官方接口计算三、开源模型Llama 2 / Llama 3 / Mistralpython运行from transformers import AutoTokenizer model_name meta-llama/Llama-3-8B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) text 今天撸串烟火气最治愈 token_num len(tokenizer.encode(text)) print(fToken 数量{token_num})四、我给你一个万能函数直接用你以后只需要改文本就行超级方便python运行import tiktoken def count_token(text: str) - int: encoding tiktoken.get_encoding(cl100k_base) return len(encoding.encode(text)) # 使用 text 今天撸串快乐加倍 print(count_token(text))五、重要规则一定要知道中文 ≈ 1 字 1 Token英文 ≈ 4 字母 1 Token标点、空格、换行 都算 Token输入 输出 都要算 Token不同模型分词略有差异以官方库为准一个干净、可直接双击运行、无需任何修改的 Python 脚本专门计算AI 模型 Token 数量支持GPT-3.5 / GPT-4字节豆包通义千问大部分国内大模型复制下面全部内容保存为token_counter.py双击就能运行。token_counter.py可直接运行python运行# -*- coding: utf-8 -*- AI 模型 Token 计算器GPT-3.5 / GPT-4 / 豆包 / 通义千问 通用 直接运行即可 import tiktoken def count_token(text: str, encoding_name: str cl100k_base) - int: 计算文本的 Token 数量 :param text: 要计算的文本 :param encoding_name: 分词器名称默认 cl100k_baseGPT-3.5/4 通用 :return: token 数量 try: encoding tiktoken.get_encoding(encoding_name) return len(encoding.encode(text)) except Exception as e: print(f计算出错{e}) return 0 def main(): print( * 50) print( AI Token 计算器可直接运行) print( 支持GPT-3.5 / GPT-4 / 豆包 / 通义千问) print( * 50) print() # 在这里输入你要计算的文字直接替换引号里面的内容即可 your_text 又是新的一天今天撸串享受烟火生活。 token_num count_token(your_text) print(f【你的文本】) print(your_text.strip()) print() print(f✅ 精确 Token 数量{token_num}) print() if __name__ __main__: main()使用方法超级简单1. 先安装依赖只装一次打开命令提示符运行bash运行pip install tiktoken2. 替换你要计算的文本找到代码里这一行只改中间文字python运行your_text 在这里替换成你要计算的内容 3. 双击运行token_counter.py立刻输出plaintext AI Token 计算器可直接运行 支持GPT-3.5 / GPT-4 / 豆包 / 通义千问 【你的文本】 又是新的一天今天撸串享受烟火生活。 ✅ 精确 Token 数量20
使用Python代码计算AI模型的Token数量
发布时间：2026/6/1 14:09:21
我给你最简单、直接、能复制运行的 Python 代码教程专门用来精确计算 AI 模型的 Token 数量不用懂复杂原理粘贴就能用我分3 个最常用场景GPT 3.5 / GPT 4 / 豆包 / 百川最常用通义千问 / 文心一言国内大模型Llama 2 / 3 / Mistral 等开源模型一、最常用计算 GPT 系列 TokenOpenAI 官方库适用于GPT-3.5GPT-4豆包大部分国内商用模型1. 安装bash运行pip install tiktoken2. 代码直接复制运行python运行import tiktoken # 选择模型对应的分词器GPT-3.5 / GPT-4 通用 encoding tiktoken.get_encoding(cl100k_base) # 你要计算的文本 text 又是新的一天今天撸串享受烟火生活。 # 计算 Token token_count len(encoding.encode(text)) print(f文本 Token 数量{token_count})运行结果plaintext文本 Token 数量20二、国内大模型通义千问 / 文心一言通义千问阿里云python运行from transformers import AutoTokenizer tokenizer AutoTokenizer.from_pretrained(Qwen/Qwen-7B-Chat, trust_remote_codeTrue) text 今天撸串快乐加倍 print(len(tokenizer.encode(text)))文心一言百度python运行import wenxin_api # 文心需要调用官方接口计算三、开源模型Llama 2 / Llama 3 / Mistralpython运行from transformers import AutoTokenizer model_name meta-llama/Llama-3-8B-Instruct tokenizer AutoTokenizer.from_pretrained(model_name) text 今天撸串烟火气最治愈 token_num len(tokenizer.encode(text)) print(fToken 数量{token_num})四、我给你一个万能函数直接用你以后只需要改文本就行超级方便python运行import tiktoken def count_token(text: str) - int: encoding tiktoken.get_encoding(cl100k_base) return len(encoding.encode(text)) # 使用 text 今天撸串快乐加倍 print(count_token(text))五、重要规则一定要知道中文 ≈ 1 字 1 Token英文 ≈ 4 字母 1 Token标点、空格、换行 都算 Token输入 输出 都要算 Token不同模型分词略有差异以官方库为准一个干净、可直接双击运行、无需任何修改的 Python 脚本专门计算AI 模型 Token 数量支持GPT-3.5 / GPT-4字节豆包通义千问大部分国内大模型复制下面全部内容保存为token_counter.py双击就能运行。token_counter.py可直接运行python运行# -*- coding: utf-8 -*- AI 模型 Token 计算器GPT-3.5 / GPT-4 / 豆包 / 通义千问 通用 直接运行即可 import tiktoken def count_token(text: str, encoding_name: str cl100k_base) - int: 计算文本的 Token 数量 :param text: 要计算的文本 :param encoding_name: 分词器名称默认 cl100k_baseGPT-3.5/4 通用 :return: token 数量 try: encoding tiktoken.get_encoding(encoding_name) return len(encoding.encode(text)) except Exception as e: print(f计算出错{e}) return 0 def main(): print( * 50) print( AI Token 计算器可直接运行) print( 支持GPT-3.5 / GPT-4 / 豆包 / 通义千问) print( * 50) print() # 在这里输入你要计算的文字直接替换引号里面的内容即可 your_text 又是新的一天今天撸串享受烟火生活。 token_num count_token(your_text) print(f【你的文本】) print(your_text.strip()) print() print(f✅ 精确 Token 数量{token_num}) print() if __name__ __main__: main()使用方法超级简单1. 先安装依赖只装一次打开命令提示符运行bash运行pip install tiktoken2. 替换你要计算的文本找到代码里这一行只改中间文字python运行your_text 在这里替换成你要计算的内容 3. 双击运行token_counter.py立刻输出plaintext AI Token 计算器可直接运行 支持GPT-3.5 / GPT-4 / 豆包 / 通义千问 【你的文本】 又是新的一天今天撸串享受烟火生活。 ✅ 精确 Token 数量20
