大模型基础（二）：必懂5大基础概念《Token、上下文窗口、Embedding、预训练、微调》

在上一篇文章里我们搞懂了什么是大语言模型LLM、狭义大模型与广义大模型的区别以及大模型能做什么、不能做什么。但只要你开始深入使用、部署、学习大模型就会频繁遇到这些词Token、上下文长度、Embedding、预训练、微调。它们是大模型的“底层语言”不懂这5个概念就很难真正理解大模型。这篇文章不讲复杂公式、不堆专业术语用大白话生活例子带你彻底吃透。一、Token大模型眼里的“文字单位”1. 什么是TokenToken词元是大模型处理文本的最小单位。模型不直接认识汉字、英文单词它只认识Token。可以简单理解为汉字 ≈ 1个Token英文单词 ≈ 1个Token数字、符号、标点 ≈ 1个Token2. 官方换算规则1个中文字符 ≈0.6个Token近似1个1个英文字符 ≈0.3个Token日常使用可以直接记1个汉字 ≈ 1个Token3. 为什么要懂Token计费API按Token收费输入输出限制模型一次能处理的文字上限由Token决定效率文本越长Token越多推理越慢举个例子“人工智能正在改变世界”分词后人工、智能、正在、改变、世界 →5个Token一句话总结Token就是大模型的“文字货币”一切计算、长度、费用都按它算。二、上下文窗口Context Window模型一次能“记住”多少内容1. 什么是上下文窗口上下文窗口 模型单次推理能处理的最大Token总数。它包含两部分你输入的内容问题、文档、对话历史模型输出的回答两者加起来不能超过上限。2. 常见上下文长度小模型2K、4K、8K通用模型32K、64K长文本模型128K、256K、1M以上64K Token ≈4.8万字128K Token ≈9.6万字3. 上下文窗口决定什么能不能读完整篇长文档能不能记住多轮对话能不能处理长代码、长报告能不能做复杂的总结与分析比如你让模型读一份10万字的报告如果模型只有64K窗口就读不完必须分段处理。一句话总结上下文窗口越大模型“一次性看懂”的内容越多处理长文本越强。