
大语言模型Large Language ModelLLM是以深度学习为基础、以大规模语料训练而成的语言智能系统。它能够理解、生成、改写、总结、翻译和组织自然语言也能够在一定程度上完成代码生成、知识问答、逻辑推理、工具调用和多模态交互等任务。如果说传统自然语言处理模型通常围绕某一个具体任务训练例如文本分类、机器翻译或情感分析那么大语言模型更强调“通用语言建模”。它不是只学习一个固定任务而是通过海量文本学习语言中的词语关系、句法结构、语义模式、知识关联和任务表达方式再通过提示词或指令适配不同任务。图 1大语言模型在人工智能体系中的位置大语言模型的出现使人工智能系统从“专用模型完成专用任务”进一步走向“通过自然语言接口完成多种任务”。用户不再必须把任务拆解成复杂的代码或专业指令而可以直接用自然语言描述目标、约束和输出格式。这也是大语言模型成为当前人工智能核心技术路线之一的重要原因。一、从自然语言处理到大语言模型自然语言处理Natural Language ProcessingNLP是人工智能中研究机器理解和生成自然语言的领域。早期 NLP 系统通常依赖人工规则和词典例如根据关键词匹配意图或根据语法规则分析句子结构。这类方法在结构清晰、范围有限的任务中有效但难以应对真实语言中的歧义、上下文、隐喻和开放表达。随着机器学习的发展NLP 开始大量使用统计模型。模型不再完全依赖人工规则而是从语料中学习词语共现、句子结构和类别边界。例如垃圾邮件识别可以通过大量标注邮件学习“哪些词语组合更可能表示垃圾邮件”情感分析可以通过用户评论学习“哪些表达更可能对应正面或负面情绪”。深度学习进一步改变了 NLP 的基本方法。词语不再只是离散符号而可以表示为向量句子不再只是词语序列而可以通过神经网络编码成语义表示。循环神经网络、卷积神经网络、注意力机制和 Transformer 等结构使模型能够更好地处理长文本、上下文关系和复杂语义。大语言模型正是在这一演进过程中形成的。它以 Transformer 为核心架构以大规模文本预训练为基础通过预测语言序列中的下一个单位来学习语言规律。Transformer 由 Vaswani 等人在 2017 年提出其核心特点是基于注意力机制而不再依赖传统循环结构或卷积结构处理序列这一架构后来成为现代大语言模型的基础之一。简单来说大语言模型的关键变化在于它不再为每个任务单独从零训练一个模型而是先训练一个具有广泛语言能力的基础模型再通过提示词、微调、检索、工具调用等方式适配不同任务。二、大语言模型的基本思想大语言模型的基本思想可以概括为通过预测语言序列中的下一个 Token学习语言和知识的统计规律并在上下文中生成符合任务要求的输出。1、大语言模型首先是语言模型语言模型的基本目标是估计一段文本出现的可能性。更直观地说就是根据前面的内容预测后面可能出现什么。例如看到“今天的天气很”人类很容易预测后面可能是“好”“冷”“热”“糟糕”。语言模型也是在做类似事情只不过它不是凭直觉而是根据大量语料训练得到的参数来计算每种后续 Token 的概率。在自回归语言模型中生成过程通常可以理解为模型先根据已有上下文预测下一个 Token再把这个 Token 加入上下文继续预测下一个 Token如此循环直到生成完整回答。2、大语言模型通过大规模数据学习通用模式大语言模型之所以“大”不仅体现在参数规模上也体现在训练数据、计算资源和任务覆盖范围上。它在大量文本上学习语言表达、事实关联、推理模式、代码结构、写作格式和人类指令形式。例如模型在训练中可能见过大量“问题—回答”“标题—正文”“代码—注释”“论文—摘要”“中文—英文”等文本模式。训练之后当用户提出类似任务时模型就能够根据上下文补全出符合模式的内容。3、大语言模型不是数据库而是参数化模型大语言模型并不是把所有训练资料逐条存入数据库。它更像是把大量文本中的统计规律压缩进神经网络参数中。模型可以生成看似有知识的回答但这并不等于它总能准确记住事实也不等于它能自动知道最新信息。因此大语言模型既强大也有局限它擅长语言组织、模式迁移和上下文生成但可能产生事实错误、编造来源或过度自信的回答。这就是后文要讨论的“幻觉”问题。三、Token大语言模型处理语言的基本单位人类阅读文本时通常以字、词、句子为单位理解语言。但大语言模型并不是直接以自然语言中的“词”作为基本单位而是先把文本切分成 Token。Token 可以是一个字、一个词、一个子词、一个符号甚至是词的一部分。不同模型采用的分词方法不同但基本思想都是把连续文本转换成模型能够处理的离散编号序列。例如一个中文句子“深度学习改变了人工智能。”可能被切分为若干 Token。每个 Token 会被映射成一个整数 ID再转换成向量表示送入神经网络计算。图 2从文本到 Token 的处理流程Token 的意义非常重要因为它影响大语言模型的输入长度、生成成本和上下文窗口大小。用户看到的是文字但模型实际处理的是 Token 序列。1、Token 与上下文长度上下文窗口Context Window指模型一次可以处理的 Token 数量。输入提示词、历史对话、检索文档、系统指令和模型正在生成的内容都会占用上下文窗口。如果上下文窗口不足模型就无法同时看到所有信息。长文档问答、长对话记忆、复杂代码分析和多文件处理都与上下文窗口密切相关。2、Token 与生成成本大语言模型通常按输入 Token 和输出 Token 计算推理成本。输入越长模型需要处理的信息越多输出越长生成所需计算也越多。因此在实际应用中提示词并不是越长越好而应尽量清晰、必要、结构化。3、Token 与语言差异不同语言的 Token 切分效率可能不同。同样长度的中文、英文、日文或代码转换成 Token 后数量未必相同。这意味着多语言应用中需要注意上下文长度和成本差异。四、Transformer大语言模型的核心架构现代大语言模型大多建立在 Transformer 架构之上。Transformer 的关键贡献在于它使用注意力机制直接建模序列中不同位置之间的关系从而能够高效处理长距离依赖并适合并行计算。原始 Transformer 论文明确提出该架构完全基于注意力机制舍弃了传统序列建模中常见的循环结构和卷积结构。图 3Transformer 的基本结构示意图Transformer 的基本组成包括输入嵌入、位置编码、自注意力机制、前馈神经网络、残差连接和层归一化等部分。1、Embedding把 Token 转换成向量Token ID 本身只是整数编号不能直接表达语义。模型需要先通过嵌入层Embedding Layer把 Token 转换成向量。例如“医生”“医院”“疾病”这类词在语义上可能更接近而“医生”和“篮球”则语义距离较远。Embedding 的作用就是把离散符号映射到连续向量空间使模型能够用数学方式处理语义关系。2、位置编码让模型知道顺序Transformer 本身并不像 RNN 那样天然按时间顺序逐步处理序列。因此需要加入位置信息让模型知道 Token 在句子中的位置。例如“狗咬人”和“人咬狗”包含相同的字但意思完全不同。如果模型不知道顺序就无法正确理解句子。位置编码Positional Encoding的作用就是把“第几个 Token”这一信息加入模型输入中使模型能够区分不同位置上的词语。3、自注意力机制让每个 Token 理解上下文自注意力机制Self-Attention是 Transformer 的核心。它允许序列中的每个 Token 根据上下文动态关注其他 Token。例如在句子“苹果发布了新手机它的摄像头更清晰”中“它”指代的是“新手机”而不是“苹果”这个水果。模型需要根据上下文判断词语之间的关系。自注意力机制就是帮助模型建立这种关联的关键结构。图 4自注意力机制的直观解释自注意力的典型计算形式可以写成其中• Q 表示 Query即当前 Token 想要查询什么信息• K 表示 Key即其他 Token 提供什么可匹配的信息• V 表示 Value即真正被汇总的信息内容• dₖ 表示 Key 向量的维度用于缩放点积结果• softmax 用于把相关性分数转换为权重分布通俗地说自注意力机制就是让模型在理解某个词时自动判断“当前最应该关注句子中的哪些词”。4、多头注意力从多个角度理解关系多头注意力Multi-Head Attention可以让模型从多个角度同时观察上下文。有的注意力头可能关注语法关系有的可能关注指代关系有的可能关注主题关系有的可能关注格式结构。这种机制提升了模型处理复杂语言关系的能力。5、前馈网络、残差连接与层归一化Transformer 中的前馈网络用于进一步变换每个位置上的表示残差连接可以缓解深层网络训练困难使信息更容易跨层流动层归一化则有助于稳定训练过程。这些结构共同构成了现代大语言模型的基础模块。模型通过堆叠大量 Transformer 层不断增强语言表示和生成能力。延伸阅读《DLTransformer 的基本原理与 PyTorch 实现》五、预训练通过预测下一个 Token 学习语言规律大语言模型的核心训练阶段是预训练Pretraining。预训练通常使用海量文本数据让模型学习语言中的一般规律。许多语言模型采用自监督学习方式训练也就是不需要人工逐条标注标签而是直接从文本自身构造训练目标。例如常见的自回归语言模型会根据前文预测下一个 Token这种“用下一个词作为标签”的训练方式是大语言模型预训练的重要思想之一。1、为什么可以用“预测下一个 Token”训练模型看似简单的“预测下一个 Token”实际上迫使模型学习大量知识。为了预测下一个词模型需要理解• 当前句子的语法结构• 前后词语之间的搭配关系• 指代关系例如“他”“她”“它”指向谁• 常识知识例如“水在常温下是液体”• 领域知识例如医学、法律、编程、数学表达• 文体结构例如论文摘要、新闻报道、代码注释、问答格式因此下一个 Token 预测并不是简单的文字接龙而是一种能够压缩语言规律、语义关系和世界知识的训练目标。2、预训练的基本过程图 5大语言模型的预训练过程预训练通常包括以下步骤• 收集和清洗大规模文本数据• 将文本转换为 Token 序列• 把 Token 输入模型• 让模型预测下一个 Token• 使用损失函数计算预测分布与真实 Token 的差距• 通过反向传播更新模型参数• 重复训练大量批次直到模型学到稳定的语言规律其目标可以简化表示为其中• xₜ 表示第 t 个 Token• P(xₜ | x₁, x₂, ..., xₜ₋₁) 表示模型根据前文预测当前 Token 的概率• 整段文本的概率可以看作各位置条件概率的连乘3、预训练得到的是基础能力经过预训练后模型通常具备较强的语言建模能力但它未必天然适合做人类助手。因为预训练目标只是“预测文本中接下来可能出现什么”并不等于“按照用户意图给出有帮助、安全、真实、清晰的回答”。例如预训练模型可能会继续补全文本但不一定会遵守用户要求可能生成流畅回答但不一定事实正确可能模仿网上语料中的偏见、攻击性或低质量表达。因此预训练之后通常还需要微调和对齐。六、大语言模型如何变成可用助手一个经过预训练的大语言模型虽然已经掌握大量语言规律但还不一定能够稳定、友好、安全地回答用户问题。要让它更像一个可用的智能助手通常还需要经历指令微调、偏好学习和安全对齐等过程。图 6LLM 从预训练到对齐的训练流程1、监督微调让模型学会听指令监督微调Supervised Fine-TuningSFT通常使用“指令—回答”形式的数据继续训练模型。其目标是让模型学会根据用户指令生成符合要求的回答。例如• 用户要求“总结这段文字”模型应输出摘要• 用户要求“用通俗语言解释”模型应降低表达难度• 用户要求“输出 Python 代码”模型应按照代码格式回答• 用户要求“列出三点建议”模型应遵守数量和结构要求监督微调使模型从“补全文本”进一步变成“响应任务”。2、基于人类反馈的强化学习让模型更符合人类偏好基于人类反馈的强化学习Reinforcement Learning from Human FeedbackRLHF是大语言模型对齐的重要方法之一。InstructGPT 相关研究显示仅仅扩大模型规模并不能保证模型更好地遵循用户意图通过收集人工示范、人工排序偏好并进一步用强化学习优化模型可以提升模型的有用性、真实性和无害性。典型 RLHF 流程可以概括为• 先收集高质量人工示范用于监督微调• 再让模型针对同一问题生成多个回答• 由人工标注者对回答进行偏好排序• 用排序数据训练奖励模型• 再用强化学习方法优化语言模型使其更倾向生成高偏好回答通俗地说SFT 主要告诉模型“应该怎样回答”RLHF 进一步告诉模型“哪些回答更受人类认可”。3、安全对齐减少有害输出大语言模型可能被用于生成虚假信息、攻击性内容、隐私泄露内容或危险操作指导。因此安全对齐是大语言模型应用中的重要环节。安全对齐通常包括• 拒绝明显有害请求• 避免输出违法、危险或侵犯隐私的内容• 对不确定内容表达不确定性• 在医疗、法律、金融等高风险场景中提示专业限制• 减少偏见、歧视和刻板印象• 防止模型被恶意提示词绕过安全边界除了 RLHF也有研究探索用一组原则约束模型行为例如由 Anthropic 提出 Constitutional AI 通过人工编写原则让模型参与对自身输出的批评critique和改写并结合监督学习和强化学习改进助手的无害性。七、提示词与上下文学习大语言模型的一个重要特点是用户可以通过提示词Prompt直接描述任务而不一定需要重新训练模型。提示词可以包含任务说明、背景材料、输出格式、示例、约束条件和角色设定。模型会在上下文窗口中读取这些信息并据此生成回答。OpenAI 的模型优化建议中也强调清晰指令和示例输出有助于模型更准确地理解任务少样本示例可以让模型从示例中推断应采用的输出模式。图 7提示词、上下文窗口与模型输出关系图1、提示词不是“咒语”而是任务说明很多人把提示词理解成神秘技巧似乎只要找到某个固定模板就能让模型变得无所不能。实际上提示词更接近“任务说明书”。一个好的提示词通常包括• 任务目标要模型完成什么• 输入材料模型应依据什么内容• 输出格式回答要用段落、列表、表格还是代码• 约束条件字数、风格、受众、禁止内容• 判断标准什么样的回答算好• 示例给模型参考的输入输出样式2、上下文学习在当前输入中临时学习任务上下文学习In-Context Learning指模型不更新参数而是从当前提示词中的示例和说明临时理解任务。例如给模型三个“原句—改写句”的示例再输入第四个原句模型往往可以模仿前面的改写风格。这不是模型真正重新训练了参数而是它在上下文中识别出了任务模式。3、提示词的基本写法对于通识学习者而言不必一开始追求复杂提示词模板。更实用的原则是• 把任务说清楚• 把背景材料给完整• 把输出格式指定明确• 把受众和难度说明白• 对重要约束单独列出• 对复杂任务分步骤要求例如“请面向高中生用通俗语言解释 Transformer 的自注意力机制。要求先用生活类比再给出技术解释最后用 3 条要点总结。”这个提示词之所以有效是因为它同时说明了受众、主题、风格、结构和输出要求。八、检索增强生成让模型连接外部知识大语言模型的知识主要来自训练阶段但训练完成后模型参数通常不会自动更新。这意味着模型可能不知道最新事件也可能不掌握某个企业内部文档、个人资料库或专业数据库中的内容。检索增强生成Retrieval-Augmented GenerationRAG正是为解决这一问题而提出的重要方法。RAG 将大语言模型的参数化知识与外部检索系统结合起来使模型在回答问题前先检索相关资料再基于检索结果生成回答。RAG 的早期代表性研究将预训练生成模型与非参数化外部记忆结合用于知识密集型 NLP 任务并指出这种方式有助于访问和利用外部知识。图 8RAG 检索增强生成流程图1、RAG 的基本流程一个典型 RAG 系统通常包括以下步骤1用户提出问题2系统将问题转换为向量或关键词查询3检索器从文档库中找到相关片段4系统把相关片段与用户问题一起放入提示词5大语言模型基于这些材料生成回答6必要时附上来源或引用便于人工核查。2、RAG 适合哪些场景RAG 特别适合以下任务• 企业知识库问答• 课程资料问答• 法规、政策、合同检索• 产品说明书查询• 医学文献辅助阅读• 新闻与实时信息总结• 私有文档问答• 需要引用依据的专业写作3、RAG 不能完全消除幻觉RAG 能显著改善模型对外部资料的利用能力但它不是万能的。检索结果可能不完整、不相关或过时模型也可能错误理解检索片段。因此重要场景中仍需要引用来源、人工审核和质量控制。九、大语言模型的主要任务大语言模型的任务范围非常广。它不是一种只会聊天的模型而是以自然语言为接口的通用任务处理系统。图 9大语言模型主要任务体系图1、文本理解文本理解任务要求模型从文本中提取信息、判断含义或识别结构。例如给模型一段用户评论要求判断用户是否满意并提取主要原因这就是文本理解任务。2、文本生成文本生成是大语言模型最典型的能力之一。它可以生成说明文、新闻稿、营销文案、教学文章、故事、邮件、报告、总结和脚本。不过文本生成并不等于随意编造。高质量生成需要明确主题、受众、结构、事实依据和风格要求。在专业写作中还应进行事实核查和人工编辑。3、摘要与改写大语言模型擅长把长文本压缩成短文本也擅长在保留原意的基础上改变表达方式。4、翻译与跨语言表达大语言模型可以完成多语言翻译也可以根据语境调整表达方式。与早期机器翻译相比大语言模型在语气、上下文衔接和风格迁移方面通常更灵活。但在法律、医学、外交、合同等严肃场景中翻译结果仍需要专业人员审核。5、代码生成与程序辅助大语言模型可以生成代码、解释代码、补全函数、编写测试、排查错误、重构程序和生成文档。需要注意的是代码生成结果必须运行、测试和审查。模型生成的代码可能存在逻辑错误、安全漏洞或边界情况遗漏。6、推理与问题求解大语言模型可以在一定程度上完成数学推理、逻辑分析、规划和问题分解。它尤其适合把复杂问题拆成步骤帮助用户梳理思路。但模型的推理能力并不稳定。对于精确计算、形式证明、复杂程序验证和高风险决策不应只依赖模型输出而应结合计算工具、专业知识和人工校验。7、工具调用与智能体任务当大语言模型能够调用外部工具时它就不仅能生成文本还能执行更复杂的任务。这种模式常被称为工具增强、函数调用或智能体Agent应用。其核心思想是让语言模型负责理解任务、规划步骤和组织结果让外部工具负责精确计算、检索、执行和验证。8、多模态理解与生成许多新一代模型不再只处理文本还可以处理图像、音频、视频、表格、代码和文件。多模态模型可以看图问答、分析图表、理解截图、生成图像说明、辅助视频理解也可以把文本和图像结合起来完成更复杂任务。这意味着大语言模型正在从“语言模型”扩展为“通用多模态智能接口”。延伸阅读《LLM大语言模型的主要任务》《人工智能通识课多模态大模型》十、大语言模型的典型应用场景大语言模型的应用可以从个人学习、办公生产、软件开发、企业服务、教育、科研和行业智能化等角度理解。1、学习辅助在学习场景中大语言模型可以帮助学生解释概念、总结课文、生成练习题、分析错题、规划学习路径也可以根据学习者水平调整解释难度。例如学习 Transformer 时可以要求模型先用生活类比解释再给出公式再给出代码示例最后设计几道检测题。2、办公与知识管理在办公场景中大语言模型可以帮助整理会议纪要、撰写邮件、总结报告、提炼文档要点、生成方案初稿、改写汇报材料和组织知识库。它的优势在于能快速处理大量文字材料但最终内容仍需要人工确认事实、语气和责任边界。3、软件开发在软件开发中大语言模型可以作为编程助手帮助生成代码、解释报错、编写测试、设计接口、生成文档和迁移代码风格。不过越是底层、安全敏感或高并发系统越需要严格代码审查和测试不能直接把生成代码投入生产。4、客户服务在客户服务中大语言模型可以结合企业知识库回答常见问题帮助客服人员生成回复建议或承担部分自动问答任务。这类应用通常需要 RAG、权限控制、人工转接和日志监控防止模型回答超出企业政策或编造信息。5、教育与教学设计在教育领域大语言模型可以辅助教师生成教案、设计课堂活动、改写教材内容、生成分层练习和分析学生反馈。但教育应用尤其需要注意模型不能替代教师的教学判断也不能把学生评价完全交给自动系统。它更适合作为备课助手、学习伙伴和内容生成工具。6、科研与专业阅读大语言模型可以辅助阅读论文、提炼研究问题、比较方法差异、生成实验思路和整理参考资料。但科研场景对准确性要求高模型输出必须回到原文、数据和实验结果中核查。7、行业智能化在医疗、法律、金融、制造、政务等行业中大语言模型可以承担文档理解、辅助问答、流程自动化、报告生成和知识检索任务。但这些领域具有高风险属性必须重视安全、合规、可解释性和人工审核。十一、大语言模型的局限与安全问题大语言模型虽然能力很强但仍然存在明显局限。理解这些局限是正确使用大语言模型的前提。图 10大语言模型的能力边界与风险示意图1、幻觉问题幻觉Hallucination指模型生成看似合理但实际上错误、虚构或无法验证的内容。例如模型可能编造不存在的论文、错误引用法律条文、虚构数据来源或者给出不准确的医学建议。幻觉产生的原因包括• 模型本质上是在生成高概率文本而不是直接查验事实• 训练数据可能过时、不完整或包含错误• 用户问题本身可能缺少关键信息• 模型可能过度迎合问题中的错误假设• 缺少外部检索或验证机制。减少幻觉的方法包括使用 RAG、要求引用来源、限制回答依据、引入工具验证、在高风险场景进行人工审核。2、知识更新滞后模型训练完成后其参数知识通常不会自动更新。如果用户询问最新政策、新闻、价格、比赛结果或新发布技术模型可能不知道最新情况。此时应结合搜索、数据库或专业系统。3、上下文长度限制即使模型上下文窗口越来越长也不意味着它能完美理解所有长文本。长上下文中仍可能出现遗漏、注意力分散、前后矛盾和细节丢失。因此长文档处理应结合分段、摘要、索引和检索。4、偏见与不公平大语言模型从大量人类文本中学习也可能继承其中的偏见、刻板印象和不公平表达。尤其在招聘、教育评价、信贷、司法、医疗等敏感场景中不能直接把模型判断作为最终决策。5、隐私与数据安全使用大语言模型时不应随意输入个人隐私、商业机密、未公开代码、客户数据或敏感文件。企业应用中还需要考虑数据隔离、访问权限、日志审计和合规要求。6、版权与内容归属大语言模型可以生成文本、代码、图片或音乐但生成内容可能涉及版权、数据来源和原创性问题。在商业发布、教育出版、媒体传播等场景中应进行必要的版权审查和人工编辑。7、过度依赖大语言模型适合辅助思考但不应替代人的判断。尤其在医疗、法律、金融、心理咨询、工程安全等领域模型输出只能作为参考不能替代专业人员。十二、如何正确学习和使用大语言模型学习大语言模型不应只停留在“会不会使用聊天工具”的层面而应理解其基本机制、能力边界和应用方法。1、先理解基本概念学习 LLM应优先掌握以下概念• Token模型处理文本的基本单位• EmbeddingToken 的向量表示• Transformer现代大语言模型的核心架构• 自注意力建立上下文关系的关键机制• 预训练从大规模文本中学习通用语言能力• 指令微调让模型学会响应任务• RLHF让模型更符合人类偏好• RAG让模型连接外部知识• 上下文窗口模型一次可处理的信息范围• 幻觉模型生成错误内容的重要风险2、再掌握任务表达方法使用大语言模型关键是把任务表达清楚。好的任务表达通常包括• 你要模型做什么• 模型应依据哪些材料• 输出给谁看• 输出采用什么结构• 有哪些限制条件• 是否需要引用、检查或比较例如与其说“帮我写一篇文章”不如说“请面向大学低年级学生撰写一篇介绍大语言模型的通识文章。要求先解释基本概念再讲训练流程最后讨论应用与风险语言通俗但不失专业每节附 1—2 个延伸阅读题目。”3、把模型当作协作工具大语言模型最适合承担以下角色• 帮助整理思路• 提供初稿• 改写语言• 解释概念• 生成示例• 检查结构• 辅助检索和总结• 提供多种方案供人选择但最终判断仍应由人完成。尤其是事实核查、价值判断、责任承担和专业决策不能完全交给模型。4、建立验证意识使用大语言模型时应养成四个习惯• 重要事实要查来源• 专业结论要找依据• 代码结果要运行测试• 高风险建议要请专业人员确认只有把模型能力与人类判断、外部工具和可靠资料结合起来才能更安全、更有效地发挥大语言模型的价值。 小结大语言模型以 Transformer 为核心通过大规模预训练学习语言规律再经过指令微调、偏好学习和安全对齐形成可用能力。它擅长理解、生成、总结、翻译、代码辅助和工具调用但仍存在幻觉、偏见、知识滞后与安全风险。正确使用 LLM应同时重视能力、边界和验证。“点赞有美意赞赏是鼓励”