【AI】55个AI基础概念(收藏版)

55 个 AI 基础核心概念零、术语中英文对照表英文术语缩写中文名称简要说明AI (Artificial Intelligence)人工智能让机器模拟人类智能的科学技术NLP (Natural Language Processing)自然语言处理AI 领域中专注于让计算机理解和生成自然语言的分支Token词元 / 令牌大语言模型处理文本的基本单位TransformerTransformer 架构2017 年由 Google 提出的革命性深度学习架构主流大模型的基石Encoder编码器Transformer 中负责理解输入文本的组件Decoder解码器Transformer 中负责生成输出文本的组件Attention注意力机制让模型有选择性地聚焦于重要信息的机制Self-Attention自注意力同一序列内部 Token 之间的注意力计算Cross-Attention交叉注意力两个不同序列之间的注意力计算LLM (Large Language Model)大语言模型基于 Transformer、参数规模巨大的语言模型Pre-trained预训练在大规模通用语料上进行的初始训练阶段Scaling Law缩放法则 / 规模定律模型性能随规模增长而可预测提升的规律Fine-tuning微调在预训练模型基础上用特定数据进一步训练SFT (Supervised Fine-Tuning)监督微调使用人工标注的高质量对话数据进行微调RLHF (Reinforcement Learning from Human Feedback)基于人类反馈的强化学习通过人类反馈训练奖励模型再用强化学习让模型对齐人类偏好Prompt提示用户输入给大语言模型的指令、上下文等所有信息的总称RAG (Retrieval-Augmented Generation)检索增强生成让大模型结合外部知识库解答问题的技术Jailbreak越狱通过精心设计提示词绕过 AI 安全限制的攻击方式Red Teaming红队测试主动模拟攻击来发现 AI 系统安全漏洞的测试方法Constitutional AI宪法 AIAnthropic 提出的用预设行为准则让 AI 自我修正的对齐方法Agent智能体能自主感知环境、规划决策并执行行动的 AI 实体Agentic智能体化的描述具有 Agent 特性的系统或方法Alignment对齐让 AI 的目标和价值观与人类保持一致的核心安全概念Alignment Tax对齐税为提高 AI 安全性而在性能或效率上付出的代价Instruction指令用户给 AI 的明确任务或要求Temperature温度控制生成文本随机性的参数Top k / Top p (Nucleus Sampling)核采样控制生成随机性的采样方法Inference推理 / 推断模型训练完成后根据输入生成输出的过程Context / Context Window上下文 / 上下文窗口模型在一次对话中能处理的最大信息量KV Cache键值缓存缓存推理中间结果、加速推理的技术Hallucination幻觉模型生成听起来合理但实际不真实的内容Memory记忆AI 跨会话存储和调用信息的能力CoT (Chain-of-Thought)思维链让模型一步步思考来解决复杂问题的技术In-Context Learning上下文学习不用重新训练仅通过输入示例就能学会新任务的能力MoE (Mixture of Experts)混合专家模型按需激活部分参数实现大模型能力、小模型成本Multi-Modal多模态AI 同时处理文本、图像、音频等多种信息的能力Benchmark基准测试标准化测试集用于衡量和比较模型性能Function Calling函数调用大模型判断需要调用外部工具并生成调用参数的能力Tool工具AI Agent 可调用的外部功能或资源MCP (Model Context Protocol)模型上下文协议Anthropic 推出的连接大模型与外部工具的统一标准Planning规划Agent 将复杂目标拆解为子任务并逐步执行的能力Agent Skill智能体技能Agent 框架中封装好的可复用能力模块System 2 Thinking系统 2 思维慢速、深思熟虑的推理方式提升复杂任务可靠性Synthetic Data合成数据人工生成、非真实世界收集的训练数据Edge AI端侧 AI将模型部署到本地设备不完全依赖云端Model Router模型路由按任务难度和成本自动选择最合适模型的调度机制World Model世界模型能构建世界内部表示并预测状态变化的 AI 系统AGI (Artificial General Intelligence)通用人工智能具备与人类同等智能水平、能解决各种任务的 AIASI (Artificial Super Intelligence)超级人工智能在所有领域远超人类智能水平的 AIEmbedding嵌入 / 向量嵌入将非结构化数据转换为数值向量的技术Knowledge Graph知识图谱用图结构表示知识由实体和关系组成Prompt Injection提示注入通过嵌入恶意指令让模型忽略安全规则的攻击方式Guardrails安全护栏AI 系统中防止输出有害或违规内容的安全机制Mixture of Agents混合智能体多个 AI 智能体分工协作完成复杂任务的架构Retrieval检索器RAG 系统中负责从知识库查找相关文档的模块Grounding接地 / 事实性让模型输出与真实世界事实保持一致Knowledge Cutoff知识截止日期模型训练数据的时间截止点Reasoning推理能力通过逻辑分析、推导来解决问题的能力一、基础中的基础 ——AI 与语言模型的起点AI (Artificial Intelligence人工智能)机器学习让机器从数据中学习规律和经验深度学习用多层神经网络模拟人脑学习大模型 / 大语言模型以海量数据和参数让机器能理解和生成人类的语言NLP (Natural Language Processing自然语言处理)NLP 是 AI 的一个核心子领域专注于让计算机理解、解释、生成人类的自然语言Token (词元 / 令牌)Token 是大语言模型处理文本时的基本单位一个 Token 可能是一个字、一个词或是文本的一部分Transformer 架构2017 年由 Google 提出的革命性深度学习架构几乎所有主流大模型GPT、Claude、Gemini、LLaMA 等都基于 Transformer包含两个主要部分Encoder (编码器)负责 “理解” 输入文本Decoder (解码器)负责 “生成” 输出文本只有解码器的架构叫 “Decoder-only” 架构如 GPT 系列Attention (注意力机制)两种主要变体Self-Attention (自注意力)一段文本内部每个 Token 都和其他所有 Token 计算关联度Cross-Attention (交叉注意力)两段文本之间的注意力让模型在处理信息时能够有选择性地聚焦于重要部分二、大模型是怎么炼成的 —— 从预训练到微调对比表格Encoder 与 Decoder对比维度Encoder编码器Decoder解码器定义Transformer 架构中负责“理解”输入文本的组件将输入序列映射为富含语义的连续表示。Transformer 架构中负责“生成”输出文本的组件基于上下文和自身历史输出自回归地预测下一个 Token。核心作用提取句子中各 Token 的全局上下文特征捕捉双向依赖关系产出可用作下游任务输入的编码向量。根据编码器或自身给出的上下文表示逐词生成连贯的输出序列天然支持从左到右的自回归生成。典型应用场景BERT、RoBERTa等只使用 Encoder 的模型广泛应用于文本分类、命名实体识别、问答等理解型任务。GPT系列采用 Decoder-only 架构主要用于对话生成、故事续写、代码补全等生成型任务。架构倾向通常包含双向自注意力机制能同时看到左右两侧的上下文。使用单向因果自注意力只能看到当前位置之前的内容保证生成的一致性。对比表格Self-Attention 与 Cross-Attention对比维度Self-Attention自注意力Cross-Attention交叉注意力定义在同一序列内部让每个 Token 都与序列中的所有 Token包括自身计算注意力权重得到融合全局信息的新表示。在两个不同序列之间计算注意力一个序列的 Token 作为 Query从另一个序列的 Key-Value 中抽取相关信息。核心作用捕捉同一句子里词与词之间的依赖关系解决长距离依赖问题为每个词生成上下文感知的表示。实现两个序列的信息融合例如翻译中将源语言句子的 Key-Value 传递给解码器使生成时能够对齐到源语内容。典型应用场景Transformer 的 Encoder 和 Decoder 内部都大量使用 Self-AttentionBERT用双向 Self-Attention 学习整句理解。原始 Transformer 中 Decoder 的 Cross-Attention 层接收 Encoder 的输出作为 Key-Value图像描述、图文匹配等多模态任务中也用 Cross-Attention 对齐不同模态。注意力流向输入来自同一序列Query、Key、Value 均源自同一组 Token。Query 通常来自 Target 序列如 Decoder 当前状态Key、Value 来自 Source 序列如 Encoder 输出。LLM (Large Language Model大语言模型)基于 Transformer 架构通过海量文本数据预训练得到特点参数规模大、训练数据多、能力强Pre-trained (预训练)在大规模通用语料上进行的第一阶段训练让模型获得基础的语言理解和生成能力Scaling Law (缩放法则 / 规模定律)大模型的性能会随着模型规模、数据量、计算量的增加而可预测地提升模型越大、数据越多、算力越强效果通常越好Fine-tuning (微调)在预训练好的模型基础上用特定领域或任务的数据进一步训练预训练是 “基础教育”微调是 “专业培训”SFT (Supervised Fine-Tuning监督微调)通过人工标注的高质量对话数据来训练模型让模型学会按照人类的指令和偏好来回答问题RLHF (Reinforcement Learning from Human Feedback)基于人类反馈的强化学习让大模型进一步对齐人类价值观和偏好的关键技术先让人类给模型的回答打分排序训练奖励模型再用强化学习让模型生成更符合人类偏好的回答三、提示工程与安全攻防 —— 从 Prompt 到红队测试Prompt (提示)用户输入给大语言模型的一段内容不仅仅是一个问题而是包含了指令、上下文、示例等所有输入信息的总称RAG (Retrieval-Augmented Generation检索增强生成)让大模型结合外部知识库来回答问题的技术回答问题前先从知识库中检索相关文档再基于这些信息生成回答解决了大模型知识截止、幻觉严重等问题Jailbreak (越狱)通过精心设计的提示词绕过 AI 模型的安全限制让模型输出原本被禁止的内容如违法信息、有害建议等Red Teaming (红队测试)源自军事和网络安全领域的测试方法主动模拟攻击来发现系统的安全漏洞专门找人或 AI 来尝试 “攻击” 模型测试安全边界Constitutional AI (宪法 AI)Anthropic 提出的 AI 对齐方法给 AI 一套 “宪法”行为准则和价值观让 AI 自己根据宪法来自我修正减少对人类标注的依赖价值观更一致更容易控制Agent (智能体)能自主感知环境、做出决策并执行行动的实体不只是被动回答问题而是能主动规划、调用工具、完成复杂任务从 “对话” 到 “行动”从 “顾问” 变成 “助理”Agentic (智能体化的)描述 “具有 Agent 特性的” 系统或方法AI 系统从被动的 “问答机器” 向主动的 “任务执行者” 转变四、大模型安全与对齐 —— 从对齐到超级对齐Alignment (对齐)让 AI 的目标、行为和价值观与人类的意图和价值观保持一致让 AI 做人类真正想让它做的事而不是表面上让它做的事AI 安全领域的核心概念Alignment Tax (对齐税)为了让 AI 更安全、更对齐人类价值观而在性能、能力或效率上付出的代价安全和能力之间的权衡五、让 AI听话 又 “靠谱”—— 对齐与生成控制Instruction (指令)用户给 AI 的明确任务或要求代表了一种交互范式的转变Temperature (温度)调整生成文本随机性的参数温度越高内容越随机、越有创意温度越低内容越确定、越保守Top k 采样 / Top p 采样 (Nucleus Sampling)控制生成随机性的方法Top k只从概率最高的 k 个词里选下一个词Top p选累积概率达到 p 的最少数量的 TokenInference (推理 / 推断)大模型在训练完成之后根据输入生成输出的过程训练是 “学习”推理是 “做题”Context / Context Window (上下文 / 上下文窗口)模型在一次对话中能够处理的最大信息量模型的 “短期记忆”—— 它能记住多少之前说过的话单位通常是 Token词元KV Cache (键值缓存)在大模型推理过程中缓存中间计算结果、加速推理的技术把算过的中间结果记下来下次直接用六、大模型的 “运行时”—— 推理、上下文与幻觉Hallucination (幻觉)大模型生成的内容听起来很合理但实际上是不真实的、编造的AI 一本正经地胡说八道大语言模型最广为人知、也最令人头疼的问题Memory (记忆)赋予 AI 系统跨会话、跨交互地存储和调用信息的能力让 AI 能像人一样有 “长期记忆”Context Window 是 “短期记忆”Memory 是 “长期记忆”CoT (Chain-of-Thought思维链)让大模型通过 “一步步思考” 来解决复杂问题的技术让 AI 像人做数学题一样一步一步地思考而不是直接给答案能显著提升大模型在数学、逻辑推理等复杂任务上的表现In-Context Learning (上下文学习)大模型不需要重新训练只通过在输入中给出几个示例就能学会新任务的能力给 AI 看几个例子它就学会了 —— 不用重新训练MoE (Mixture of Experts混合专家模型)通过 “按需激活” 部分参数来实现 “大模型能力、小模型成本”不同的问题交给不同的专家来处理总参数量大但每次推理只用到一小部分参数Multi-Modal (多模态)AI 能够同时处理和理解多种类型的信息如文本、图像、音频等给 AI 装上了 “眼睛” 和 “耳朵”让它能像人一样通过多种方式感知世界Benchmark (基准测试)用来衡量和比较 AI 模型性能的标准化测试集或任务AI 界的 “高考”—— 用统一的题目来考不同的模型七、AI Agent 与工具使用 —— 从 “对话” 到 “行动”Function Calling (函数调用)大模型能够根据用户请求判断是否需要调用外部工具并生成符合格式的调用参数让大模型能 “调用工具”—— 查天气、查数据库、发邮件等大模型从 “只会说话” 到 “能够行动” 的关键一步Tool (工具)AI Agent 或大模型可以调用的外部功能或资源AI 的 “外挂装备”—— 有了它们AI 就能做到很多原本做不到的事MCP (Model Context Protocol模型上下文协议)Anthropic 推出的开放标准和协议定义了一套统一的方式让大模型能够方便地连接和使用各种外部工具AI 界的 “USB 接口”—— 有了统一标准各种工具都能方便地插上来用Planning (规划)Agent 的核心能力之一拿到复杂目标后先把它拆成一步步的小任务然后再去执行Agent 的 “项目经理” 能力Agent Skill (智能体技能)从 Agent 框架中封装好的、可以直接复用的 “能力模块”Agent 的 “技能包”—— 学会了就能直接用Tool 是 “单个工具”Skill 是 “一套组合拳”八、高级能力与前沿概念 —— 从规划到边缘部署System 2 Thinking (系统 2 思维)借用认知心理学中的概念指慢思考、深思熟虑、需要付出努力的思考方式让 AI 不只是 “凭直觉” 快速回答而是能够 “深思熟虑”提升复杂推理能力减少幻觉提高可靠性Synthetic Data (合成数据)人工生成的、不是从真实世界中直接收集的数据AI 自己 “造” 出来的数据用来训练更厉害的 AI数据量不受限质量可控成本更低隐私安全Edge AI (端侧 AI)将 AI 模型部署到离用户或数据产生的源头更近的设备上在本地进行计算和推理不需要把数据传到云端速度快、隐私好、不依赖网络、成本低Model Router (模型路由)智能调度机制根据任务的难度、类型、成本等因素自动选择最合适的 AI 模型AI 系统的 “调度中心”—— 简单任务用小模型复杂任务用大模型World Model (世界模型)能够构建和维护一个关于世界的内部表示并能预测未来状态、模拟行动后果的 AI 系统AI 脑中的 “虚拟世界”—— 能理解世界是怎么运作的并能预测接下来会发生什么AGI / ASI (通用人工智能 / 超级人工智能)AGI具备与人类同等智能水平、能像人一样学习、理解、解决各种不同任务的 AIASI在所有领域都远远超过人类智能水平的 AIAGI 是 “和人一样聪明”ASI 是 “比人聪明得多”九、补充篇其他重要相关概念Embedding (嵌入 / 向量嵌入)把文本、图片等非结构化数据转换成计算机能理解和计算的数值向量把文字变成一串数字 —— 这串数字可以用来表示这段文字的含义语义搜索、RAG、推荐系统、聚类分析的基础Knowledge Graph (知识图谱)用图结构来表示知识的方式由实体节点和关系边组成一张 “知识地图”—— 上面标了各种事物以及它们之间的关系Prompt Injection (提示注入)一种安全攻击技术通过在输入中嵌入恶意指令让 AI 模型忽略原本的系统提示或安全规则AI 时代的 “SQL 注入”—— 专门攻击大模型的安全漏洞Guardrails (安全护栏)在 AI 系统中设置的各种安全机制和限制防止模型输出有害、不当或不符合要求的内容AI 的 “安全带” 和 “保险杠”Mixture of Agents (混合智能体)多智能体协作架构让多个不同的 AI 智能体分工协作共同完成复杂任务三个臭皮匠顶个诸葛亮 —— 多个 AI 一起干比一个 AI 干得好Retrieval (检索器)在 RAG 系统中负责从知识库中找出与用户问题最相关的文档或信息的模块AI 的 “图书管理员”—— 你问问题它帮你找出最相关的资料Grounding (接地 / 事实性)让 AI 模型的输出与真实世界的事实、数据或知识保持一致减少幻觉让 AI 的回答 “有根有据”而不是凭空编造Knowledge Cutoff (知识截止日期)大模型训练数据的时间截止点在这个日期之后发生的事情模型 “不知道”AI 的 “知识保质期”Reasoning (推理能力)AI 模型通过逻辑思考、分析、推导来解决问题的能力AI 的 “思考能力”—— 不只是记住知识还能运用知识来解决问题