前言这是我从一个 AI 小白走向 AI 应用开发工程师的进阶之路——仍在途中（为问道者点灯，非为大匠者筑台）。从 Transformer 原理到 Agent 工程，从 Prompt 技巧到 RAG 架构，从模型评测到生产部署——这份指南覆盖了 AI 应用开发所需的核心知识体系。每一章都包含原理讲解、可视化图示、代码实战，确保你不仅能"听懂"，更能"做出来"。全书结构本指南共 16 章，按模型层 → 交互层 → 系统层 → 工程层逐层递进：模型层——理解 LLM 的底层原理章主题你将学到第 1 章AI 基础与神经网络入门AI/ML/DL/LLM 概念层次、感知机、激活函数、反向传播、从零手写神经网络第 2 章Transformer 架构详解自注意力机制、QKV、多头注意力、位置编码、Encoder/Decoder 架构第 3 章大语言模型原理预训练目标（CLM/MLM/Prefix LM）、自回归生成、解码策略、涌现能力、Scaling Law第 4 章模型层技术预训练数据管线、监督微调、LoRA/QLoRA、量化、RLHF/DPO/GRPO 对齐交互层——让 LLM 按你的意图工作章主题你将学到第 5 章Prompt EngineeringZero/Few-shot、CoT、结构化 Prompt、常见模式与反模式第 6 章Context Engineering上下文五要素、信息压缩与窗口管理、短期/长期记忆、话题追踪、AI 编程助手架构系统层——构建 AI 应用章主题你将学到第 7 章Agent 工程与实践Agent 四要素、ReAct/Plan-and-Execute/Reflection 架构、工具调用、多 Agent 协作第 8 章Harness Engineering安全护栏、错误处理、可观测性、流程编排、测试评估、配置管理第 9 章RAG 基础与向量数据库检索增强生成、文档切分、Embedding、向量数据库、检索策略、RAG 评估进阶与工程化——从原型到上线章主题你将学到第 10 章高级 RAG 技术混合检索、重排序、多跳推理、Self-RAG、GraphRAG、多模态 RAG第 11 章模型评测基准测试（MMLU/HumanEval）、评测框架、领域评测设计第 12 章应用评测与 A/B 测试幻觉检测、人工评测体系、在线 A/B 测试、评测指标体系第 13 章LLMOps 与生产部署模型服务（vLLM/TGI）、容器化、监控告警、灰度发布、成本优化第 14 章AI 安全、伦理与合规对抗攻击、越狱防御、偏见检测、隐私保护、AI 合规框架第 15 章性能优化与成本优化推理加速（KV Cache/推测解码）、量化部署、缓存策略、Token 用量优化第 16 章实战项目与综合应用端到端项目实战，综合运用前 15 章知识构建完整 AI 应用📋 本章学习目标完成本章学习后，你将能够：理解 AI、ML、DL、LLM 四层概念的包含关系和各自定位掌握感知机的数学模型与学习规则理解多层网络结构与深度网络的必要性熟练选择 5 种主流激活函数并理解其特性理解损失函数、优化器、学习率调度三大训练核心组件掌握反向传播的链式法则推导能够从零用 NumPy 手写一个完整的神经网络训练系统1.1 AI 技术栈层次关系1.1.1 四层概念的包含关系人工智能领域有四个高频术语：AI、ML、DL、LLM。它们不是并列关系，而是层层包含的关系——每一个都是前一个的子集：用日常例子来理解这个包含关系：想象一个俄罗斯套娃。最外层最大的套娃是 AI，它包含了所有让机器"看起来有智能"的方法——哪怕只是一堆人工编写的 if-else 规则。往里一层是 ML，机器学习只关心那些"从数据中学习"的方法，排除了手工编写规则的专家系统。再往里是 DL，深度学习只关心"用多层神经网络"的那部分机器学习方法，排除了决策树、SVM 等传统算法。最里面是 LLM，大语言模型只关心"基于 Transformer 架构并在海量文本上预训练"的那一类深度学习模型。这个包含关系意味着一个重要的判断逻辑：所有 LLM 都是 DL，但不是所有 DL 都是 LLM（比如 CNN 用于图像识别就不是 LLM）；所有 DL 都是 ML，但不是所有 ML 都是 DL（比如随机森林就不是深度学习）。在技术讨论中准确使用这些术语，能避免很多误解。1.1.2 各层次详细对比层次全称出现时间核心思想典型算法/模型典型应用AIArtificial Intelligence1956让机器模拟人类智能专家系统、搜索算法、规则引擎棋类博弈、知识图谱、路径规划MLMachine Learning1980s从数据中自动学习规律，无需显式编程线性回归、决策树、SVM、随机森林推荐系统、欺诈检测、房价预测DLDeep Learning2006使用多层神经网络自动提取层次化特征CNN、RNN、LSTM、AutoEncoder图像识别、语音识别、机器翻译LLMLarge Language Model2017基于 Transformer 在海量文本上预训练GPT-4、Claude、Qwen、LLaMA对话、写作、代码生成、推理时间线上的关联值得注意：AI 的概念最早（1956），ML 在 1980s 逐渐成为主流，DL 在 2006 年 Hinton 提出深度信念网络后开始复兴，而 LLM 则要等到 2017 年 Transformer 论文发表后才真正诞生。每一次范式的演进，都伴随着可用数据和计算能力的大幅增长。1.1.3 类比理解与关键洞察AI 概念生活类比核心特征AI所有交通工具包含了一切能让机器"智能"的手段ML机动车只靠"自身动力"行驶（从数据学习），不需要人推（规则编程）DL电动汽车用"电池+电机"驱动（神经网络+反向传播），和燃油车（传统ML）原理不同LLM自动驾驶汽车在电动汽车基础上增加了"智能驾驶系统"（Transformer+预训练），能理解语言并自主行动关键洞察：不是所有 AI 都是机器学习（比如基于规则的专家系统），不是所有 ML 都是深度学习（比如 SVM），不是所有 DL 都是大语言模型（比如 CNN）。理解这个区分，就能明白为什么"我们在用 AI"这句话虽然对，但可能不够精确——你可能是在用规则引擎，也可能是在用大语言模型，二者差异巨大。1.2 神经元与感知机1.2.1 生物神经元与人工神经元的类比人脑的智能源于约 860 亿个神经元的协同工作。每个神经元结构简单，但大量连接后产生了复杂的行为。我们先理解生物神经元的工作方式，再对照理解人工神经元的数学模型。生物神经元的工作流程分三步：树突（Dendrites）接收来自其他神经元的电信号——这是"输入"细胞体（Soma）将所有输入信号整合，如果总信号超过阈值，则产生一个电脉冲——这是"计算"轴突（Axon）将电脉冲传导到末端，通过突触传递给下一个神经元——这是"输出"1943 年，McCulloch 和 Pitts 提出了第一个人工神经元模型（M-P 模型），将上述过程抽象为数学运算。1957 年，Rosenblatt 提出了感知机（Perceptron），这是第一个可以学习的神经网络模型。💻 人工神经元🧬 生物神经元类比树突接收信号细胞体整合处理轴突传导信号突触传递给下一个输入x₁, x₂, ..., xₙ加权求和z = Σwᵢxᵢ + b激活函数y = f(z)输出 y这个类比并不完美——生物神经元远比感知机复杂（它们有脉冲时序、突触可塑性、神经递质等），但作为入门理解已经足够。1.2.2 感知机数学模型感知机将神经元的工作过程抽象为一个简洁的数学公式：y=f(wTx+b)=f(∑i=1nwixi+b)y = f(\mathbf{w}^T \mathbf{x} + b) = f\left(\sum_{i=1}^{n} w_i x_i + b\right)y=f(wTx+b)=f(i=1∑nwixi+b)每个符号的含义：符号数学含义直觉理解x= [x₁, x₂, …, xₙ]输入向量你接收到的各种信息w= [w₁, w₂, …, wₙ]权重向量你对不同信息的重视程度b偏置（bias）你的"底线"或"阈值"f(·)激活函数你做决定的规则y输出最终的判断结果一个具体例子：假设我们在判断明天是否带伞，有三个输入：天气预报说有雨（x₁=1）、看到乌云（x₂=1）、朋友说不会下雨（x₃=0）。权重代表你对每个信号的信任度：天气预报 w₁=0.6、乌云 w₂=0.3、朋友的话 w₃=0.1。偏置 b=-0.4 表示你的默认倾向是不带伞。计算：z = 0.6×1 + 0.3×1 + 0.1×0 + (-0.4) = 0.5。如果激活函数是符号函数（z0 输出 1），那么 y=1，即决定带伞。这就是感知机的全部数学——输入加权求和，加上偏置，通过激活函数，得到输出。简单，但足够作为神经网络的基本构建单元。1.2.3 感知机学习算法与几何解释感知机不仅能做计算，还能从数据中学习。它的学习规则很简单：预测对了不改，预测错了调整权重。# 感知机学习算法foreach training_sample(x,y_true):y_pred=sign(w · x+b)# 1. 前向传播：计算预测值error=y_true-y_pred# 2. 计算误差iferror!=0:# 3. 如果预测错误w=w+learning_rate*error*x# 更新权重b=b+learning_rate*error# 更新偏置几何解释：在二维空间中，感知机的权重向量 w 定义了一条直线的法向量，偏置 b 决定这条线的位置。感知机学习的目标就是找到一条直线（在高维空间中叫超平面），把两类数据分开。每次预测错误时，算法就微调这条线的方向和位置，直到所有数据都被正确分类。但感知机有一个根本性限制：它只能解决线性可分问题。AND 和 OR 逻辑是线性可分的，所以感知机能学会；但 XOR 不是线性可分的——你无法用一条直线把 XOR 真值表中的 0 和 1 分开。这个限制直接推动了多层神经网络的诞生。1.3 多层神经网络结构1.3.1 为什么需要隐藏层（XOR 问题）XOR 真值表：x₁x₂x₁ XOR x₂000011101110在二维平面上，输出 0 的点在 (0,0) 和 (1,1)，输出 1 的点在 (0,1) 和 (1,0)。没有任何一条直线能把这两类分开——这就是"非线性可分"。1969 年 Minsky 和 Papert 在《Perceptrons》中证明了单层感知机无法解决 XOR 问题，导致神经网络研究进入第一次寒冬。但解决方案很快被提出：增加一个隐藏层。用两个感知机分别学出两条直线，再用第三个感知机组合结果，就能解决 XOR。这就是深度学习最核心的直觉：单层网络只能学习线性决策边界，多层网络通过层层组合可以学习任意复杂的非线性决策边界。1.3.2 三层网络架构层级功能神经元数量由什么决定输入层接收原始特征，不做任何计算等于输入特征维度隐藏层提取更高层次的抽象特征由设计者决定（超参数）输出层产生最终预测结果等于任务输出维度隐藏层是网络的"核心引擎"。第一层隐藏神经元可能学会检测简单的边缘和纹理，第二层可能学会检测形状和部件，更深的层可能学会识别高级语义概念。这种层次化的特征提取，正是深度学习名称的由来。1.3.3 深度网络 vs 宽度网络特性深度网络（窄而深）宽度网络（宽而浅）特征抽象能力强——逐级抽象弱——单层无法层次化参数效率高——少量参数获强表达力低——需要更多参数训练难度较难——梯度消失/爆炸较易——梯度传播路径短理论保证深度 log n 可高效计算 n 次奇偶函数深度 1 需指数级宽度典型代表ResNet(152层)、GPT-4传统单隐藏层 MLP现代深度学习倾向于"更深而非更宽"，但深层网络需要配合残差连接和层归一化等技术来缓解训练困难。ResNet 的核心发现：与其让每层直接学习从输入到输出的映射，不如只学习"残差"（输入与输出之间的差），这样梯度能更顺畅地反向传播。1.4 激活函数详解1.4.1 为什么需要非线性激活如果没有激活函数（或使用线性激活），无论网络有多少层，整个网络等价于一个单层线性模型。证明：假设两层线性变换（无激活函数）：z1=W1x+b1,z2=W2z1+b2=(W2W1)x+(W2b1+b2)=W~x+b~z_1 = W_1 x + b_1, \quad z_2 = W_2 z_1 + b_2 = (W_2 W_1) x + (W_2 b_1 + b_2) = \tilde{W} x + \tilde{b}z1=W1x+b1,z2=W2z1+b2=(W2W1)x+(W2b1+b2)=W~x+b~无论叠多少层，结果都是W~x+b~\tilde{W} x + \tilde{b}W~x+b~——仍然是线性变换。线性模型只能刻画线性关系，无法学习 XOR 等非线性模式。激活函数的作用是打破线性，使网络能逼近任意复杂函数。这由通用近似定理保证：具有足够宽隐藏层和非线性激活的前馈网络，可以逼近任意连续函数。1.4.2 五种主流激活函数1. Sigmoid— 将任意值压缩到 (0, 1)σ(z)=11+e−z\sigma(z) = \frac{1}{1 + e^{-z}}σ(z)=1+e
【AI应用开发工程师】第一章：AI 基础与神经网络入门
发布时间：2026/5/25 23:33:01
前言这是我从一个 AI 小白走向 AI 应用开发工程师的进阶之路——仍在途中（为问道者点灯，非为大匠者筑台）。从 Transformer 原理到 Agent 工程，从 Prompt 技巧到 RAG 架构，从模型评测到生产部署——这份指南覆盖了 AI 应用开发所需的核心知识体系。每一章都包含原理讲解、可视化图示、代码实战，确保你不仅能"听懂"，更能"做出来"。全书结构本指南共 16 章，按模型层 → 交互层 → 系统层 → 工程层逐层递进：模型层——理解 LLM 的底层原理章主题你将学到第 1 章AI 基础与神经网络入门AI/ML/DL/LLM 概念层次、感知机、激活函数、反向传播、从零手写神经网络第 2 章Transformer 架构详解自注意力机制、QKV、多头注意力、位置编码、Encoder/Decoder 架构第 3 章大语言模型原理预训练目标（CLM/MLM/Prefix LM）、自回归生成、解码策略、涌现能力、Scaling Law第 4 章模型层技术预训练数据管线、监督微调、LoRA/QLoRA、量化、RLHF/DPO/GRPO 对齐交互层——让 LLM 按你的意图工作章主题你将学到第 5 章Prompt EngineeringZero/Few-shot、CoT、结构化 Prompt、常见模式与反模式第 6 章Context Engineering上下文五要素、信息压缩与窗口管理、短期/长期记忆、话题追踪、AI 编程助手架构系统层——构建 AI 应用章主题你将学到第 7 章Agent 工程与实践Agent 四要素、ReAct/Plan-and-Execute/Reflection 架构、工具调用、多 Agent 协作第 8 章Harness Engineering安全护栏、错误处理、可观测性、流程编排、测试评估、配置管理第 9 章RAG 基础与向量数据库检索增强生成、文档切分、Embedding、向量数据库、检索策略、RAG 评估进阶与工程化——从原型到上线章主题你将学到第 10 章高级 RAG 技术混合检索、重排序、多跳推理、Self-RAG、GraphRAG、多模态 RAG第 11 章模型评测基准测试（MMLU/HumanEval）、评测框架、领域评测设计第 12 章应用评测与 A/B 测试幻觉检测、人工评测体系、在线 A/B 测试、评测指标体系第 13 章LLMOps 与生产部署模型服务（vLLM/TGI）、容器化、监控告警、灰度发布、成本优化第 14 章AI 安全、伦理与合规对抗攻击、越狱防御、偏见检测、隐私保护、AI 合规框架第 15 章性能优化与成本优化推理加速（KV Cache/推测解码）、量化部署、缓存策略、Token 用量优化第 16 章实战项目与综合应用端到端项目实战，综合运用前 15 章知识构建完整 AI 应用📋 本章学习目标完成本章学习后，你将能够：理解 AI、ML、DL、LLM 四层概念的包含关系和各自定位掌握感知机的数学模型与学习规则理解多层网络结构与深度网络的必要性熟练选择 5 种主流激活函数并理解其特性理解损失函数、优化器、学习率调度三大训练核心组件掌握反向传播的链式法则推导能够从零用 NumPy 手写一个完整的神经网络训练系统1.1 AI 技术栈层次关系1.1.1 四层概念的包含关系人工智能领域有四个高频术语：AI、ML、DL、LLM。它们不是并列关系，而是层层包含的关系——每一个都是前一个的子集：用日常例子来理解这个包含关系：想象一个俄罗斯套娃。最外层最大的套娃是 AI，它包含了所有让机器"看起来有智能"的方法——哪怕只是一堆人工编写的 if-else 规则。往里一层是 ML，机器学习只关心那些"从数据中学习"的方法，排除了手工编写规则的专家系统。再往里是 DL，深度学习只关心"用多层神经网络"的那部分机器学习方法，排除了决策树、SVM 等传统算法。最里面是 LLM，大语言模型只关心"基于 Transformer 架构并在海量文本上预训练"的那一类深度学习模型。这个包含关系意味着一个重要的判断逻辑：所有 LLM 都是 DL，但不是所有 DL 都是 LLM（比如 CNN 用于图像识别就不是 LLM）；所有 DL 都是 ML，但不是所有 ML 都是 DL（比如随机森林就不是深度学习）。在技术讨论中准确使用这些术语，能避免很多误解。1.1.2 各层次详细对比层次全称出现时间核心思想典型算法/模型典型应用AIArtificial Intelligence1956让机器模拟人类智能专家系统、搜索算法、规则引擎棋类博弈、知识图谱、路径规划MLMachine Learning1980s从数据中自动学习规律，无需显式编程线性回归、决策树、SVM、随机森林推荐系统、欺诈检测、房价预测DLDeep Learning2006使用多层神经网络自动提取层次化特征CNN、RNN、LSTM、AutoEncoder图像识别、语音识别、机器翻译LLMLarge Language Model2017基于 Transformer 在海量文本上预训练GPT-4、Claude、Qwen、LLaMA对话、写作、代码生成、推理时间线上的关联值得注意：AI 的概念最早（1956），ML 在 1980s 逐渐成为主流，DL 在 2006 年 Hinton 提出深度信念网络后开始复兴，而 LLM 则要等到 2017 年 Transformer 论文发表后才真正诞生。每一次范式的演进，都伴随着可用数据和计算能力的大幅增长。1.1.3 类比理解与关键洞察AI 概念生活类比核心特征AI所有交通工具包含了一切能让机器"智能"的手段ML机动车只靠"自身动力"行驶（从数据学习），不需要人推（规则编程）DL电动汽车用"电池+电机"驱动（神经网络+反向传播），和燃油车（传统ML）原理不同LLM自动驾驶汽车在电动汽车基础上增加了"智能驾驶系统"（Transformer+预训练），能理解语言并自主行动关键洞察：不是所有 AI 都是机器学习（比如基于规则的专家系统），不是所有 ML 都是深度学习（比如 SVM），不是所有 DL 都是大语言模型（比如 CNN）。理解这个区分，就能明白为什么"我们在用 AI"这句话虽然对，但可能不够精确——你可能是在用规则引擎，也可能是在用大语言模型，二者差异巨大。1.2 神经元与感知机1.2.1 生物神经元与人工神经元的类比人脑的智能源于约 860 亿个神经元的协同工作。每个神经元结构简单，但大量连接后产生了复杂的行为。我们先理解生物神经元的工作方式，再对照理解人工神经元的数学模型。生物神经元的工作流程分三步：树突（Dendrites）接收来自其他神经元的电信号——这是"输入"细胞体（Soma）将所有输入信号整合，如果总信号超过阈值，则产生一个电脉冲——这是"计算"轴突（Axon）将电脉冲传导到末端，通过突触传递给下一个神经元——这是"输出"1943 年，McCulloch 和 Pitts 提出了第一个人工神经元模型（M-P 模型），将上述过程抽象为数学运算。1957 年，Rosenblatt 提出了感知机（Perceptron），这是第一个可以学习的神经网络模型。💻 人工神经元🧬 生物神经元类比树突接收信号细胞体整合处理轴突传导信号突触传递给下一个输入x₁, x₂, ..., xₙ加权求和z = Σwᵢxᵢ + b激活函数y = f(z)输出 y这个类比并不完美——生物神经元远比感知机复杂（它们有脉冲时序、突触可塑性、神经递质等），但作为入门理解已经足够。1.2.2 感知机数学模型感知机将神经元的工作过程抽象为一个简洁的数学公式：y=f(wTx+b)=f(∑i=1nwixi+b)y = f(\mathbf{w}^T \mathbf{x} + b) = f\left(\sum_{i=1}^{n} w_i x_i + b\right)y=f(wTx+b)=f(i=1∑nwixi+b)每个符号的含义：符号数学含义直觉理解x= [x₁, x₂, …, xₙ]输入向量你接收到的各种信息w= [w₁, w₂, …, wₙ]权重向量你对不同信息的重视程度b偏置（bias）你的"底线"或"阈值"f(·)激活函数你做决定的规则y输出最终的判断结果一个具体例子：假设我们在判断明天是否带伞，有三个输入：天气预报说有雨（x₁=1）、看到乌云（x₂=1）、朋友说不会下雨（x₃=0）。权重代表你对每个信号的信任度：天气预报 w₁=0.6、乌云 w₂=0.3、朋友的话 w₃=0.1。偏置 b=-0.4 表示你的默认倾向是不带伞。计算：z = 0.6×1 + 0.3×1 + 0.1×0 + (-0.4) = 0.5。如果激活函数是符号函数（z0 输出 1），那么 y=1，即决定带伞。这就是感知机的全部数学——输入加权求和，加上偏置，通过激活函数，得到输出。简单，但足够作为神经网络的基本构建单元。1.2.3 感知机学习算法与几何解释感知机不仅能做计算，还能从数据中学习。它的学习规则很简单：预测对了不改，预测错了调整权重。# 感知机学习算法foreach training_sample(x,y_true):y_pred=sign(w · x+b)# 1. 前向传播：计算预测值error=y_true-y_pred# 2. 计算误差iferror!=0:# 3. 如果预测错误w=w+learning_rate*error*x# 更新权重b=b+learning_rate*error# 更新偏置几何解释：在二维空间中，感知机的权重向量 w 定义了一条直线的法向量，偏置 b 决定这条线的位置。感知机学习的目标就是找到一条直线（在高维空间中叫超平面），把两类数据分开。每次预测错误时，算法就微调这条线的方向和位置，直到所有数据都被正确分类。但感知机有一个根本性限制：它只能解决线性可分问题。AND 和 OR 逻辑是线性可分的，所以感知机能学会；但 XOR 不是线性可分的——你无法用一条直线把 XOR 真值表中的 0 和 1 分开。这个限制直接推动了多层神经网络的诞生。1.3 多层神经网络结构1.3.1 为什么需要隐藏层（XOR 问题）XOR 真值表：x₁x₂x₁ XOR x₂000011101110在二维平面上，输出 0 的点在 (0,0) 和 (1,1)，输出 1 的点在 (0,1) 和 (1,0)。没有任何一条直线能把这两类分开——这就是"非线性可分"。1969 年 Minsky 和 Papert 在《Perceptrons》中证明了单层感知机无法解决 XOR 问题，导致神经网络研究进入第一次寒冬。但解决方案很快被提出：增加一个隐藏层。用两个感知机分别学出两条直线，再用第三个感知机组合结果，就能解决 XOR。这就是深度学习最核心的直觉：单层网络只能学习线性决策边界，多层网络通过层层组合可以学习任意复杂的非线性决策边界。1.3.2 三层网络架构层级功能神经元数量由什么决定输入层接收原始特征，不做任何计算等于输入特征维度隐藏层提取更高层次的抽象特征由设计者决定（超参数）输出层产生最终预测结果等于任务输出维度隐藏层是网络的"核心引擎"。第一层隐藏神经元可能学会检测简单的边缘和纹理，第二层可能学会检测形状和部件，更深的层可能学会识别高级语义概念。这种层次化的特征提取，正是深度学习名称的由来。1.3.3 深度网络 vs 宽度网络特性深度网络（窄而深）宽度网络（宽而浅）特征抽象能力强——逐级抽象弱——单层无法层次化参数效率高——少量参数获强表达力低——需要更多参数训练难度较难——梯度消失/爆炸较易——梯度传播路径短理论保证深度 log n 可高效计算 n 次奇偶函数深度 1 需指数级宽度典型代表ResNet(152层)、GPT-4传统单隐藏层 MLP现代深度学习倾向于"更深而非更宽"，但深层网络需要配合残差连接和层归一化等技术来缓解训练困难。ResNet 的核心发现：与其让每层直接学习从输入到输出的映射，不如只学习"残差"（输入与输出之间的差），这样梯度能更顺畅地反向传播。1.4 激活函数详解1.4.1 为什么需要非线性激活如果没有激活函数（或使用线性激活），无论网络有多少层，整个网络等价于一个单层线性模型。证明：假设两层线性变换（无激活函数）：z1=W1x+b1,z2=W2z1+b2=(W2W1)x+(W2b1+b2)=W~x+b~z_1 = W_1 x + b_1, \quad z_2 = W_2 z_1 + b_2 = (W_2 W_1) x + (W_2 b_1 + b_2) = \tilde{W} x + \tilde{b}z1=W1x+b1,z2=W2z1+b2=(W2W1)x+(W2b1+b2)=W~x+b~无论叠多少层，结果都是W~x+b~\tilde{W} x + \tilde{b}W~x+b~——仍然是线性变换。线性模型只能刻画线性关系，无法学习 XOR 等非线性模式。激活函数的作用是打破线性，使网络能逼近任意复杂函数。这由通用近似定理保证：具有足够宽隐藏层和非线性激活的前馈网络，可以逼近任意连续函数。1.4.2 五种主流激活函数1. Sigmoid— 将任意值压缩到 (0, 1)σ(z)=11+e−z\sigma(z) = \frac{1}{1 + e^{-z}}σ(z)=1+e
