深度学习Deep Learning是机器学习的重要分支。它以多层神经网络为核心通过大量数据训练使模型能够自动学习数据中的特征表示并完成识别、预测、理解、生成和决策等任务。与许多传统机器学习方法相比深度学习更强调让模型在训练过程中自动学习特征。以图像为例模型可以从像素中逐层提取边缘、纹理、局部形状、对象部件最终形成对整张图像的语义判断以文本为例模型可以从词语、句子和上下文中学习语义关系以视频为例模型还需要理解连续画面中的动作变化和时间结构。因此深度学习特别适合处理图像、语音、文本、视频、时间序列等复杂数据。理解深度学习的主要任务有助于把握它在人工智能系统中的基本分工。一、深度学习任务的基本划分深度学习面对的问题并不只是“分类”或“回归”。在真实应用中它通常围绕复杂数据展开例如• 识别图像中有什么对象• 判断语音中说了什么内容• 理解一句话或一段文本的含义• 预测一段序列的未来变化• 生成图片、文本、语音或视频• 将复杂数据转换为向量表示• 在环境中学习怎样行动从整体上看深度学习的主要任务可以概括为六类。图 1深度学习的主要任务分类1、感知任务从图像、语音、视频等数据中识别对象、内容、结构和变化。2、序列建模任务处理文本、语音、时间序列、视频帧等具有顺序关系的数据。3、生成任务学习数据分布并生成新的文本、图像、音频或视频。4、表示学习任务把复杂数据转换为便于计算、比较、检索和迁移的向量表示。5、多模态任务联合处理文本、图像、音频、视频等不同类型的信息。6、深度强化学习任务使用神经网络与环境交互学习更优行动策略。需要注意的是这些任务并不是完全割裂的。一个现代人工智能系统往往会同时涉及多种任务。例如大语言模型既涉及序列建模也涉及文本生成和表示学习多模态模型通常同时包含图像理解、文本理解、跨模态表示和生成能力自动驾驶系统则可能同时使用目标检测、图像分割、轨迹预测和行为决策。二、感知任务让模型识别对象、内容与结构感知任务Perception Task是深度学习最典型的应用方向之一。它主要处理图像、语音、视频等感知数据使模型能够识别其中的对象、内容、位置、结构和变化。例如• 在图片中识别猫、狗、汽车和行人• 在医学影像中识别病灶区域• 在工业场景中检测产品缺陷• 在语音中识别说话内容• 在视频中理解人物动作和事件变化感知任务的核心是把原始感知数据转换为可理解的语义结果。以图像为例一张图片在计算机中本质上是由像素组成的数组。深度学习模型要做的不是直接“看懂”图片而是通过多层网络逐步提取特征从低级视觉模式逐渐形成高级语义判断。图 2图像感知任务的一般过程在深度学习中感知任务常由卷积神经网络Convolutional Neural NetworkCNN、视觉 TransformerVision TransformerViT等模型完成。1、图像分类图像分类Image Classification是最基础的视觉任务。它的目标是判断一张图像属于哪个类别。例如• 判断一张图片是猫还是狗• 判断手写数字是 0 到 9 中的哪一个• 判断医学影像是否存在某种疾病迹象• 判断产品图片是否存在质量缺陷若用数学形式表示图像分类可以写成其中• x 表示输入图像• f 表示深度学习模型• ŷ 表示模型预测的类别y 表示真实标签任务目标是让 ŷ 尽可能接近 y。对于多分类任务模型通常会输出每个类别的概率其中• z 表示模型最后一层输出的原始分数• p̂ 表示各类别的预测概率softmax 常用于把多个分数转换为概率分布概率最大的类别通常作为最终预测结果。例如在手写数字识别任务中模型输入一张数字图片输出 0 到 9 共 10 个类别的概率概率最高的类别就是模型的判断结果。图 3图像分类任务2、目标检测目标检测Object Detection不仅要判断图像中有什么还要指出对象在哪里。例如在自动驾驶场景中模型不仅要识别“行人”“汽车”“交通灯”还要给出它们在图像中的位置。这通常通过边界框Bounding Box表示。一个目标检测结果通常包含两类信息• 类别对象是什么• 位置对象在图像中的区域其结果可以简化表示为其中• c 表示预测类别• b 表示边界框位置• ŷ 表示目标检测结果边界框常见形式为其中• x 表示边界框中心点的横坐标• y 表示边界框中心点的纵坐标• w 表示边界框宽度• h 表示边界框高度常见目标检测模型包括 R-CNN 系列、YOLO 系列、SSD 和 DETR 等。目标检测比图像分类更复杂因为它同时包含“识别”和“定位”两个目标。图 4图像分类与目标检测的区别3、图像分割图像分割Image Segmentation进一步要求模型判断图像中每个像素属于哪个类别。与目标检测相比图像分割的结果更加精细。目标检测通常用矩形框标出对象的大致位置而图像分割需要勾勒出对象的具体轮廓。常见图像分割任务包括• 语义分割Semantic Segmentation• 实例分割Instance Segmentation• 医学影像分割• 道路场景分割• 智能抠图语义分割的目标可以表示为其中• x 表示输入图像• M 表示像素级类别掩码。M 中的每个位置对应原图中一个像素的类别例如在道路场景分割中模型需要把每个像素判断为道路、天空、车辆、行人、建筑物等类别。图 5视觉感知任务的层级关系从任务粒度看图像分类最粗目标检测更精细图像分割最细。4、语音识别与视频理解除了图像任务语音识别和视频理解也是重要的感知任务。语音识别Speech Recognition的目标是把语音信号转换为文字内容可以简化表示为其中• a 表示输入语音信号• t̂ 表示模型识别出的文本• f 表示语音识别模型视频理解Video Understanding则要求模型理解连续画面中的对象、动作和事件。例如• 判断视频中正在发生什么动作• 检测视频中的异常行为• 识别体育比赛中的关键事件• 理解监控视频中的人员活动视频数据不仅包含空间信息还包含时间变化。因此视频理解通常比单张图像识别更复杂。三、序列建模任务理解有顺序关系的数据序列建模任务Sequence Modeling Task处理的是有先后顺序的数据。文本、语音、时间序列、视频帧都属于典型序列数据。例如• 一句话中的词语有前后顺序• 一段语音中的声音帧按时间排列• 股票价格、气温、电力负荷按时间变化• 视频由连续帧组成序列建模的核心是模型不仅要理解单个元素还要理解元素之间的上下文关系。一个序列可以表示为其中• x 表示完整序列• xₜ 表示第 t 个时间步或位置上的元素• T 表示序列长度序列建模的目标是根据已有序列信息完成分类、预测、生成或转换。图 6序列建模任务1、文本分类文本分类Text Classification是自然语言处理中的基础任务。它的目标是判断一段文本属于哪个类别。例如• 判断一条评论是正面还是负面• 判断一封邮件是否为垃圾邮件• 判断一篇新闻属于财经、体育还是科技• 判断用户问题属于哪个意图类别文本分类可以表示为其中• x₁,x₂,…,xₜ 表示文本中的词、字或子词• f 表示文本模型• ŷ 表示预测类别与普通分类不同文本分类需要考虑词语顺序和上下文含义。例如“不太好”和“好”只差几个字但语义明显不同。常见文本模型包括循环神经网络Recurrent Neural NetworkRNN、长短期记忆网络Long Short-Term MemoryLSTM、门控循环单元Gated Recurrent UnitGRU、Transformer 和 BERT 类预训练模型等。2、序列预测序列预测Sequence Prediction是根据已有序列预测未来内容。例如• 根据过去几天气温预测明天气温• 根据历史销量预测未来销量• 根据前面的词预测下一个词• 根据视频前几帧预测后续动作序列预测可以写成其中• x₁,x₂,…,xₜ 表示已有序列• x̂ₜ₊₁ 表示模型预测的下一个元素• f 表示序列预测模型如果预测多个未来时间步则可以写成其中• k 表示需要预测的未来步数模型需要根据历史趋势推断未来变化。在时间序列预测中深度学习模型常用于处理非线性关系、长时间依赖和多变量输入。3、机器翻译机器翻译Machine Translation是典型的序列到序列任务。它的目标是把一种语言的句子转换成另一种语言的句子。例如• 中文翻译成英文• 英文翻译成日文• 法文翻译成中文其基本形式可以写成其中• x₁,x₂,…,xₙ 表示源语言序列• y₁,y₂,…,yₘ 表示目标语言序列• n 和 m 可以不同说明输入和输出长度不一定相等图 7序列到序列任务机器翻译并不是逐词替换而是要理解上下文、语法结构和语义关系。因此它是深度学习在自然语言处理中的重要任务之一。四、生成任务让模型创造新的内容生成任务Generative Task的目标不是简单判断类别也不是只预测一个数值而是让模型生成新的数据。例如• 根据提示生成一段文字• 根据文字生成一张图片• 根据文本生成语音• 根据已有旋律生成音乐• 根据已有视频生成后续画面• 根据草图、线稿或低清图像生成新图像生成任务的核心是模型需要学习数据分布并从这种分布中生成新的样本。从数学角度看真实数据可以表示为其中• x 表示真实数据样本• p_data(x) 表示真实数据分布• x ∼ p_data(x) 表示样本 x 来自真实数据分布生成模型学习到的分布可以表示为其中• pθ(x) 表示模型学习到的数据分布• θ 表示模型参数• 目标是让 pθ(x) 尽可能接近 p_data(x)这说明生成任务的本质不是简单记忆训练样本而是学习样本背后的规律并生成符合这种规律的新内容。2、文本生成文本生成Text Generation是自然语言生成中的核心任务。它的目标是根据已有上下文生成后续文本。例如• 自动续写文章• 生成摘要• 生成问答回复• 生成代码• 生成对话内容在语言模型中文本生成通常可以表示为其中• xₜ 表示第 t 个词、字或 token• p(xₜ ∣ x₁,x₂,…,xₜ₋₁) 表示在前文条件下生成当前 token 的概率• ∏ 表示连乘• 整段文本的概率可以分解为逐步生成每个 token 的条件概率这说明文本生成通常不是一次性凭空产生整篇文本而是根据已有上下文一步一步生成后续内容。图 8文本生成的一般过程大语言模型Large Language ModelLLM就是典型的文本生成模型。它通过大规模语料训练学习语言结构、知识关联和上下文表达方式。2、图像生成图像生成Image Generation的目标是让模型生成新的图像。例如• 根据文字提示生成图片• 根据线稿生成彩色图像• 根据低清图像生成高清图像• 对旧照片进行修复和上色• 生成风格化人像、场景图或设计图图像生成可以简化表示为其中• z 表示随机噪声或潜在向量• G 表示生成模型• x̂ 表示生成图像如果是文本生成图像则可以写成其中• c 表示文本条件• z 表示随机噪声或潜在变量• G 表示条件生成模型• x̂ 表示生成图像常见图像生成模型包括生成对抗网络Generative Adversarial NetworkGAN、变分自编码器Variational AutoencoderVAE和扩散模型Diffusion Model等。在扩散模型中模型通常先向图像逐步加入噪声再学习如何从噪声中逐步恢复图像。这类方法已经成为当前图像生成的重要技术路线。3、语音、音频与视频生成语音生成Speech Generation、音频生成Audio Generation和视频生成Video Generation也是深度学习的重要生成任务。例如• 文本转语音• 语音克隆• 音乐生成• 音效生成• 视频补帧• 根据文本生成短视频文本转语音任务可以表示为其中• t 表示输入文本• â 表示生成的语音信号• f 表示文本到语音的生成模型视频生成可以简化表示为其中• z 表示随机噪声或潜在变量• c 表示文本、图像或其他条件信息• G 表示视频生成模型• v̂ 表示生成视频语音生成不仅要读出文字还要控制发音、语调、停顿、节奏和情感。视频生成则需要同时保持画面质量、对象一致性和时间连续性因此通常比静态图像生成更加复杂。五、表示学习任务把复杂数据转换为向量表示表示学习Representation Learning是深度学习的核心思想之一。它的目标是让模型自动学习数据的有效表示而不是完全依赖人工设计特征。所谓“表示”可以理解为模型内部对数据的编码方式。例如• 把一个词表示为一个向量• 把一张图像表示为一个特征向量• 把一个用户表示为一个兴趣向量• 把一段文本表示为一个语义向量• 把一段音频表示为一个声学向量表示学习的基本形式可以写成其中• x 表示原始输入• fθ 表示带参数 θ 的神经网络• h 表示模型学习到的表示向量• θ 表示模型参数这说明深度学习模型不仅会输出最终结果还会在中间层形成对数据的抽象表示。1、词向量与语义表示在自然语言处理中词向量Word Embedding是表示学习的典型例子。它把词语转换为向量使计算机可以对词语进行数学计算。例如• “苹果”可以表示为一个向量• “橘子”可以表示为另一个向量语义相近的词在向量空间中通常距离较近。词向量可以写成其中• w 表示一个词或 token• e 表示该词对应的向量• Embedding 表示嵌入层或嵌入函数如果两个词语语义接近它们的向量往往也更接近。常用的相似度计算方式是余弦相似度其中• a 和 b 表示两个向量• a · b 表示向量点积• ‖a‖ 和 ‖b‖ 表示向量长度• 结果越接近 1通常表示两个向量方向越相似2、图像表示与跨模态表示在计算机视觉中深度学习模型也会把图像转换为特征向量。例如一张人脸图像可以被编码成一个向量用于人脸识别一张商品图片可以被编码成一个向量用于相似商品检索。图像表示可以写成其中• x 表示输入图像• f_image 表示图像编码模型• h_image 表示图像表示向量在跨模态表示学习中模型还需要把图像、文本、音频等不同类型的数据映射到统一表示空间。例如其中• t 表示文本• x 表示图像• h_text 表示文本向量• h_image 表示图像向量如果文本和图像语义匹配那么它们在表示空间中的距离应当更近。图 9跨模态表示学习表示学习之所以重要是因为许多复杂任务都依赖好的表示。表示质量越高分类、检索、推荐、生成和推理往往越容易完成。3、预训练与迁移学习在深度学习中表示学习常常与预训练Pre-training和迁移学习Transfer Learning结合使用。预训练是指先让模型在大规模数据上学习通用表示再将这些表示迁移到具体任务中。迁移学习则是把一个任务中学到的知识用到另一个相关任务中。这一过程可以简化表示为其中• θ_pretrain 表示预训练阶段得到的模型参数• θ_finetune 表示在具体任务上微调后的模型参数• → 表示参数从通用任务迁移到具体任务例如一个在大规模图像数据上预训练的视觉模型可以迁移到医学影像分类、工业缺陷检测等任务中一个在大规模文本数据上预训练的语言模型可以迁移到问答、摘要、分类、翻译等任务中。这说明深度学习中的表示并不只服务于单一任务还可以成为多个任务共享的基础能力。六、多模态任务联合理解不同类型的数据多模态任务Multimodal Task是深度学习发展的重要方向。它要求模型能够同时处理文本、图像、音频、视频等不同类型的数据并在它们之间建立语义联系。例如• 根据图片回答问题• 根据文字生成图片• 根据视频内容生成摘要• 根据语音和画面理解会议内容• 根据图文信息判断商品是否匹配• 根据图片和文本进行跨模态检索多模态任务的核心是不同类型的数据虽然形式不同但可以在语义层面建立联系。图 10多模态任务的一般结构1、图文理解图文理解Vision-Language Understanding要求模型同时理解图像内容和文本问题。例如用户输入一张交通场景图片并提出问题“图中是否有人正在过马路”模型需要先识别图像中的道路、行人、车辆和交通环境再结合文本问题给出回答。图文问答可以表示为其中• q 表示文本问题• x_image 表示输入图像• a 表示模型回答• f 表示图文理解模型图文理解不是简单的“看图说话”而是要把视觉信息与语言问题结合起来。2、跨模态检索跨模态检索Cross-modal Retrieval是指用一种模态的信息去检索另一种模态的信息。例如• 输入一句文字检索相关图片• 输入一张图片检索相关文字描述• 输入一段音频检索相关视频片段跨模态检索依赖统一表示空间。可以简化表示为其中• h_text 表示文本向量• h_image 表示图像向量• sim 表示相似度函数相似度越高表示文本与图像越匹配。跨模态检索说明深度学习不仅可以处理单一类型数据还可以在不同类型数据之间建立语义桥梁。七、深度强化学习任务用神经网络学习行动策略深度强化学习Deep Reinforcement Learning是深度学习与强化学习结合形成的方向。它使用神经网络表示策略函数或价值函数使智能体能够在复杂环境中学习行动策略。普通强化学习常用于状态空间较小的问题而深度强化学习适合处理高维状态例如• 游戏画面• 机器人传感器数据• 自动驾驶环境感知信息• 连续控制任务在深度强化学习中智能体Agent通过与环境Environment交互不断尝试动作并根据奖励反馈调整策略。图 11深度强化学习交互过程1、策略学习策略Policy表示智能体在某个状态下选择动作的规则。在深度强化学习中策略可以由神经网络表示其中• s 表示当前状态• a 表示智能体选择的动作• πθ 表示由参数 θ 控制的策略网络如果动作是离散的策略也可以输出每个动作的概率其中• πθ(a ∣ s) 表示在状态 s 下选择动作 a 的概率模型训练的目标是让高价值动作获得更高概率。例如在游戏智能体中输入可以是当前游戏画面输出可以是向上、向下、向左、向右、攻击、跳跃等动作的概率。2、价值学习价值函数Value Function用于评估某个状态或某个动作在长期来看是否有利。状态价值函数可以写成其中• V(s) 表示状态 s 的长期价值价值越高说明从该状态出发越可能获得较高累积奖励。动作价值函数可以写成其中• Q(s,a) 表示在状态 s 下执行动作 a 的长期价值它不仅评价当前状态也评价具体动作。在深度 Q 网络Deep Q-NetworkDQN中Q 函数由神经网络近似其中• θ 表示神经网络参数• 模型输入状态 s输出不同动作的价值估计• 智能体通常选择 Q 值较高的动作深度强化学习的核心难点在于模型不仅要识别环境状态还要在长期奖励、探索与利用之间做权衡。八、深度学习任务之间的区别与联系深度学习任务虽然形式多样但并不是彼此孤立的。图 12深度学习任务之间的关系感知任务强调从复杂输入中识别对象和结构例如图像分类、目标检测、图像分割、语音识别和视频理解。序列建模任务强调处理有顺序关系的数据例如文本分类、机器翻译、语音识别和时间序列预测。生成任务强调学习数据分布并创造新的内容例如文本生成、图像生成、语音生成、音乐生成和视频生成。表示学习任务强调学习数据的内部表示。它往往不是最终应用本身而是支撑分类、检索、推荐、生成和推理的基础能力。多模态任务强调联合处理不同类型的数据使模型能够在文本、图像、音频和视频之间建立联系。深度强化学习任务强调在交互过程中学习行动策略。它不只是“看懂数据”还要根据环境反馈决定“怎样行动”。如果用更直观的话概括• 感知任务回答“看到了什么、听到了什么”• 序列建模任务回答“前后关系是什么、接下来会怎样”• 生成任务回答“能否创造新的内容”• 表示学习任务回答“如何把复杂数据变成可计算的表示”• 多模态任务回答“如何联合理解不同类型的信息”• 深度强化学习任务回答“在环境中应该怎样行动”从技术角度看很多现代系统并不会只使用一种任务。例如自动驾驶系统可能同时使用目标检测、图像分割、轨迹预测和强化学习大语言模型既涉及序列建模也涉及生成任务和表示学习多模态模型则同时处理文本、图像、音频和视频。因此理解深度学习的主要任务不只是记住若干任务名称更重要的是理解深度学习如何围绕数据表示、模式识别、内容生成、多模态理解和行为决策构建完整的智能系统。 小结深度学习的主要任务包括感知、序列建模、生成、表示学习、多模态理解和深度强化学习。它通过多层神经网络学习复杂数据表示既能识别内容、理解序列也能生成数据、连接多种模态并支持智能决策。“点赞有美意赞赏是鼓励”
DL：深度学习的主要任务
发布时间：2026/5/21 2:03:33
深度学习Deep Learning是机器学习的重要分支。它以多层神经网络为核心通过大量数据训练使模型能够自动学习数据中的特征表示并完成识别、预测、理解、生成和决策等任务。与许多传统机器学习方法相比深度学习更强调让模型在训练过程中自动学习特征。以图像为例模型可以从像素中逐层提取边缘、纹理、局部形状、对象部件最终形成对整张图像的语义判断以文本为例模型可以从词语、句子和上下文中学习语义关系以视频为例模型还需要理解连续画面中的动作变化和时间结构。因此深度学习特别适合处理图像、语音、文本、视频、时间序列等复杂数据。理解深度学习的主要任务有助于把握它在人工智能系统中的基本分工。一、深度学习任务的基本划分深度学习面对的问题并不只是“分类”或“回归”。在真实应用中它通常围绕复杂数据展开例如• 识别图像中有什么对象• 判断语音中说了什么内容• 理解一句话或一段文本的含义• 预测一段序列的未来变化• 生成图片、文本、语音或视频• 将复杂数据转换为向量表示• 在环境中学习怎样行动从整体上看深度学习的主要任务可以概括为六类。图 1深度学习的主要任务分类1、感知任务从图像、语音、视频等数据中识别对象、内容、结构和变化。2、序列建模任务处理文本、语音、时间序列、视频帧等具有顺序关系的数据。3、生成任务学习数据分布并生成新的文本、图像、音频或视频。4、表示学习任务把复杂数据转换为便于计算、比较、检索和迁移的向量表示。5、多模态任务联合处理文本、图像、音频、视频等不同类型的信息。6、深度强化学习任务使用神经网络与环境交互学习更优行动策略。需要注意的是这些任务并不是完全割裂的。一个现代人工智能系统往往会同时涉及多种任务。例如大语言模型既涉及序列建模也涉及文本生成和表示学习多模态模型通常同时包含图像理解、文本理解、跨模态表示和生成能力自动驾驶系统则可能同时使用目标检测、图像分割、轨迹预测和行为决策。二、感知任务让模型识别对象、内容与结构感知任务Perception Task是深度学习最典型的应用方向之一。它主要处理图像、语音、视频等感知数据使模型能够识别其中的对象、内容、位置、结构和变化。例如• 在图片中识别猫、狗、汽车和行人• 在医学影像中识别病灶区域• 在工业场景中检测产品缺陷• 在语音中识别说话内容• 在视频中理解人物动作和事件变化感知任务的核心是把原始感知数据转换为可理解的语义结果。以图像为例一张图片在计算机中本质上是由像素组成的数组。深度学习模型要做的不是直接“看懂”图片而是通过多层网络逐步提取特征从低级视觉模式逐渐形成高级语义判断。图 2图像感知任务的一般过程在深度学习中感知任务常由卷积神经网络Convolutional Neural NetworkCNN、视觉 TransformerVision TransformerViT等模型完成。1、图像分类图像分类Image Classification是最基础的视觉任务。它的目标是判断一张图像属于哪个类别。例如• 判断一张图片是猫还是狗• 判断手写数字是 0 到 9 中的哪一个• 判断医学影像是否存在某种疾病迹象• 判断产品图片是否存在质量缺陷若用数学形式表示图像分类可以写成其中• x 表示输入图像• f 表示深度学习模型• ŷ 表示模型预测的类别y 表示真实标签任务目标是让 ŷ 尽可能接近 y。对于多分类任务模型通常会输出每个类别的概率其中• z 表示模型最后一层输出的原始分数• p̂ 表示各类别的预测概率softmax 常用于把多个分数转换为概率分布概率最大的类别通常作为最终预测结果。例如在手写数字识别任务中模型输入一张数字图片输出 0 到 9 共 10 个类别的概率概率最高的类别就是模型的判断结果。图 3图像分类任务2、目标检测目标检测Object Detection不仅要判断图像中有什么还要指出对象在哪里。例如在自动驾驶场景中模型不仅要识别“行人”“汽车”“交通灯”还要给出它们在图像中的位置。这通常通过边界框Bounding Box表示。一个目标检测结果通常包含两类信息• 类别对象是什么• 位置对象在图像中的区域其结果可以简化表示为其中• c 表示预测类别• b 表示边界框位置• ŷ 表示目标检测结果边界框常见形式为其中• x 表示边界框中心点的横坐标• y 表示边界框中心点的纵坐标• w 表示边界框宽度• h 表示边界框高度常见目标检测模型包括 R-CNN 系列、YOLO 系列、SSD 和 DETR 等。目标检测比图像分类更复杂因为它同时包含“识别”和“定位”两个目标。图 4图像分类与目标检测的区别3、图像分割图像分割Image Segmentation进一步要求模型判断图像中每个像素属于哪个类别。与目标检测相比图像分割的结果更加精细。目标检测通常用矩形框标出对象的大致位置而图像分割需要勾勒出对象的具体轮廓。常见图像分割任务包括• 语义分割Semantic Segmentation• 实例分割Instance Segmentation• 医学影像分割• 道路场景分割• 智能抠图语义分割的目标可以表示为其中• x 表示输入图像• M 表示像素级类别掩码。M 中的每个位置对应原图中一个像素的类别例如在道路场景分割中模型需要把每个像素判断为道路、天空、车辆、行人、建筑物等类别。图 5视觉感知任务的层级关系从任务粒度看图像分类最粗目标检测更精细图像分割最细。4、语音识别与视频理解除了图像任务语音识别和视频理解也是重要的感知任务。语音识别Speech Recognition的目标是把语音信号转换为文字内容可以简化表示为其中• a 表示输入语音信号• t̂ 表示模型识别出的文本• f 表示语音识别模型视频理解Video Understanding则要求模型理解连续画面中的对象、动作和事件。例如• 判断视频中正在发生什么动作• 检测视频中的异常行为• 识别体育比赛中的关键事件• 理解监控视频中的人员活动视频数据不仅包含空间信息还包含时间变化。因此视频理解通常比单张图像识别更复杂。三、序列建模任务理解有顺序关系的数据序列建模任务Sequence Modeling Task处理的是有先后顺序的数据。文本、语音、时间序列、视频帧都属于典型序列数据。例如• 一句话中的词语有前后顺序• 一段语音中的声音帧按时间排列• 股票价格、气温、电力负荷按时间变化• 视频由连续帧组成序列建模的核心是模型不仅要理解单个元素还要理解元素之间的上下文关系。一个序列可以表示为其中• x 表示完整序列• xₜ 表示第 t 个时间步或位置上的元素• T 表示序列长度序列建模的目标是根据已有序列信息完成分类、预测、生成或转换。图 6序列建模任务1、文本分类文本分类Text Classification是自然语言处理中的基础任务。它的目标是判断一段文本属于哪个类别。例如• 判断一条评论是正面还是负面• 判断一封邮件是否为垃圾邮件• 判断一篇新闻属于财经、体育还是科技• 判断用户问题属于哪个意图类别文本分类可以表示为其中• x₁,x₂,…,xₜ 表示文本中的词、字或子词• f 表示文本模型• ŷ 表示预测类别与普通分类不同文本分类需要考虑词语顺序和上下文含义。例如“不太好”和“好”只差几个字但语义明显不同。常见文本模型包括循环神经网络Recurrent Neural NetworkRNN、长短期记忆网络Long Short-Term MemoryLSTM、门控循环单元Gated Recurrent UnitGRU、Transformer 和 BERT 类预训练模型等。2、序列预测序列预测Sequence Prediction是根据已有序列预测未来内容。例如• 根据过去几天气温预测明天气温• 根据历史销量预测未来销量• 根据前面的词预测下一个词• 根据视频前几帧预测后续动作序列预测可以写成其中• x₁,x₂,…,xₜ 表示已有序列• x̂ₜ₊₁ 表示模型预测的下一个元素• f 表示序列预测模型如果预测多个未来时间步则可以写成其中• k 表示需要预测的未来步数模型需要根据历史趋势推断未来变化。在时间序列预测中深度学习模型常用于处理非线性关系、长时间依赖和多变量输入。3、机器翻译机器翻译Machine Translation是典型的序列到序列任务。它的目标是把一种语言的句子转换成另一种语言的句子。例如• 中文翻译成英文• 英文翻译成日文• 法文翻译成中文其基本形式可以写成其中• x₁,x₂,…,xₙ 表示源语言序列• y₁,y₂,…,yₘ 表示目标语言序列• n 和 m 可以不同说明输入和输出长度不一定相等图 7序列到序列任务机器翻译并不是逐词替换而是要理解上下文、语法结构和语义关系。因此它是深度学习在自然语言处理中的重要任务之一。四、生成任务让模型创造新的内容生成任务Generative Task的目标不是简单判断类别也不是只预测一个数值而是让模型生成新的数据。例如• 根据提示生成一段文字• 根据文字生成一张图片• 根据文本生成语音• 根据已有旋律生成音乐• 根据已有视频生成后续画面• 根据草图、线稿或低清图像生成新图像生成任务的核心是模型需要学习数据分布并从这种分布中生成新的样本。从数学角度看真实数据可以表示为其中• x 表示真实数据样本• p_data(x) 表示真实数据分布• x ∼ p_data(x) 表示样本 x 来自真实数据分布生成模型学习到的分布可以表示为其中• pθ(x) 表示模型学习到的数据分布• θ 表示模型参数• 目标是让 pθ(x) 尽可能接近 p_data(x)这说明生成任务的本质不是简单记忆训练样本而是学习样本背后的规律并生成符合这种规律的新内容。2、文本生成文本生成Text Generation是自然语言生成中的核心任务。它的目标是根据已有上下文生成后续文本。例如• 自动续写文章• 生成摘要• 生成问答回复• 生成代码• 生成对话内容在语言模型中文本生成通常可以表示为其中• xₜ 表示第 t 个词、字或 token• p(xₜ ∣ x₁,x₂,…,xₜ₋₁) 表示在前文条件下生成当前 token 的概率• ∏ 表示连乘• 整段文本的概率可以分解为逐步生成每个 token 的条件概率这说明文本生成通常不是一次性凭空产生整篇文本而是根据已有上下文一步一步生成后续内容。图 8文本生成的一般过程大语言模型Large Language ModelLLM就是典型的文本生成模型。它通过大规模语料训练学习语言结构、知识关联和上下文表达方式。2、图像生成图像生成Image Generation的目标是让模型生成新的图像。例如• 根据文字提示生成图片• 根据线稿生成彩色图像• 根据低清图像生成高清图像• 对旧照片进行修复和上色• 生成风格化人像、场景图或设计图图像生成可以简化表示为其中• z 表示随机噪声或潜在向量• G 表示生成模型• x̂ 表示生成图像如果是文本生成图像则可以写成其中• c 表示文本条件• z 表示随机噪声或潜在变量• G 表示条件生成模型• x̂ 表示生成图像常见图像生成模型包括生成对抗网络Generative Adversarial NetworkGAN、变分自编码器Variational AutoencoderVAE和扩散模型Diffusion Model等。在扩散模型中模型通常先向图像逐步加入噪声再学习如何从噪声中逐步恢复图像。这类方法已经成为当前图像生成的重要技术路线。3、语音、音频与视频生成语音生成Speech Generation、音频生成Audio Generation和视频生成Video Generation也是深度学习的重要生成任务。例如• 文本转语音• 语音克隆• 音乐生成• 音效生成• 视频补帧• 根据文本生成短视频文本转语音任务可以表示为其中• t 表示输入文本• â 表示生成的语音信号• f 表示文本到语音的生成模型视频生成可以简化表示为其中• z 表示随机噪声或潜在变量• c 表示文本、图像或其他条件信息• G 表示视频生成模型• v̂ 表示生成视频语音生成不仅要读出文字还要控制发音、语调、停顿、节奏和情感。视频生成则需要同时保持画面质量、对象一致性和时间连续性因此通常比静态图像生成更加复杂。五、表示学习任务把复杂数据转换为向量表示表示学习Representation Learning是深度学习的核心思想之一。它的目标是让模型自动学习数据的有效表示而不是完全依赖人工设计特征。所谓“表示”可以理解为模型内部对数据的编码方式。例如• 把一个词表示为一个向量• 把一张图像表示为一个特征向量• 把一个用户表示为一个兴趣向量• 把一段文本表示为一个语义向量• 把一段音频表示为一个声学向量表示学习的基本形式可以写成其中• x 表示原始输入• fθ 表示带参数 θ 的神经网络• h 表示模型学习到的表示向量• θ 表示模型参数这说明深度学习模型不仅会输出最终结果还会在中间层形成对数据的抽象表示。1、词向量与语义表示在自然语言处理中词向量Word Embedding是表示学习的典型例子。它把词语转换为向量使计算机可以对词语进行数学计算。例如• “苹果”可以表示为一个向量• “橘子”可以表示为另一个向量语义相近的词在向量空间中通常距离较近。词向量可以写成其中• w 表示一个词或 token• e 表示该词对应的向量• Embedding 表示嵌入层或嵌入函数如果两个词语语义接近它们的向量往往也更接近。常用的相似度计算方式是余弦相似度其中• a 和 b 表示两个向量• a · b 表示向量点积• ‖a‖ 和 ‖b‖ 表示向量长度• 结果越接近 1通常表示两个向量方向越相似2、图像表示与跨模态表示在计算机视觉中深度学习模型也会把图像转换为特征向量。例如一张人脸图像可以被编码成一个向量用于人脸识别一张商品图片可以被编码成一个向量用于相似商品检索。图像表示可以写成其中• x 表示输入图像• f_image 表示图像编码模型• h_image 表示图像表示向量在跨模态表示学习中模型还需要把图像、文本、音频等不同类型的数据映射到统一表示空间。例如其中• t 表示文本• x 表示图像• h_text 表示文本向量• h_image 表示图像向量如果文本和图像语义匹配那么它们在表示空间中的距离应当更近。图 9跨模态表示学习表示学习之所以重要是因为许多复杂任务都依赖好的表示。表示质量越高分类、检索、推荐、生成和推理往往越容易完成。3、预训练与迁移学习在深度学习中表示学习常常与预训练Pre-training和迁移学习Transfer Learning结合使用。预训练是指先让模型在大规模数据上学习通用表示再将这些表示迁移到具体任务中。迁移学习则是把一个任务中学到的知识用到另一个相关任务中。这一过程可以简化表示为其中• θ_pretrain 表示预训练阶段得到的模型参数• θ_finetune 表示在具体任务上微调后的模型参数• → 表示参数从通用任务迁移到具体任务例如一个在大规模图像数据上预训练的视觉模型可以迁移到医学影像分类、工业缺陷检测等任务中一个在大规模文本数据上预训练的语言模型可以迁移到问答、摘要、分类、翻译等任务中。这说明深度学习中的表示并不只服务于单一任务还可以成为多个任务共享的基础能力。六、多模态任务联合理解不同类型的数据多模态任务Multimodal Task是深度学习发展的重要方向。它要求模型能够同时处理文本、图像、音频、视频等不同类型的数据并在它们之间建立语义联系。例如• 根据图片回答问题• 根据文字生成图片• 根据视频内容生成摘要• 根据语音和画面理解会议内容• 根据图文信息判断商品是否匹配• 根据图片和文本进行跨模态检索多模态任务的核心是不同类型的数据虽然形式不同但可以在语义层面建立联系。图 10多模态任务的一般结构1、图文理解图文理解Vision-Language Understanding要求模型同时理解图像内容和文本问题。例如用户输入一张交通场景图片并提出问题“图中是否有人正在过马路”模型需要先识别图像中的道路、行人、车辆和交通环境再结合文本问题给出回答。图文问答可以表示为其中• q 表示文本问题• x_image 表示输入图像• a 表示模型回答• f 表示图文理解模型图文理解不是简单的“看图说话”而是要把视觉信息与语言问题结合起来。2、跨模态检索跨模态检索Cross-modal Retrieval是指用一种模态的信息去检索另一种模态的信息。例如• 输入一句文字检索相关图片• 输入一张图片检索相关文字描述• 输入一段音频检索相关视频片段跨模态检索依赖统一表示空间。可以简化表示为其中• h_text 表示文本向量• h_image 表示图像向量• sim 表示相似度函数相似度越高表示文本与图像越匹配。跨模态检索说明深度学习不仅可以处理单一类型数据还可以在不同类型数据之间建立语义桥梁。七、深度强化学习任务用神经网络学习行动策略深度强化学习Deep Reinforcement Learning是深度学习与强化学习结合形成的方向。它使用神经网络表示策略函数或价值函数使智能体能够在复杂环境中学习行动策略。普通强化学习常用于状态空间较小的问题而深度强化学习适合处理高维状态例如• 游戏画面• 机器人传感器数据• 自动驾驶环境感知信息• 连续控制任务在深度强化学习中智能体Agent通过与环境Environment交互不断尝试动作并根据奖励反馈调整策略。图 11深度强化学习交互过程1、策略学习策略Policy表示智能体在某个状态下选择动作的规则。在深度强化学习中策略可以由神经网络表示其中• s 表示当前状态• a 表示智能体选择的动作• πθ 表示由参数 θ 控制的策略网络如果动作是离散的策略也可以输出每个动作的概率其中• πθ(a ∣ s) 表示在状态 s 下选择动作 a 的概率模型训练的目标是让高价值动作获得更高概率。例如在游戏智能体中输入可以是当前游戏画面输出可以是向上、向下、向左、向右、攻击、跳跃等动作的概率。2、价值学习价值函数Value Function用于评估某个状态或某个动作在长期来看是否有利。状态价值函数可以写成其中• V(s) 表示状态 s 的长期价值价值越高说明从该状态出发越可能获得较高累积奖励。动作价值函数可以写成其中• Q(s,a) 表示在状态 s 下执行动作 a 的长期价值它不仅评价当前状态也评价具体动作。在深度 Q 网络Deep Q-NetworkDQN中Q 函数由神经网络近似其中• θ 表示神经网络参数• 模型输入状态 s输出不同动作的价值估计• 智能体通常选择 Q 值较高的动作深度强化学习的核心难点在于模型不仅要识别环境状态还要在长期奖励、探索与利用之间做权衡。八、深度学习任务之间的区别与联系深度学习任务虽然形式多样但并不是彼此孤立的。图 12深度学习任务之间的关系感知任务强调从复杂输入中识别对象和结构例如图像分类、目标检测、图像分割、语音识别和视频理解。序列建模任务强调处理有顺序关系的数据例如文本分类、机器翻译、语音识别和时间序列预测。生成任务强调学习数据分布并创造新的内容例如文本生成、图像生成、语音生成、音乐生成和视频生成。表示学习任务强调学习数据的内部表示。它往往不是最终应用本身而是支撑分类、检索、推荐、生成和推理的基础能力。多模态任务强调联合处理不同类型的数据使模型能够在文本、图像、音频和视频之间建立联系。深度强化学习任务强调在交互过程中学习行动策略。它不只是“看懂数据”还要根据环境反馈决定“怎样行动”。如果用更直观的话概括• 感知任务回答“看到了什么、听到了什么”• 序列建模任务回答“前后关系是什么、接下来会怎样”• 生成任务回答“能否创造新的内容”• 表示学习任务回答“如何把复杂数据变成可计算的表示”• 多模态任务回答“如何联合理解不同类型的信息”• 深度强化学习任务回答“在环境中应该怎样行动”从技术角度看很多现代系统并不会只使用一种任务。例如自动驾驶系统可能同时使用目标检测、图像分割、轨迹预测和强化学习大语言模型既涉及序列建模也涉及生成任务和表示学习多模态模型则同时处理文本、图像、音频和视频。因此理解深度学习的主要任务不只是记住若干任务名称更重要的是理解深度学习如何围绕数据表示、模式识别、内容生成、多模态理解和行为决策构建完整的智能系统。 小结深度学习的主要任务包括感知、序列建模、生成、表示学习、多模态理解和深度强化学习。它通过多层神经网络学习复杂数据表示既能识别内容、理解序列也能生成数据、连接多种模态并支持智能决策。“点赞有美意赞赏是鼓励”
