本文深入浅出地介绍了对比学习如何驱动现代人工智能的发展从传统的基于固定类别的视觉训练范式到对比学习如何通过学习关系而非标签进行更智能的识别。文章详细解释了对比学习的具体工作原理包括图像和文本编码器、投影头、推拉动态等概念并探讨了其在零样本学习、组合泛化能力等方面的优势。此外文章还分析了对比学习的局限性如难以处理细粒度细节、偏见放大等问题并展望了其在多模态领域的应用前景。通过对比学习AI模型能够更好地理解视觉和语言之间的关系为构建更通用、更灵活的AI系统铺平了道路。引言当你第一次使用视觉语言模型Visual Language Models, VLMs时它们简直像魔法一样。你上传一张特定汽车零件或某种稀有热带水果的照片用普通的英文问一句“这是什么”它就能立刻给出答案——毫不犹豫也不会弹出“不支持此类别”的错误提示。但说实话这种看似智能的表现背后其实是一个相当简洁的核心理念。它并非通过像素级记忆来识别物体而是通过对比来学习。它理解的是事物之间的关系而非僵化的定义这个理念就是对比学习它正是驱动现代人工智能的真正引擎。若想理解我们如何从只能识别1000种物体的“笨拙”图像分类器进化到能探讨抽象艺术的GPT-4o等智能模型就必须读懂这场变革。旧范式基于固定类别的视觉训练在过去比如2018年这在AI领域堪称远古时期传统的计算机视觉模型以一种极为受限的方式学习。这基本上就像是为计算机准备的单项选择题测试只不过计算机永远无法跳过问题或回答“我不知道”。你输入一张图片它就会输出一个标签。猫狗汽车椅子该模型对世界的全部理解都被限制在这些预定义的类别中这些类别通常来自像包含大约1000个标签的ImageNet这样的数据集。可以把它想象成一个恰好有1000个插槽的邮件分拣机每个插槽都在出厂时被编号和贴好标签。如果你寄出一个“鸭嘴兽”但分拣机只有“海狸”和“鸭子”的插槽机器就会不知所措。它会选择看起来最接近的那个即使两者都完全不正确。这种方法在处理特定、狭窄的任务时效果尚可比如在自动驾驶中识别停车标志等。如果你的问题恰好符合那些预定义的类别大家甚至可以获得95%以上的准确率。但它无法扩展到现实世界。现实世界是杂乱无章、无限且不断演变的。你不可能为存在的每一个物体、场景、概念、风格或变体都列出其类别清单。那么“一个涂满涂鸦的生锈停车标志”呢一幅“罗斯科风格的抽象表现主义画作”呢或者一个“显示困惑的猫看着沙拉的迷因”呢旧范式之所以失效是因为世界本身就没有固定的标签。而且人类当然也不是以这种方式来体验视觉的。当你看到新事物时你不会因为它在你的心理目录中不存在而认知失败。你会描述它将它与你已知的事物进行比较并通过上下文来理解它。旧的模型根本无法将鸭嘴兽识别为鸭嘴兽因为它根本没有为它设置相应的插槽。转变学习关系而非标签对比学习彻底颠覆了问题本身这种方法事后看来似乎显而易见但在当时却是革命性的。它不再问“这张图片属于哪个标签”而是让模型思考“哪段文本描述与这张图片最匹配”同样重要的是它还会问“哪些文本与这张图片不匹配”它将学习过程变成了一场“找不同”或“配配对”的游戏而不是死记硬背。模型会观察一张图片和一堆文本片段然后试图弄清楚哪些是天然匹配的哪些则不匹配。这之所以至关重要是因为它模仿了人类作为儿童时实际学习语言和视觉概念的方式。你并不是在记忆一个查询表。你是在看着狗的时候反复听到“那是一只狗”在不同情境下大狗、小狗、奔跑的狗、睡觉的狗听到数十次然后你的大脑通过与“不是狗”的事物进行对比学习到了模式即“狗”的本质。这里的洞见非常深刻意义源于关系而非定义。狗之所以是狗并非因为它带有某种内在的“狗身份标签”而是因为它与其他狗的相似度要高于它与猫、马或自行车的相似度。语言也是如此。“狗”这个词的意义源于它如何使用得与“猫”、“小狗”、“狼”等词语不同。对比学习在大规模层面上实现了这一洞见。具体工作原理大家无需了解复杂的数学原理也能理解其核心思想不过我们稍后还是会稍微深入探讨一下。现在不妨把它想象成磁铁的作用。从高层抽象来看像CLIP对比语言-图像预训练这样的模型使用了两个编码器图像编码器将图片转换成一串数字一个向量。可以把它看作是图像的512维或1024维。文本编码器将文本转换成位于同一维度空间中的一串数字。为什么需要两个独立的编码器这两个编码器之所以从不同的架构开始是因为图像和文本本质上是不同的数据类型。视觉处理通常使用针对二维结构调整的卷积网络或Transformer处理按网格排列的像素。而文本处理则使用为序列化词元构建的Transformer模型按顺序处理词语。但关键在于它们最终会投射到同一个共享空间中这使得比较成为可能。训练过程迫使这两种截然不同的数据类型使用同一种数学语言。这就好比让一位西班牙语使用者和一位普通话使用者都通过学习一种通用的中间语言来进行沟通。“维度”到底意味着什么当我们说“512维向量”时这意味着什么每一个维度都捕捉了图像或文本的某个学习到的特征。有些维度可能大致对应我们能够识别的概念——比如“毛茸茸的程度”、“金属感的程度”或“户外的程度”——但大多数维度代表了我们难以命名的抽象模式。这些维度是模型通过训练自行发现的。可以把它们想象成512种衡量和描述图像或文本内容的不同方式。投影头最后的转换层在编码器创建了它们的初始表示之后这些向量会经过一个额外的小型神经网络称为“投影头”。这最后一层将表示映射到实际发生比较的共享嵌入空间中。可以把它想象成一个翻译器确保两种模态最终使用完全相同的“方言”拥有相同的词汇和语法规则。图像编码器可能自然地产生强调视觉纹理和颜色的向量而文本编码器可能强调词语之间的语义关系。投影头则将它们重新塑造成一种可以直接进行有意义的比较的通用格式。魔力在训练中发生模型选取一张图像比如一张金毛幼犬在草地上奔跑的照片并将其与正确的标题配对“一只在草地上奔跑的幼犬”。这是一个正样本对。训练目标简单而强大将这些向量拉近。就像磁铁的南北极相互吸引一样模型调整其内部参数使得图像的数值表示与文本的数值表示变得更加相似。与此同时它看着这张幼犬照片并将其与批次中其他图像的随机标题如“一堆砖头”、“一碗沙拉”、“一枚发射入空的火箭”进行比较。这些是负样本对。模型将这些向量推远就像两个北极相互排斥一样。你希望不匹配的事物之间的距离最大化。批处理如何创造规模化这就是其效率变得显著的地方。在一个比如包含32,768张图像及其对应标题的训练批次中你会自动获得32,768个正样本对每张图像与其正确的标题。但同时你也会获得32,768 × (32,767) 超过10亿个负样本对——批次中的每张图像都与所有其他标题进行比较。这种海量的比较是并行发生的这就是为什么现代对比学习需要强大的计算能力但扩展效率却如此之高。模型并不是在进行数十亿个独立的训练步骤。它只处理一个批次而在这个批次中数十亿次比较会同时影响学习过程。迭代式的精细化过程这不是一次性的比较。模型在每个批次后会按照减少损失的梯度方向对数百万个内部权重进行微调。损失是衡量当前预测错误程度的数学指标。经过数千个批次和数十亿个示例的处理后一个非凡的事物涌现出来一个共享的嵌入空间。这是一个图像和语言能够共存的数学领域。在这个空间里一张金毛猎犬的照片最终会出现在短语“一只在外玩耍的狗”旁边。这个簇附近还有“小狗”、“寻回犬”、“宠物”等概念。它距离“跑车”、“摩天大楼”或“量子物理”则非常遥远。模型并不是在死记硬背。它是在通过纯粹的对比构建一幅意义的语义空间。数学原理如果你好奇其内部机制这里有一个简化的版本。其核心函数被称为对比损失通常特指InfoNCE损失。不用纠结这个名字。它的作用如下对于批次中的每张图像模型会使用一种相似度度量方法通常是余弦相似度它衡量的是两个向量之间的夹角来计算该图像与每一个文本描述的相似程度。为什么偏偏用余弦相似度余弦相似度测量的是向量之间的角度而忽略它们的长度模长。这之所以重要是因为我们关心的是嵌入空间中的方向而不是绝对大小。想象两个向量指向不同方向的箭头。如果它们指向相同方向就表示相似余弦相似度为1。如果指向相反方向则表示不相似余弦相似度为-1。如果它们互相垂直则表示不相关余弦相似度为0。这种归一化处理至关重要。这意味着模型不会被诸如图像亮度可能使所有像素值变大或文本长度可能使文本向量变长等无关因素所迷惑。我们只关心语义方向。推拉动态模型希望正确的图像-文本对具有高相似度而所有不正确的配对具有低相似度。每当一个正确配对的相似度不够高或者一个错误配对的相似度太高时损失函数就会惩罚模型。这就产生了一种推拉动态。在训练过程中模型不断进行调整以最大化匹配对与非匹配对之间的差距。它正在学习判别性特征。是什么让狗明确地成为狗不仅是在一般意义上而且是特别地通过与“非狗”事物进行对比来体现的。双向对称性对比损失是对称的——它既将图像拉向文本也将文本拉向图像。这种双向性至关重要。这意味着你之后可以在任一方向进行搜索寻找与文本匹配的图像或者寻找与图像匹配的文本。这种对称性正是逆向图像搜索、视觉问答和文本到图像检索等功能的基础。这种关系是双向的。温度参数控制置信度还有一个显著影响学习过程的调节旋钮温度参数论文中通常记为 τ。模型使用这个“温度”设置来控制它需要达到的置信度。低温度意味着模型被迫做出尖锐的区分——正确配对必须比错误配对相似得多。模型会变得非常果断其判断几乎是黑白分明的。高温度则更为宽容允许存在较模糊的边界。模型可以更加不确定接受某些错误配对可能与正确配对有一定程度的相似性。这在训练初期当模型仍在摸索时很有用。这个看似不起眼的旋钮对模型的学习内容有着巨大影响。温度过低模型可能会过度关注细微细节。温度过高它学习到的表示可能过于粗略从而错过重要的区分点。排序的力量这与传统的监督学习不同之处在于你并不是在教模型一个单一的“正确答案”。你是在教它如何对选项进行排序。对于给定的图像它更像“日落时分的海滩”还是更像“拥挤的地铁车厢”模型通过数百万次这样的比较判断来学习。这种排序方法出奇地稳健。即使标题并非完美比如一张严格来说是狼的图片标题却写着“一只狗”模型仍然能学到有用的东西因为“一只狗”远比“一架直升机”要正确得多。困难负样本具有挑战性的比较并非所有负样本对对于学习都具有同等的价值。“一只小狗”与“一艘火箭”的区别很容易——容易到无法提供有效信息。模型从困难负样本中学到的东西更多例如“一只小狗” vs. “一只小猫” 或 “一只狼崽”。这些具有挑战性的比较迫使模型学习细粒度的差异。除了都是年幼的毛茸茸动物之外究竟是什么让一只小狗不同于一只小猫先进的实现方法会在训练过程中主动挖掘这些困难负样本特意找出最易混淆的例子来展示给模型。这就像为考试而学习。你从那些明显错误的题目中学不到太多东西。你从那些需要仔细思考的棘手题目中学习。打破“封闭世界”的桎梏这里有一个容易被忽略的哲学层面的重要性传统的视觉模型生活在一个封闭的世界里。它们的运作基于一个假设即每一个可能的输入都能被归入某个预定义的类别。这在人工智能中被称为“封闭世界假设”。但现实世界是一个开放的世界。新事物层出不穷新的网络俚语、新的时尚潮流、新的迷因、新的产品、新的艺术风格。一个在2020年基于固定标签训练的模型对于此后出现的任何事物都将完全无法识别。对比学习正是解锁“开放词汇识别”能力的关键。你可以构建一个拥有数十亿参数的历史上最大的视觉模型但如果没有这种与语言的对比对齐它仍然被困在笼子里。它只能看到被明确教导过的事物。通过对比学习模型能够识别出从未见过明确标签的事物因为它已经学习了视觉和语言两者更深层的组合结构。它知道“毛茸茸的”看起来像什么。它也知道“猫”看起来像什么。因此即使它在训练过程中从未见过“毛茸茸的猫”这个确切的短语它也能通过组合这些概念来推断出它应该是什么样子。这就是死记硬背与理解之间的区别。或者至少是向理解迈进了一步。零样本学习这正是对比学习从“有趣的技术”转变为“改变一切的力量”的关键所在。零样本学习意味着模型能够执行一项它从未被明确训练过的任务。无需微调无需标注数据集仅凭从其学习到的表示中进行纯粹推理。假设你想为维修店的质量控制构建一个“iPhone屏幕破裂”检测器。传统方法你需要收集5000多张屏幕破裂的照片。雇人手动标注。训练一个定制模型既昂贵又耗时。寄希望于你的模型能泛化到未见过的破裂模式。当它在边缘案例上失败时才意识到需要更多数据。然后重复整个过程。对比学习方法向VLM输入一张图片。给它两个文本提示“一张完好无损的手机屏幕照片”和“一张屏幕破裂的手机照片”。模型会检查其内部的嵌入空间。这张图像的向量更接近“完好无损”的文本向量还是更接近“破裂”的文本向量判断完成。瞧你立刻就拥有了一个功能完备的分类器。无需新的标签无需训练时间无需让GPU连续运行数天。仅仅是比较而已。这种方法适用于任何你能用语言描述的事物“一张假冒产品的照片”对比“一张正品的照片”“一张显示肿瘤的医学扫描图”对比“一张健康的扫描图”尽管你可能需要验证“一幅文艺复兴时期的画作”对比“一幅印象派画作”“一个基本停满的停车场”对比“一个基本空着的停车场”其影响是巨大的。你可以用几分钟就快速构建出新的应用而这在旧式的监督学习模式下可能需要数月时间。这就是VLM在各行各业的应用呈爆炸式增长的原因。实现规模化这项技术之所以能主导现代人工智能领域还有一个现实原因数据极其丰富。旧模型需要人工辛苦地标注数据在物体周围绘制边界框一张一张地给图片打标签进行分类、贴标签、质检。这个过程成本高昂需要众包工人或专业标注员、速度缓慢受限于人类瓶颈、容易出错标注工作主观且枯燥并且无法规模化你不可能把整个互联网都标注完。但对比学习直接利用互联网本身来运行。网上有数十亿带有标题、替代文本、标题或上下文信息的图像。它们并不完美很多嘈杂、模糊不清甚至完全是错的。例如“IMG_4847.jpg”就不是一个好标题。但它们数量庞大。关键洞察对噪声的容忍度由于学习是基于相对性的因此模型对噪声的容忍度非常高。标题不必是完美的诗句甚至不需要100%准确。它只需要比随机的一句话更匹配图像就行。当你在数以百万计的样本上同时训练时只要噪声是随机且无偏的它们就会在统计上相互平均抵消。正确的模式通过重复得到加强而随机的错误则会在统计上抵消。然而有一个重要的警告系统性偏差不会平均抵消。如果大多数医生的图像都显示男性而大多数护士的图像都显示女性互联网上的情况确实如此那么这种偏差就会累积而不是抵消。模型会把这种偏差当作真理来学习。我们将在后面的局限性部分回到这个问题。数据增强学习不变性模型还会看到同一图像的不同增强版本——裁剪、颜色偏移、旋转、模糊、对比度变化。这教会它关注语义内容而不是肤浅的细节。无论照片是亮是暗、是居中还是裁剪、是从上还是从侧面拍摄狗仍然是狗。这种增强策略对于泛化能力至关重要。没有它模型可能会认为“海滩”总是意味着阳光明媚的照片从而无法识别阴天里的海滩。互联网作为训练场这使得公司能够利用从网络上抓取的海量、杂乱的数集据进行训练。这些数据集足以让传统的监督模型彻底崩溃。CLIP就是在互联网上的4亿个图像-文本对上训练出来的。你永远无法手工标注那么多图像。但你可以利用网络上现有的结构。互联网就成了你的训练集。全人类集体加注标题的努力每条Instagram帖子、每张维基百科图片、每个产品描述都变成了机器学习燃料。组合泛化能力让我们深入探讨一个微妙但至关重要的问题组合泛化能力。人类的语言是具有组合性的。即使我们从未见过“蓝色的车”这两个词确切地组合在一起我们也能理解它因为我们分别知道“蓝色的”和“车”的含义。即使我们可能从未亲眼见过“一只戴着太阳镜、踩着滑板的狗”这个场景我们也能解析出这句话的意思。对比学习赋予了模型这种超能力的初级版本。由于模型在一个共享空间中学习了视觉特征和文本特征它能够以新颖的方式组合概念。如果它学会了“红色”的样子来自“红苹果”、“红色汽车”、“红色夕阳”并且知道了“卡车”的样子来自“送货车”、“皮卡”、“消防车”那么即使它在训练过程中从未见过“红色卡车”这个确切的短语它也能推断出“红色卡车”应该是什么样子。几何特性嵌入空间具有令人惊讶的几何特性。概念会聚集在一起。有动物的“区域”、车辆的“区域”、情感的“区域”。相似的概念最终会彼此靠近并非因为有人这样编程而是因为它们在训练过程中出现在相似的语境中。有时向量运算甚至能生效“狗”的向量减去“小狗”的向量再加上“猫”的向量结果可能落在“小猫”附近。“小狗之于狗如同小猫之于猫”这种关系会在几何结构中自然涌现。这并非绝对保证——该空间并非完美的线性——但这些规律性确实从纯粹的对比中浮现出来这非常了不起。想象一下嵌入空间的二维投影狗的照片聚集在一个区域猫的照片在其附近车辆的照片在完全不同的另一个区域而风景照片又在另一个区域。文本描述也存在于这些相同的区域。“一只快乐的狗”就位于狗群聚集的区域。“一辆红色跑车”则位于车辆区域。这种空间组织结构编码了语义的相似性。不仅仅是死记硬背这与死记硬背不同。模型并非从数据库中检索“红色卡车”。它通过在嵌入空间中导航计算找到“红色属性”和“卡车属性”的交集来得出结果。这种组合能力并非完美稍后会详述其局限性但正是它让这些模型感觉“聪明”而不仅仅是巨大的查找表。它们能够处理组合爆炸问题。仅凭1000个视觉概念和1000个描述性词语理论上就能组合出数百万个有意义的组合。现实世界的影响让我们来谈谈影响因为这不仅仅是学术界的空谈。对比学习从根本上改变了生产级AI系统的能力范围。内容审核像Meta和谷歌这样的公司利用VLM来检测违反政策的内容而无需手动定义每一种违规情况。他们不再需要为“仇恨符号”、“暴力画面”、“自残内容”等分别训练模型而是可以用文本描述概念让模型进行匹配。无障碍功能为视障用户生成替代文本的能力得到了显著提升。VLM不再生成像“户外场景”这样笼统的标签而是能够生成描述性的文字例如“日落时分一个穿着红色夹克的人站在山巅远眺”。电商搜索现在你可以用自然语言搜索产品目录如“100美元以下的舒适跑鞋”甚至上传照片进行搜索如“找类似款但要蓝色的”。传统的搜索需要精确的关键词匹配或手动打标签。医学影像放射科医生可以用他们正在寻找的描述来查询图像数据库即使没有明确的诊断标签模型也能调出相关的病例。创意工具像Photoshop这样的设计软件利用VLM实现了基于文本的选择功能例如“选择这张图片中的所有植物”而无需手动抠图。制造质量控制工厂使用VLM检测缺陷时只需简单描述缺陷的样子而无需为每一种可能的故障模式收集数千个带标签的示例。野生动物保护研究人员可以使用文本描述来搜索相机陷阱拍摄的特定动物行为或稀有物种的影像极大地加速了生态学研究。所有这些应用都有一个共同点灵活性。模型通过语言来适应你的需求而不是为每个用例都耗费数月进行定制训练。更广阔的多模态愿景同样的原理不仅限于视觉和语言。现代模型利用对比学习来对齐音频、视频、3D形状、传感器数据、蛋白质结构——任何可以数值编码的模态。想象一下你可以要求“找一些某人听起来很沮丧的视频片段”模型就能搜索音频。或者“展示与这个椅子设计相似的3D模型”它就能理解形状。其愿景是构建一个通用嵌入空间任何类型的数据都可以相互比较所有数据都可以通过自然语言进行搜索和组合。我们尚未完全实现这一目标但对比学习已经铺平了道路。局限性分析让我们坦诚地谈谈局限性因为理解对比学习做不到什么与理解它能做什么同样重要。难以处理细粒度细节由于模型是从网络规模的标题中学习的它关注的是整体的“调性”或主要对象。人们不会用精确的细节来给图片加标题。你得到的是“树枝上的一只鸟”而不是“一只栖息在橡树枝上的雄性幼年家麻雀”。这意味着计数出奇地困难。“这个碗里有多少个苹果”常常得到错误的答案。模型学习了“苹果”这个概念但没有通过图像-文本配对学会数数。标题很少会明确说明具体的数量。空间关系也很棘手。“杯子在勺子的左边还是右边”可能会让模型感到困惑。标题很少指定精确的空间布局。它们会说“桌子上的一个杯子和一把勺子”但不会说“勺子左边的一个杯子”。细微的区分会失败。区分相似的鸟类或狗的品种需要细粒度的视觉特征而这些特征在粗粒度的对比学习目标中被模糊化了。模型非常了解“鸟”但要区分“家麻雀”和“歌带鹀”则困难得多。一些结合了空间区域注意力机制的新架构在这方面有所改进但这仍然是一个挑战。关联不等于理解模型知道“宇航员”和“马”在视觉上是相关的因为它在训练期间看到了科幻艺术。但它并不真正理解为什么马实际上不能在太空中生存的物理学原理。这是模式匹配而非推理。同样它可能会将“海滩”与“阳光”联系起来因为网上大多数海滩照片都显示晴天但它可能无法识别出雾天的海滩仍然是海滩。偏见放大由于训练数据来自互联网互联网上所有的偏见也会随之而来。刻板印象医生是男性护士是女性CEO是年长的白人男性等被植入了嵌入空间。这一点尤其有害因为这些偏见并非被明确编程进去的——它们是从训练数据的统计模式中浮现出来的。模型学习互联网展示给它的东西而互联网反映了历史上和持续存在的社会偏见。解决这个问题需要精心的数据集筛选、去偏技术并承认“从互联网学习”意味着在获取知识的同时也继承了它的缺陷。图像中的文字具有讽刺意味的是以这种方式训练的模型可能难以处理图像中实际出现的文本。一张“STOP”标志的照片可能不会像识别其红色八边形形状那样强烈地识别出“STOP”这个文字因为模型学习的是图像和标题之间的视觉-语言对齐而不是OCR光学字符识别。图像编码器将字母视为视觉模式而非语言符号。要真正“阅读”图像中的文本你需要针对该任务进行额外的训练。损失函数的盲点对比学习优化的是相似度匹配。如果两个非常不同的图像同样好地匹配同一个模糊的标题模型可能无法学会区分它们。这可能导致模式坍缩模型学习了过于通用的表示或特征忽略某些视觉属性被忽视。例如如果大多数标题只写“一个人”而不提及年龄、种族或服装那么模型可能无法强烈地学习对这些属性进行编码尽管它们在视觉上是存在的。总结无论你是初学者、实践者还是只是想了解AI发展方向的普通人以下是你需要记住的视觉语言模型之所以令人印象深刻并不是因为它们比旧模型“看得更清楚”。事实上有时它们在原始像素级别的视觉能力技术上还不如为特定任务训练的专业分类器。它们令人印象深刻是因为它们能更好地进行比较。它们能将事物的外观与词语的含义联系起来。这个区别至关重要。它意味着AI的未来不在于构建更大的孤立模型而在于构建能够通过共享表示连接不同模态的模型。语言成为通用的桥梁。它不仅仅是一个附加功能而是使视觉模型变得有用、灵活和通用的核心推动力。我们正在从脆弱的、任务特定的AI转向流畅的、与任务无关的、可以用语言引导的AI。你无需为了识别一个新的对象类别而重新训练模型只需描述它即可。模型会在它已经学习到的嵌入空间中找到它如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
对比学习：开启大模型魔法之旅，小白程序员也能轻松掌握！收藏必备！
发布时间：2026/7/26 19:22:06
本文深入浅出地介绍了对比学习如何驱动现代人工智能的发展从传统的基于固定类别的视觉训练范式到对比学习如何通过学习关系而非标签进行更智能的识别。文章详细解释了对比学习的具体工作原理包括图像和文本编码器、投影头、推拉动态等概念并探讨了其在零样本学习、组合泛化能力等方面的优势。此外文章还分析了对比学习的局限性如难以处理细粒度细节、偏见放大等问题并展望了其在多模态领域的应用前景。通过对比学习AI模型能够更好地理解视觉和语言之间的关系为构建更通用、更灵活的AI系统铺平了道路。引言当你第一次使用视觉语言模型Visual Language Models, VLMs时它们简直像魔法一样。你上传一张特定汽车零件或某种稀有热带水果的照片用普通的英文问一句“这是什么”它就能立刻给出答案——毫不犹豫也不会弹出“不支持此类别”的错误提示。但说实话这种看似智能的表现背后其实是一个相当简洁的核心理念。它并非通过像素级记忆来识别物体而是通过对比来学习。它理解的是事物之间的关系而非僵化的定义这个理念就是对比学习它正是驱动现代人工智能的真正引擎。若想理解我们如何从只能识别1000种物体的“笨拙”图像分类器进化到能探讨抽象艺术的GPT-4o等智能模型就必须读懂这场变革。旧范式基于固定类别的视觉训练在过去比如2018年这在AI领域堪称远古时期传统的计算机视觉模型以一种极为受限的方式学习。这基本上就像是为计算机准备的单项选择题测试只不过计算机永远无法跳过问题或回答“我不知道”。你输入一张图片它就会输出一个标签。猫狗汽车椅子该模型对世界的全部理解都被限制在这些预定义的类别中这些类别通常来自像包含大约1000个标签的ImageNet这样的数据集。可以把它想象成一个恰好有1000个插槽的邮件分拣机每个插槽都在出厂时被编号和贴好标签。如果你寄出一个“鸭嘴兽”但分拣机只有“海狸”和“鸭子”的插槽机器就会不知所措。它会选择看起来最接近的那个即使两者都完全不正确。这种方法在处理特定、狭窄的任务时效果尚可比如在自动驾驶中识别停车标志等。如果你的问题恰好符合那些预定义的类别大家甚至可以获得95%以上的准确率。但它无法扩展到现实世界。现实世界是杂乱无章、无限且不断演变的。你不可能为存在的每一个物体、场景、概念、风格或变体都列出其类别清单。那么“一个涂满涂鸦的生锈停车标志”呢一幅“罗斯科风格的抽象表现主义画作”呢或者一个“显示困惑的猫看着沙拉的迷因”呢旧范式之所以失效是因为世界本身就没有固定的标签。而且人类当然也不是以这种方式来体验视觉的。当你看到新事物时你不会因为它在你的心理目录中不存在而认知失败。你会描述它将它与你已知的事物进行比较并通过上下文来理解它。旧的模型根本无法将鸭嘴兽识别为鸭嘴兽因为它根本没有为它设置相应的插槽。转变学习关系而非标签对比学习彻底颠覆了问题本身这种方法事后看来似乎显而易见但在当时却是革命性的。它不再问“这张图片属于哪个标签”而是让模型思考“哪段文本描述与这张图片最匹配”同样重要的是它还会问“哪些文本与这张图片不匹配”它将学习过程变成了一场“找不同”或“配配对”的游戏而不是死记硬背。模型会观察一张图片和一堆文本片段然后试图弄清楚哪些是天然匹配的哪些则不匹配。这之所以至关重要是因为它模仿了人类作为儿童时实际学习语言和视觉概念的方式。你并不是在记忆一个查询表。你是在看着狗的时候反复听到“那是一只狗”在不同情境下大狗、小狗、奔跑的狗、睡觉的狗听到数十次然后你的大脑通过与“不是狗”的事物进行对比学习到了模式即“狗”的本质。这里的洞见非常深刻意义源于关系而非定义。狗之所以是狗并非因为它带有某种内在的“狗身份标签”而是因为它与其他狗的相似度要高于它与猫、马或自行车的相似度。语言也是如此。“狗”这个词的意义源于它如何使用得与“猫”、“小狗”、“狼”等词语不同。对比学习在大规模层面上实现了这一洞见。具体工作原理大家无需了解复杂的数学原理也能理解其核心思想不过我们稍后还是会稍微深入探讨一下。现在不妨把它想象成磁铁的作用。从高层抽象来看像CLIP对比语言-图像预训练这样的模型使用了两个编码器图像编码器将图片转换成一串数字一个向量。可以把它看作是图像的512维或1024维。文本编码器将文本转换成位于同一维度空间中的一串数字。为什么需要两个独立的编码器这两个编码器之所以从不同的架构开始是因为图像和文本本质上是不同的数据类型。视觉处理通常使用针对二维结构调整的卷积网络或Transformer处理按网格排列的像素。而文本处理则使用为序列化词元构建的Transformer模型按顺序处理词语。但关键在于它们最终会投射到同一个共享空间中这使得比较成为可能。训练过程迫使这两种截然不同的数据类型使用同一种数学语言。这就好比让一位西班牙语使用者和一位普通话使用者都通过学习一种通用的中间语言来进行沟通。“维度”到底意味着什么当我们说“512维向量”时这意味着什么每一个维度都捕捉了图像或文本的某个学习到的特征。有些维度可能大致对应我们能够识别的概念——比如“毛茸茸的程度”、“金属感的程度”或“户外的程度”——但大多数维度代表了我们难以命名的抽象模式。这些维度是模型通过训练自行发现的。可以把它们想象成512种衡量和描述图像或文本内容的不同方式。投影头最后的转换层在编码器创建了它们的初始表示之后这些向量会经过一个额外的小型神经网络称为“投影头”。这最后一层将表示映射到实际发生比较的共享嵌入空间中。可以把它想象成一个翻译器确保两种模态最终使用完全相同的“方言”拥有相同的词汇和语法规则。图像编码器可能自然地产生强调视觉纹理和颜色的向量而文本编码器可能强调词语之间的语义关系。投影头则将它们重新塑造成一种可以直接进行有意义的比较的通用格式。魔力在训练中发生模型选取一张图像比如一张金毛幼犬在草地上奔跑的照片并将其与正确的标题配对“一只在草地上奔跑的幼犬”。这是一个正样本对。训练目标简单而强大将这些向量拉近。就像磁铁的南北极相互吸引一样模型调整其内部参数使得图像的数值表示与文本的数值表示变得更加相似。与此同时它看着这张幼犬照片并将其与批次中其他图像的随机标题如“一堆砖头”、“一碗沙拉”、“一枚发射入空的火箭”进行比较。这些是负样本对。模型将这些向量推远就像两个北极相互排斥一样。你希望不匹配的事物之间的距离最大化。批处理如何创造规模化这就是其效率变得显著的地方。在一个比如包含32,768张图像及其对应标题的训练批次中你会自动获得32,768个正样本对每张图像与其正确的标题。但同时你也会获得32,768 × (32,767) 超过10亿个负样本对——批次中的每张图像都与所有其他标题进行比较。这种海量的比较是并行发生的这就是为什么现代对比学习需要强大的计算能力但扩展效率却如此之高。模型并不是在进行数十亿个独立的训练步骤。它只处理一个批次而在这个批次中数十亿次比较会同时影响学习过程。迭代式的精细化过程这不是一次性的比较。模型在每个批次后会按照减少损失的梯度方向对数百万个内部权重进行微调。损失是衡量当前预测错误程度的数学指标。经过数千个批次和数十亿个示例的处理后一个非凡的事物涌现出来一个共享的嵌入空间。这是一个图像和语言能够共存的数学领域。在这个空间里一张金毛猎犬的照片最终会出现在短语“一只在外玩耍的狗”旁边。这个簇附近还有“小狗”、“寻回犬”、“宠物”等概念。它距离“跑车”、“摩天大楼”或“量子物理”则非常遥远。模型并不是在死记硬背。它是在通过纯粹的对比构建一幅意义的语义空间。数学原理如果你好奇其内部机制这里有一个简化的版本。其核心函数被称为对比损失通常特指InfoNCE损失。不用纠结这个名字。它的作用如下对于批次中的每张图像模型会使用一种相似度度量方法通常是余弦相似度它衡量的是两个向量之间的夹角来计算该图像与每一个文本描述的相似程度。为什么偏偏用余弦相似度余弦相似度测量的是向量之间的角度而忽略它们的长度模长。这之所以重要是因为我们关心的是嵌入空间中的方向而不是绝对大小。想象两个向量指向不同方向的箭头。如果它们指向相同方向就表示相似余弦相似度为1。如果指向相反方向则表示不相似余弦相似度为-1。如果它们互相垂直则表示不相关余弦相似度为0。这种归一化处理至关重要。这意味着模型不会被诸如图像亮度可能使所有像素值变大或文本长度可能使文本向量变长等无关因素所迷惑。我们只关心语义方向。推拉动态模型希望正确的图像-文本对具有高相似度而所有不正确的配对具有低相似度。每当一个正确配对的相似度不够高或者一个错误配对的相似度太高时损失函数就会惩罚模型。这就产生了一种推拉动态。在训练过程中模型不断进行调整以最大化匹配对与非匹配对之间的差距。它正在学习判别性特征。是什么让狗明确地成为狗不仅是在一般意义上而且是特别地通过与“非狗”事物进行对比来体现的。双向对称性对比损失是对称的——它既将图像拉向文本也将文本拉向图像。这种双向性至关重要。这意味着你之后可以在任一方向进行搜索寻找与文本匹配的图像或者寻找与图像匹配的文本。这种对称性正是逆向图像搜索、视觉问答和文本到图像检索等功能的基础。这种关系是双向的。温度参数控制置信度还有一个显著影响学习过程的调节旋钮温度参数论文中通常记为 τ。模型使用这个“温度”设置来控制它需要达到的置信度。低温度意味着模型被迫做出尖锐的区分——正确配对必须比错误配对相似得多。模型会变得非常果断其判断几乎是黑白分明的。高温度则更为宽容允许存在较模糊的边界。模型可以更加不确定接受某些错误配对可能与正确配对有一定程度的相似性。这在训练初期当模型仍在摸索时很有用。这个看似不起眼的旋钮对模型的学习内容有着巨大影响。温度过低模型可能会过度关注细微细节。温度过高它学习到的表示可能过于粗略从而错过重要的区分点。排序的力量这与传统的监督学习不同之处在于你并不是在教模型一个单一的“正确答案”。你是在教它如何对选项进行排序。对于给定的图像它更像“日落时分的海滩”还是更像“拥挤的地铁车厢”模型通过数百万次这样的比较判断来学习。这种排序方法出奇地稳健。即使标题并非完美比如一张严格来说是狼的图片标题却写着“一只狗”模型仍然能学到有用的东西因为“一只狗”远比“一架直升机”要正确得多。困难负样本具有挑战性的比较并非所有负样本对对于学习都具有同等的价值。“一只小狗”与“一艘火箭”的区别很容易——容易到无法提供有效信息。模型从困难负样本中学到的东西更多例如“一只小狗” vs. “一只小猫” 或 “一只狼崽”。这些具有挑战性的比较迫使模型学习细粒度的差异。除了都是年幼的毛茸茸动物之外究竟是什么让一只小狗不同于一只小猫先进的实现方法会在训练过程中主动挖掘这些困难负样本特意找出最易混淆的例子来展示给模型。这就像为考试而学习。你从那些明显错误的题目中学不到太多东西。你从那些需要仔细思考的棘手题目中学习。打破“封闭世界”的桎梏这里有一个容易被忽略的哲学层面的重要性传统的视觉模型生活在一个封闭的世界里。它们的运作基于一个假设即每一个可能的输入都能被归入某个预定义的类别。这在人工智能中被称为“封闭世界假设”。但现实世界是一个开放的世界。新事物层出不穷新的网络俚语、新的时尚潮流、新的迷因、新的产品、新的艺术风格。一个在2020年基于固定标签训练的模型对于此后出现的任何事物都将完全无法识别。对比学习正是解锁“开放词汇识别”能力的关键。你可以构建一个拥有数十亿参数的历史上最大的视觉模型但如果没有这种与语言的对比对齐它仍然被困在笼子里。它只能看到被明确教导过的事物。通过对比学习模型能够识别出从未见过明确标签的事物因为它已经学习了视觉和语言两者更深层的组合结构。它知道“毛茸茸的”看起来像什么。它也知道“猫”看起来像什么。因此即使它在训练过程中从未见过“毛茸茸的猫”这个确切的短语它也能通过组合这些概念来推断出它应该是什么样子。这就是死记硬背与理解之间的区别。或者至少是向理解迈进了一步。零样本学习这正是对比学习从“有趣的技术”转变为“改变一切的力量”的关键所在。零样本学习意味着模型能够执行一项它从未被明确训练过的任务。无需微调无需标注数据集仅凭从其学习到的表示中进行纯粹推理。假设你想为维修店的质量控制构建一个“iPhone屏幕破裂”检测器。传统方法你需要收集5000多张屏幕破裂的照片。雇人手动标注。训练一个定制模型既昂贵又耗时。寄希望于你的模型能泛化到未见过的破裂模式。当它在边缘案例上失败时才意识到需要更多数据。然后重复整个过程。对比学习方法向VLM输入一张图片。给它两个文本提示“一张完好无损的手机屏幕照片”和“一张屏幕破裂的手机照片”。模型会检查其内部的嵌入空间。这张图像的向量更接近“完好无损”的文本向量还是更接近“破裂”的文本向量判断完成。瞧你立刻就拥有了一个功能完备的分类器。无需新的标签无需训练时间无需让GPU连续运行数天。仅仅是比较而已。这种方法适用于任何你能用语言描述的事物“一张假冒产品的照片”对比“一张正品的照片”“一张显示肿瘤的医学扫描图”对比“一张健康的扫描图”尽管你可能需要验证“一幅文艺复兴时期的画作”对比“一幅印象派画作”“一个基本停满的停车场”对比“一个基本空着的停车场”其影响是巨大的。你可以用几分钟就快速构建出新的应用而这在旧式的监督学习模式下可能需要数月时间。这就是VLM在各行各业的应用呈爆炸式增长的原因。实现规模化这项技术之所以能主导现代人工智能领域还有一个现实原因数据极其丰富。旧模型需要人工辛苦地标注数据在物体周围绘制边界框一张一张地给图片打标签进行分类、贴标签、质检。这个过程成本高昂需要众包工人或专业标注员、速度缓慢受限于人类瓶颈、容易出错标注工作主观且枯燥并且无法规模化你不可能把整个互联网都标注完。但对比学习直接利用互联网本身来运行。网上有数十亿带有标题、替代文本、标题或上下文信息的图像。它们并不完美很多嘈杂、模糊不清甚至完全是错的。例如“IMG_4847.jpg”就不是一个好标题。但它们数量庞大。关键洞察对噪声的容忍度由于学习是基于相对性的因此模型对噪声的容忍度非常高。标题不必是完美的诗句甚至不需要100%准确。它只需要比随机的一句话更匹配图像就行。当你在数以百万计的样本上同时训练时只要噪声是随机且无偏的它们就会在统计上相互平均抵消。正确的模式通过重复得到加强而随机的错误则会在统计上抵消。然而有一个重要的警告系统性偏差不会平均抵消。如果大多数医生的图像都显示男性而大多数护士的图像都显示女性互联网上的情况确实如此那么这种偏差就会累积而不是抵消。模型会把这种偏差当作真理来学习。我们将在后面的局限性部分回到这个问题。数据增强学习不变性模型还会看到同一图像的不同增强版本——裁剪、颜色偏移、旋转、模糊、对比度变化。这教会它关注语义内容而不是肤浅的细节。无论照片是亮是暗、是居中还是裁剪、是从上还是从侧面拍摄狗仍然是狗。这种增强策略对于泛化能力至关重要。没有它模型可能会认为“海滩”总是意味着阳光明媚的照片从而无法识别阴天里的海滩。互联网作为训练场这使得公司能够利用从网络上抓取的海量、杂乱的数集据进行训练。这些数据集足以让传统的监督模型彻底崩溃。CLIP就是在互联网上的4亿个图像-文本对上训练出来的。你永远无法手工标注那么多图像。但你可以利用网络上现有的结构。互联网就成了你的训练集。全人类集体加注标题的努力每条Instagram帖子、每张维基百科图片、每个产品描述都变成了机器学习燃料。组合泛化能力让我们深入探讨一个微妙但至关重要的问题组合泛化能力。人类的语言是具有组合性的。即使我们从未见过“蓝色的车”这两个词确切地组合在一起我们也能理解它因为我们分别知道“蓝色的”和“车”的含义。即使我们可能从未亲眼见过“一只戴着太阳镜、踩着滑板的狗”这个场景我们也能解析出这句话的意思。对比学习赋予了模型这种超能力的初级版本。由于模型在一个共享空间中学习了视觉特征和文本特征它能够以新颖的方式组合概念。如果它学会了“红色”的样子来自“红苹果”、“红色汽车”、“红色夕阳”并且知道了“卡车”的样子来自“送货车”、“皮卡”、“消防车”那么即使它在训练过程中从未见过“红色卡车”这个确切的短语它也能推断出“红色卡车”应该是什么样子。几何特性嵌入空间具有令人惊讶的几何特性。概念会聚集在一起。有动物的“区域”、车辆的“区域”、情感的“区域”。相似的概念最终会彼此靠近并非因为有人这样编程而是因为它们在训练过程中出现在相似的语境中。有时向量运算甚至能生效“狗”的向量减去“小狗”的向量再加上“猫”的向量结果可能落在“小猫”附近。“小狗之于狗如同小猫之于猫”这种关系会在几何结构中自然涌现。这并非绝对保证——该空间并非完美的线性——但这些规律性确实从纯粹的对比中浮现出来这非常了不起。想象一下嵌入空间的二维投影狗的照片聚集在一个区域猫的照片在其附近车辆的照片在完全不同的另一个区域而风景照片又在另一个区域。文本描述也存在于这些相同的区域。“一只快乐的狗”就位于狗群聚集的区域。“一辆红色跑车”则位于车辆区域。这种空间组织结构编码了语义的相似性。不仅仅是死记硬背这与死记硬背不同。模型并非从数据库中检索“红色卡车”。它通过在嵌入空间中导航计算找到“红色属性”和“卡车属性”的交集来得出结果。这种组合能力并非完美稍后会详述其局限性但正是它让这些模型感觉“聪明”而不仅仅是巨大的查找表。它们能够处理组合爆炸问题。仅凭1000个视觉概念和1000个描述性词语理论上就能组合出数百万个有意义的组合。现实世界的影响让我们来谈谈影响因为这不仅仅是学术界的空谈。对比学习从根本上改变了生产级AI系统的能力范围。内容审核像Meta和谷歌这样的公司利用VLM来检测违反政策的内容而无需手动定义每一种违规情况。他们不再需要为“仇恨符号”、“暴力画面”、“自残内容”等分别训练模型而是可以用文本描述概念让模型进行匹配。无障碍功能为视障用户生成替代文本的能力得到了显著提升。VLM不再生成像“户外场景”这样笼统的标签而是能够生成描述性的文字例如“日落时分一个穿着红色夹克的人站在山巅远眺”。电商搜索现在你可以用自然语言搜索产品目录如“100美元以下的舒适跑鞋”甚至上传照片进行搜索如“找类似款但要蓝色的”。传统的搜索需要精确的关键词匹配或手动打标签。医学影像放射科医生可以用他们正在寻找的描述来查询图像数据库即使没有明确的诊断标签模型也能调出相关的病例。创意工具像Photoshop这样的设计软件利用VLM实现了基于文本的选择功能例如“选择这张图片中的所有植物”而无需手动抠图。制造质量控制工厂使用VLM检测缺陷时只需简单描述缺陷的样子而无需为每一种可能的故障模式收集数千个带标签的示例。野生动物保护研究人员可以使用文本描述来搜索相机陷阱拍摄的特定动物行为或稀有物种的影像极大地加速了生态学研究。所有这些应用都有一个共同点灵活性。模型通过语言来适应你的需求而不是为每个用例都耗费数月进行定制训练。更广阔的多模态愿景同样的原理不仅限于视觉和语言。现代模型利用对比学习来对齐音频、视频、3D形状、传感器数据、蛋白质结构——任何可以数值编码的模态。想象一下你可以要求“找一些某人听起来很沮丧的视频片段”模型就能搜索音频。或者“展示与这个椅子设计相似的3D模型”它就能理解形状。其愿景是构建一个通用嵌入空间任何类型的数据都可以相互比较所有数据都可以通过自然语言进行搜索和组合。我们尚未完全实现这一目标但对比学习已经铺平了道路。局限性分析让我们坦诚地谈谈局限性因为理解对比学习做不到什么与理解它能做什么同样重要。难以处理细粒度细节由于模型是从网络规模的标题中学习的它关注的是整体的“调性”或主要对象。人们不会用精确的细节来给图片加标题。你得到的是“树枝上的一只鸟”而不是“一只栖息在橡树枝上的雄性幼年家麻雀”。这意味着计数出奇地困难。“这个碗里有多少个苹果”常常得到错误的答案。模型学习了“苹果”这个概念但没有通过图像-文本配对学会数数。标题很少会明确说明具体的数量。空间关系也很棘手。“杯子在勺子的左边还是右边”可能会让模型感到困惑。标题很少指定精确的空间布局。它们会说“桌子上的一个杯子和一把勺子”但不会说“勺子左边的一个杯子”。细微的区分会失败。区分相似的鸟类或狗的品种需要细粒度的视觉特征而这些特征在粗粒度的对比学习目标中被模糊化了。模型非常了解“鸟”但要区分“家麻雀”和“歌带鹀”则困难得多。一些结合了空间区域注意力机制的新架构在这方面有所改进但这仍然是一个挑战。关联不等于理解模型知道“宇航员”和“马”在视觉上是相关的因为它在训练期间看到了科幻艺术。但它并不真正理解为什么马实际上不能在太空中生存的物理学原理。这是模式匹配而非推理。同样它可能会将“海滩”与“阳光”联系起来因为网上大多数海滩照片都显示晴天但它可能无法识别出雾天的海滩仍然是海滩。偏见放大由于训练数据来自互联网互联网上所有的偏见也会随之而来。刻板印象医生是男性护士是女性CEO是年长的白人男性等被植入了嵌入空间。这一点尤其有害因为这些偏见并非被明确编程进去的——它们是从训练数据的统计模式中浮现出来的。模型学习互联网展示给它的东西而互联网反映了历史上和持续存在的社会偏见。解决这个问题需要精心的数据集筛选、去偏技术并承认“从互联网学习”意味着在获取知识的同时也继承了它的缺陷。图像中的文字具有讽刺意味的是以这种方式训练的模型可能难以处理图像中实际出现的文本。一张“STOP”标志的照片可能不会像识别其红色八边形形状那样强烈地识别出“STOP”这个文字因为模型学习的是图像和标题之间的视觉-语言对齐而不是OCR光学字符识别。图像编码器将字母视为视觉模式而非语言符号。要真正“阅读”图像中的文本你需要针对该任务进行额外的训练。损失函数的盲点对比学习优化的是相似度匹配。如果两个非常不同的图像同样好地匹配同一个模糊的标题模型可能无法学会区分它们。这可能导致模式坍缩模型学习了过于通用的表示或特征忽略某些视觉属性被忽视。例如如果大多数标题只写“一个人”而不提及年龄、种族或服装那么模型可能无法强烈地学习对这些属性进行编码尽管它们在视觉上是存在的。总结无论你是初学者、实践者还是只是想了解AI发展方向的普通人以下是你需要记住的视觉语言模型之所以令人印象深刻并不是因为它们比旧模型“看得更清楚”。事实上有时它们在原始像素级别的视觉能力技术上还不如为特定任务训练的专业分类器。它们令人印象深刻是因为它们能更好地进行比较。它们能将事物的外观与词语的含义联系起来。这个区别至关重要。它意味着AI的未来不在于构建更大的孤立模型而在于构建能够通过共享表示连接不同模态的模型。语言成为通用的桥梁。它不仅仅是一个附加功能而是使视觉模型变得有用、灵活和通用的核心推动力。我们正在从脆弱的、任务特定的AI转向流畅的、与任务无关的、可以用语言引导的AI。你无需为了识别一个新的对象类别而重新训练模型只需描述它即可。模型会在它已经学习到的嵌入空间中找到它如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型入门到实战全套学习大礼包1、大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通2、大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。3、AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。4、大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。5、大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。适用人群第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
