今年的 315 曝光了一件事情有人专门给 AI 大模型投毒。所谓投毒就是刻意地制造一些商业化的、甚至是恶意的内容让这些内容出现在大模型的回答中。在节目中演示了一个完全虚构的产品阿波罗 9 号智能手环。这个手环从品牌到参数全都是虚假的。通过模拟“投毒”的过程节目组实现了在两个小时之后让 AI 去推荐它的一个效果。在 3 天后它甚至登上了两个主流大模型的推荐榜单。这其实和我们的体感是有些违背的。我们往往会觉得现在的大模型已经变得非常聪明了甚至在很多领域比我们自己还要聪明。你或许会觉得给大模型投毒也太容易了吧但是学术研究告诉我们实际上可能比 315 展示的还要更容易。「今天这篇文章为你讲清楚给大模型投毒的原理以及我们普通人应该如何去进行防范。」大模型是怎么知道答案的要理解投毒得先理解一件事大模型回答你问题的时候它的知识从哪来很多人以为大模型什么都懂。但实际上大模型更像一个很会写作文的学生——它的语文能力很强但知识面是有限的训练完成之后知识就定格了。那怎么回答那些它没学过的新问题呢答案是「现查资料」。这个现查资料的技术叫做RAG检索增强生成。工作流程是这样的你问了一个问题系统先从互联网或知识库里搜索相关的内容把搜到的内容当作参考资料塞给大模型大模型读完这些资料后组织语言回答你打个比方大模型就是一个考场上的学生RAG就是它带进考场的参考资料。它写出来的答案好不好很大程度上取决于参考资料的质量。所以315曝光的投毒不是给学生洗脑而是往它的参考资料里夹私货。在互联网上大量发布含特定关键词的软文让大模型在查资料的时候查到这些假内容然后信以为真地推荐给你。投毒到底有多容易那么这件事情到底有多容易呢宾夕法尼亚州立大学的研究团队在 2024 年在全球安全顶会上发表了一篇文章叫 PoisonedRAG专门来研究这件事情。结果其实是令人震惊的。他们发现在一个有 268 万条正常数据的知识库里面只需要塞进 5 条假的就能够实现 97% 成功率的攻击。而且这种攻击对当时的 8 个主流模型都非常成功。他们的攻击方式是这样的首先造一段假的文本让搜索系统能够搜到它。比如他们会把用户可能问到的问题嵌入到文本中我们拿智能手环的场景举例它造假的文本中可能就包含了“智能手环推荐”这些关键词到这段假文本之后相信它。研究人员用了自己训练的一个大模型来生成这种看起来非常有说服力的内容他们用 AI 来欺骗 AI。回到上面参考资料的例子一个图书馆中有 268 万本书而你只需要悄悄地塞进去 5 本有问题的那可能就会有 97% 的学生回答错误的答案。想想还是挺恐怖的。防住比你想的难对于我们普通人来说最关注的应该还是如何去进行防范。能否从平台层面增加一些过滤呢研究人员尝试了四种防御方案。用 AI 去重写搜索到的内容用统计方法去识别看起来不够正常的文本去除高度相似的内容在知识库中补充更多的正确信息但研究发现这四种方案都不够有效。这件事情为什么这么困难核心还是在于问题并不出现在大模型的能力或者智能本身而是出现在它的参考信息里。回到那个比喻来讲问题不在于写答卷的学生而在于学生去的图书馆。如果学生本身知识不足或者价值观有问题你还可以重新去教育他。但是现在的问题是在一个大的图书馆里混进了少数几本假书而且这些假书写得和真书一样好。更麻烦的是互联网是一个任何人都能上架图书的开放图书馆。这不是某一个平台能独立解决的问题。三个防范的建议说了这么多不是为了让你恐慌而是希望你在了解清楚它的原理的基础上能够更好地去防范它。如果你只是用 AI 搜索来查个天气、翻译一个句子的话这种“投毒”的方式并不会影响你。但是如果你需要参考一些信息做一些重要的判断比如买一个什么样的产品或者选择一个什么样的方案的时候你需要尤其的小心。我可以给你三个建议「1. AI推荐≠事实。」它本质上是在转述它搜到的参考资料而这些参考资料有可能是被人精心投放的。「2. 重要决策交叉验证。」别只问一个AI也别只信AI去看看真实用户评价、专业测评、官方信息多一个信源就多一层保障。「3. 追问信源。」现在很多AI搜索会给出引用链接点进去看看。如果引用的全是你没听过的网站上的软文那就得多个心眼了。~AI行业迎来前所未有的爆发式增长从DeepSeek百万年薪招聘AI研究员到百度、阿里、腾讯等大厂疯狂布局AI Agent再到国家政策大力扶持数字经济和AI人才培养所有信号都在告诉我们AI的黄金十年真的来了在行业火爆之下AI人才争夺战也日趋白热化其就业前景一片蓝海我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取人才缺口巨大人力资源社会保障部有关报告显示据测算当前****我国人工智能人才缺口超过500万****供求比例达1∶10。脉脉最新数据也显示AI新发岗位量较去年初暴增29倍超1000家AI企业释放7.2万岗位……单拿今年的秋招来说各互联网大厂释放出来的招聘信息中我们就能感受到AI浪潮比如百度90%的技术岗都与AI相关就业薪资超高在旺盛的市场需求下AI岗位不仅招聘量大薪资待遇更是“一骑绝尘”。企业为抢AI核心人才薪资给的非常慷慨过去一年懂AI的人才普遍涨薪40%脉脉高聘发布的《2025年度人才迁徙报告》显示在2025年1月-10月的高薪岗位Top20排行中AI相关岗位占了绝大多数并且平均薪资月薪都超过6w在去年的秋招中小红书给算法相关岗位的薪资为50k起字节开出228万元的超高年薪据《2025年秋季校园招聘白皮书》AI算法类平均年薪达36.9万遥遥领先其他行业总结来说当前人工智能岗位需求多薪资高前景好。在职场里选对赛道就能赢在起跑线。抓住AI风口轻松实现高薪就业但现实却是仍有很多同学不知道如何抓住AI机遇会遇到很多就业难题比如❌ 技术过时只会CRUD的开发者在AI浪潮中沦为“职场裸奔者”❌ 薪资停滞初级岗位内卷到白菜价传统开发3年经验薪资涨幅不足15%❌ 转型无门想学AI却找不到系统路径83%自学党中途放弃。他们的就业难题解决问题的关键在于不仅要选对赛道更要跟对老师我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取
AI大模型竟被投毒？315曝光的“暗黑操作”如何影响你的决策？
发布时间：2026/5/24 8:55:46
今年的 315 曝光了一件事情有人专门给 AI 大模型投毒。所谓投毒就是刻意地制造一些商业化的、甚至是恶意的内容让这些内容出现在大模型的回答中。在节目中演示了一个完全虚构的产品阿波罗 9 号智能手环。这个手环从品牌到参数全都是虚假的。通过模拟“投毒”的过程节目组实现了在两个小时之后让 AI 去推荐它的一个效果。在 3 天后它甚至登上了两个主流大模型的推荐榜单。这其实和我们的体感是有些违背的。我们往往会觉得现在的大模型已经变得非常聪明了甚至在很多领域比我们自己还要聪明。你或许会觉得给大模型投毒也太容易了吧但是学术研究告诉我们实际上可能比 315 展示的还要更容易。「今天这篇文章为你讲清楚给大模型投毒的原理以及我们普通人应该如何去进行防范。」大模型是怎么知道答案的要理解投毒得先理解一件事大模型回答你问题的时候它的知识从哪来很多人以为大模型什么都懂。但实际上大模型更像一个很会写作文的学生——它的语文能力很强但知识面是有限的训练完成之后知识就定格了。那怎么回答那些它没学过的新问题呢答案是「现查资料」。这个现查资料的技术叫做RAG检索增强生成。工作流程是这样的你问了一个问题系统先从互联网或知识库里搜索相关的内容把搜到的内容当作参考资料塞给大模型大模型读完这些资料后组织语言回答你打个比方大模型就是一个考场上的学生RAG就是它带进考场的参考资料。它写出来的答案好不好很大程度上取决于参考资料的质量。所以315曝光的投毒不是给学生洗脑而是往它的参考资料里夹私货。在互联网上大量发布含特定关键词的软文让大模型在查资料的时候查到这些假内容然后信以为真地推荐给你。投毒到底有多容易那么这件事情到底有多容易呢宾夕法尼亚州立大学的研究团队在 2024 年在全球安全顶会上发表了一篇文章叫 PoisonedRAG专门来研究这件事情。结果其实是令人震惊的。他们发现在一个有 268 万条正常数据的知识库里面只需要塞进 5 条假的就能够实现 97% 成功率的攻击。而且这种攻击对当时的 8 个主流模型都非常成功。他们的攻击方式是这样的首先造一段假的文本让搜索系统能够搜到它。比如他们会把用户可能问到的问题嵌入到文本中我们拿智能手环的场景举例它造假的文本中可能就包含了“智能手环推荐”这些关键词到这段假文本之后相信它。研究人员用了自己训练的一个大模型来生成这种看起来非常有说服力的内容他们用 AI 来欺骗 AI。回到上面参考资料的例子一个图书馆中有 268 万本书而你只需要悄悄地塞进去 5 本有问题的那可能就会有 97% 的学生回答错误的答案。想想还是挺恐怖的。防住比你想的难对于我们普通人来说最关注的应该还是如何去进行防范。能否从平台层面增加一些过滤呢研究人员尝试了四种防御方案。用 AI 去重写搜索到的内容用统计方法去识别看起来不够正常的文本去除高度相似的内容在知识库中补充更多的正确信息但研究发现这四种方案都不够有效。这件事情为什么这么困难核心还是在于问题并不出现在大模型的能力或者智能本身而是出现在它的参考信息里。回到那个比喻来讲问题不在于写答卷的学生而在于学生去的图书馆。如果学生本身知识不足或者价值观有问题你还可以重新去教育他。但是现在的问题是在一个大的图书馆里混进了少数几本假书而且这些假书写得和真书一样好。更麻烦的是互联网是一个任何人都能上架图书的开放图书馆。这不是某一个平台能独立解决的问题。三个防范的建议说了这么多不是为了让你恐慌而是希望你在了解清楚它的原理的基础上能够更好地去防范它。如果你只是用 AI 搜索来查个天气、翻译一个句子的话这种“投毒”的方式并不会影响你。但是如果你需要参考一些信息做一些重要的判断比如买一个什么样的产品或者选择一个什么样的方案的时候你需要尤其的小心。我可以给你三个建议「1. AI推荐≠事实。」它本质上是在转述它搜到的参考资料而这些参考资料有可能是被人精心投放的。「2. 重要决策交叉验证。」别只问一个AI也别只信AI去看看真实用户评价、专业测评、官方信息多一个信源就多一层保障。「3. 追问信源。」现在很多AI搜索会给出引用链接点进去看看。如果引用的全是你没听过的网站上的软文那就得多个心眼了。~AI行业迎来前所未有的爆发式增长从DeepSeek百万年薪招聘AI研究员到百度、阿里、腾讯等大厂疯狂布局AI Agent再到国家政策大力扶持数字经济和AI人才培养所有信号都在告诉我们AI的黄金十年真的来了在行业火爆之下AI人才争夺战也日趋白热化其就业前景一片蓝海我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取人才缺口巨大人力资源社会保障部有关报告显示据测算当前****我国人工智能人才缺口超过500万****供求比例达1∶10。脉脉最新数据也显示AI新发岗位量较去年初暴增29倍超1000家AI企业释放7.2万岗位……单拿今年的秋招来说各互联网大厂释放出来的招聘信息中我们就能感受到AI浪潮比如百度90%的技术岗都与AI相关就业薪资超高在旺盛的市场需求下AI岗位不仅招聘量大薪资待遇更是“一骑绝尘”。企业为抢AI核心人才薪资给的非常慷慨过去一年懂AI的人才普遍涨薪40%脉脉高聘发布的《2025年度人才迁徙报告》显示在2025年1月-10月的高薪岗位Top20排行中AI相关岗位占了绝大多数并且平均薪资月薪都超过6w在去年的秋招中小红书给算法相关岗位的薪资为50k起字节开出228万元的超高年薪据《2025年秋季校园招聘白皮书》AI算法类平均年薪达36.9万遥遥领先其他行业总结来说当前人工智能岗位需求多薪资高前景好。在职场里选对赛道就能赢在起跑线。抓住AI风口轻松实现高薪就业但现实却是仍有很多同学不知道如何抓住AI机遇会遇到很多就业难题比如❌ 技术过时只会CRUD的开发者在AI浪潮中沦为“职场裸奔者”❌ 薪资停滞初级岗位内卷到白菜价传统开发3年经验薪资涨幅不足15%❌ 转型无门想学AI却找不到系统路径83%自学党中途放弃。他们的就业难题解决问题的关键在于不仅要选对赛道更要跟对老师我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取
![[Android] VideoCook Glitch视频效果 v3.014.9 高级版](http://pic.xiahunao.cn/yaotu/[Android] VideoCook Glitch视频效果 v3.014.9 高级版)
