尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

315曝光,AI大模型也被“投毒”了

315曝光,AI大模型也被“投毒”了 大家好我是小悟。315晚会你们看了吗给你们留下最深的印象是哪个给我印象最深的不是漂白鸡爪虽然那个也让人起鸡皮疙瘩。而是AI大模型被“投毒”那个食品安全年年有AI“投毒”第一遭。在这个事情被曝出来之前说实话我也喜欢时不时的问AI“哪个品牌的某某某比较好帮我推荐一下”特别是电子产品。现在回想看看AI给我的答案到底是经过大模型自己认真算出来的还是这些商家花了钱通过GEO提前就埋好的就不好说了。315晚会现场演示数据仅需约100元一个原本不存在的虚构产品在注入10余篇经过优化的内容后不到2小时就开始被AI检索推荐3天后多个主流大模型对其形成一致好评。GEO是什么如果你有注意的话晚会上出现了一个词叫GEO这是一个简称其全称叫做Generative Engine Optimization翻译过来大概的意思是生成式引擎优化。GEO本身没有问题SEO大家都熟悉吧就是让网页更容易出现在搜索结果排名前几个。而GEO就是帮助内容能够更容易地被AI引用从而出现在回答里面。举个例子你写了一篇文章被AI学习到了当后面有用户提问相关问题时AI就可能会提到它并引用然后反馈在回答里面。这样子完全没有问题是正常的内容传播。但问题是架不住有些人把它用在不好的方面。把GEO演化成了一条批量“喂毒”的流水线那就是专门给AI的信息源灌输假东西在晚会上曝光的力擎GEO优化系统它把整个流程都自动化了从写稿、发稿、对抗检测到数据统计一条龙服务。这个服务商对外宣称已经服务了200多家客户有的品牌一年都能砸进去几百万预估达成的广告效果上亿。技术上的虚假共识幻觉说到这个不得不提到现在的主流大模型普遍使用的是RAG架构检索增强生成。就是那些知识大模型不是只靠训练时积累很多时候它会直接实时去读取网上的内容来当做参考依据为的是能让回答变得更及时更有依据。那么问题就来了当有十几篇文章说同一件事情正好被大模型检索到了那它可能就会产生一种虚假共识幻觉的效应换句话说就是既然这么多信源都这样说了那肯定就是真的然后AI就把它当成事实直接输出了。就像你突然想了解某个牌子问了周围十个人结果这十个人其实是同一家公司安排的托儿——然后你回来一本正经地跟别人说我做了充分调查。这不是AI的锅但AI没防住315曝光这个事情后网上就有一些言论“AI不可信”、大模型没用之类的声音。这个结论太片面了。想一下这样的“投毒”本质上其实是一种信息欺骗行为。你把一堆的假证据摆在那里当信源不是说只有AI任何一个基于信息检索的系统都有可能被骗。以前那种传统搜索引擎被SEO黑产利用的事情也不在少数。AI时代当你咨询它问题时新鲜感加信任感叠在一起就让人更难产生那种本能的警觉。很容易让人觉得它是算出来的肯定靠谱。其实真正需要追问的是现在各家大模型本身的数据核验能力要怎么去更好的识别这类投诉内容、提高这些检索源的可信度。普通人现在该怎么用AI这个曝光之后是不是就该扔掉AI呢其实大可不必但要调整一下用AI的姿态。以前可能是AI说什么信什么现在就应该认识到“AI只是帮我提供一个方向我拿这个方向再自己核实一下”。其实这并不麻烦最关键是不要把AI当成没有问题的权威。特别特别当涉及到需要花钱的决策时比如买啥产品、选啥服务、相信什么权威评测。最好就是多进行一步找找看有没有真实的用户反馈。简单判断“投毒”内容的特征用词绝对化“行业第一”“全球领先”、缺乏真实数据支撑、账号注册时间很短但内容量惊人、文章互动量和内容质量严重不匹配。最后年年有315关于食品安全和金融骗局这些都是老生常谈了每次看都是一遍对人性的重新审视。但今年这个AI“投毒”感觉是动到了整个信息基础设施的底层。看看以前的虚假广告当你看到的时候至少你会知道那是条广告你自己会主动决定信或不信。但AI“投毒”却更隐蔽了它把虚假信息当成客观答案反馈出来当你收到的那一刻完全不会意识到这背后竟然有人为此花了钱、做了布局。这个也不是要否定AI这个方向反而正是因为AI会越来越深入到信息获取的核心路径里现在早一点把这个问题认识清楚、从而推动各个厂家去修复比起以后再去修复的成本或许会低得多。谢谢你看我的文章既然看到这里了如果觉得不错随手点个赞、转发、在看三连吧感谢感谢。那我们下次再见。您的一键三连是我更新的最大动力谢谢山水有相逢来日皆可期谢谢阅读我们再会我手中的金箍棒上能通天下能探海
返回列表