主题揭秘特权信息蒸馏如何让大模型学得更聪明时间2026.03.21 周六 09:00 北京时间2026.03.20 周五 21:00 美东时间2026.03.20 周五 18:00 美西时间直播平台微信视频号Youtube直播间https://www.youtube.com/niceaitalk内容介绍当获得额外的上下文信息例如特权信息时现代模型展现出了显著提升自身能力的效果。虽然在训练时获取此类特权信息相对容易但在测试时可靠地获取这些信息可能并不可靠。在这项工作中我们提出了一个统一的视角即通过后训练学习将提示性知识蒸馏到大型语言模型LLM中。简而言之我们的目标是在评估时获得最佳的非特权策略同时在训练过程中利用提示性策略。我们基于变分技术来开展此项工作并研究了其他替代方案例如在策略蒸馏。利用我们提出的简单框架我们能够超越包括基于SFT GRPO的强基线后训练方法在内的强大基准。此外我们对超参数进行了广泛的消融实验并分析了构成良好训练特权信息的属性即鼓励泛化。论文标题Privileged Information Distillation for Language Models论文地址https://arxiv.org/pdf/2602.04942嘉宾Emiliano Penaloza是Mila-Quebec和蒙特利尔大学的博士生由Laurent Charlin指导并获得NSERC PGS-D奖学金支持。他的研究重点是利用LLM在用户层面的对话属性增强LLM智能体在复杂、多步骤环境中的能力和对齐性。此前他曾在ServiceNow蒙特利尔担任访问研究员与Massimo Caccia合作研究LLM在智能体任务中的推理。主持人吴昊伦Mila McGill 的四年级博士生在 Stanford 从事访问学者研究。其主要研究方向包括可信 AI / 大模型、信息检索、个性化、AI 对齐以及 AI教育等。他曾在 Microsoft Research、Google、DeepMind 多次实习其研究成果被应用于 MSR Alexandria 知识库构建和 Google Shopping 推荐系统。他在多个领域的顶级会议和期刊如 NeurIPS, ICML, ICLR, EMNLP, SIGIR, WWW, CHI, CSCW, TMLR, TKDE 等发表工作并担任评审。入群欢迎加入NICE每周分享交流群可与NICEer唠嗑以及第一时间收到后续NICE分享报告的通知。加群通过小助手认证群内无广告。备注【昵称-单位-方向-NICE入群】NICE介绍NICENexus forIntelligenCE是一个由全球50位一线青年学者共同发起的顶尖AI前沿交流平台。 成立以来我们汇聚海内外300嘉宾通过百余场线上深度分享与线下高规格活动北京/上海/苏州等全网积累超13万关注。目前NICE已构建起覆盖中、美、欧的国际化团队正加速在硅谷、纽约、香港等地落地致力于打造连接学术、产业与未来的全球化AI前沿社区。NICE主页https://nice-nlp.github.ioNICE海外https://nice-intl.github.iob站https://space.bilibili.com/507524288Youtubehttps://www.youtube.com/niceaitalk编辑冯可蘅 华盛顿大学
揭秘特权信息蒸馏如何让大模型学得更聪明
发布时间：2026/7/27 11:24:16
主题揭秘特权信息蒸馏如何让大模型学得更聪明时间2026.03.21 周六 09:00 北京时间2026.03.20 周五 21:00 美东时间2026.03.20 周五 18:00 美西时间直播平台微信视频号Youtube直播间https://www.youtube.com/niceaitalk内容介绍当获得额外的上下文信息例如特权信息时现代模型展现出了显著提升自身能力的效果。虽然在训练时获取此类特权信息相对容易但在测试时可靠地获取这些信息可能并不可靠。在这项工作中我们提出了一个统一的视角即通过后训练学习将提示性知识蒸馏到大型语言模型LLM中。简而言之我们的目标是在评估时获得最佳的非特权策略同时在训练过程中利用提示性策略。我们基于变分技术来开展此项工作并研究了其他替代方案例如在策略蒸馏。利用我们提出的简单框架我们能够超越包括基于SFT GRPO的强基线后训练方法在内的强大基准。此外我们对超参数进行了广泛的消融实验并分析了构成良好训练特权信息的属性即鼓励泛化。论文标题Privileged Information Distillation for Language Models论文地址https://arxiv.org/pdf/2602.04942嘉宾Emiliano Penaloza是Mila-Quebec和蒙特利尔大学的博士生由Laurent Charlin指导并获得NSERC PGS-D奖学金支持。他的研究重点是利用LLM在用户层面的对话属性增强LLM智能体在复杂、多步骤环境中的能力和对齐性。此前他曾在ServiceNow蒙特利尔担任访问研究员与Massimo Caccia合作研究LLM在智能体任务中的推理。主持人吴昊伦Mila McGill 的四年级博士生在 Stanford 从事访问学者研究。其主要研究方向包括可信 AI / 大模型、信息检索、个性化、AI 对齐以及 AI教育等。他曾在 Microsoft Research、Google、DeepMind 多次实习其研究成果被应用于 MSR Alexandria 知识库构建和 Google Shopping 推荐系统。他在多个领域的顶级会议和期刊如 NeurIPS, ICML, ICLR, EMNLP, SIGIR, WWW, CHI, CSCW, TMLR, TKDE 等发表工作并担任评审。入群欢迎加入NICE每周分享交流群可与NICEer唠嗑以及第一时间收到后续NICE分享报告的通知。加群通过小助手认证群内无广告。备注【昵称-单位-方向-NICE入群】NICE介绍NICENexus forIntelligenCE是一个由全球50位一线青年学者共同发起的顶尖AI前沿交流平台。 成立以来我们汇聚海内外300嘉宾通过百余场线上深度分享与线下高规格活动北京/上海/苏州等全网积累超13万关注。目前NICE已构建起覆盖中、美、欧的国际化团队正加速在硅谷、纽约、香港等地落地致力于打造连接学术、产业与未来的全球化AI前沿社区。NICE主页https://nice-nlp.github.ioNICE海外https://nice-intl.github.iob站https://space.bilibili.com/507524288Youtubehttps://www.youtube.com/niceaitalk编辑冯可蘅 华盛顿大学
