尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

Integrating gender inclusivity into large language models via instruction tuning

Integrating gender inclusivity into large language models via instruction tuning 文章总结与翻译一、文章主要内容该研究聚焦波兰语等存在语法性别的语言中,大型语言模型(LLMs)因训练数据偏向阳性表达而产生性别偏见的问题,旨在通过指令微调将性别包容性融入LLMs,以缓解波兰语生成中的性别偏见。核心背景波兰语等斯拉夫语族、罗曼语族语言存在阳性、阴性、中性三种语法性别,受历史和政治传统影响,阳性形式常被用于指代男性、女性及混合性别群体,形成不公平的语言体系。基于标准文本训练的LLMs会继承并强化这种阳性偏见,生成性别失衡的输出,而现有研究多基于英语,对这类语法性别语言的性别偏见关注不足。研究方法构建数据集:创建人类编写的“包容性波兰语指令集(IPIS)”,包含波兰语性别包容性校对指令和波兰语↔英语性别敏感翻译指令,涵盖法律文件、新闻、议会辩论等多种文本类型,分为训练集、验证集和测试集。设计系统提示:基于语言学理论框架,设计包含波兰语和英语两种版本的系统提示,明确性别包容性准则,为LLMs分配“编辑角色”,指导其遵循语法一致规则生成性别包容性文本。模型微调与实验:采用低秩适应(LoRA)参数高效微调方法,对多语言LLMs(Llama-8B、Mistral-7B、Mistral-Nemo)和波兰语专用LLMs(Bielik、PLLuM)进行IPIS微调,评估性别包容性校对和性别敏感翻译两项任务的性能。
返回列表