基于外推马尔可夫链的文本不平衡过采样方法

用于不平衡文本分类的外推马尔可夫链过采样方法摘要文本分类是一项自动将文本文档分配至预定义类别中正确标签的任务。在现实生活中的文本分类任务中观测值和误分类成本在不同类别间的分布往往是不均衡的——这被称为不平衡数据问题。合成过采样是解决不平衡分类问题的一种常用方法。其核心思想是在少数类中生成合成观测值以平衡训练集中的类别分布。许多通用的过采样方法可应用于文本数据然而不平衡的文本数据带来了一系列独特的难题这些难题源于文本相较于其他领域所具有的独特性质。其中一个因素是当文本样本量增加时样本词汇量即特征空间也可能会随之增长。我们引入了一种新颖的、基于马尔可夫链的文本过采样方法。该方法的转移概率部分从少数类估计部分从多数类估计从而允许少数类的特征空间在过采样过程中得以扩展。我们在多个真实数据集上将我们的方法与主流过采样方法进行了评估比较结果表明尤其是在不平衡问题严重的情况下我们的方法能够产生极具竞争力的结果。FINISHED更多精彩内容 请关注我的个人公众号 公众号办公AI智能小助手或者 我的个人博客 https://blog.qife122.com/对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号网络安全技术点滴分享