Cleanlab Token 分类内部工具模块解析从句子重建、标签映射到概率合并的完整实现指南【免费下载链接】cleanlabCleanlabs open-source library is the standard>项目地址: https://gitcode.com/GitHub_Trending/cl/cleanlab本文档以 docs/source/cleanlab/internal/token_classification_utils.rst 为骨架深入剖析 cleanlab 仓库中cleanlab.internal.token_classification_utils这一内部工具模块的全部实现。该模块是 cleanlab 面向 token 分类Token Classification即文本序列标注数据质量分析能力的底层支撑为 cleanlab.token_classification 子包中的filter、rank、summary三个公开模块提供句子重建、句子过滤、token 清洗、实体标签映射、概率合并与问题高亮等基础能力。阅读本文后你将完整掌握这 7 个内部工具函数的作用、参数、返回结构与底层原理并能在自定义 NLP 数据质量分析流程中复用它们。一、模块定位与整体概览该 RST 文档通过 Sphinx 的automodule指令将 cleanlab/internal/token_classification_utils.py 的全部成员:members:与:undoc-members:自动渲染为 API 参考页。模块自身的 docstring 只有一句话Helper methods used internally in cleanlab.token_classification供 cleanlab.token_classification 内部使用的辅助方法。从源码结构看该模块共提供 7 个函数按用途可分为三类函数类别核心作用get_sentence(words)文本重建将词级 token 列表拼接成可读的句子字符串filter_sentence(sentences, condition)文本过滤按条件过滤句子并返回布尔掩码process_token(token, replace)token 清洗将 token 中的特殊字符替换为指定字符串mapping(entities, maps)标签映射将细粒度实体标签如 B-PER / I-PER映射为粗粒度实体如 PERmerge_probs(probs, maps)概率合并按映射规则合并模型预测概率矩阵支持重归一化color_sentence(sentence, word)可视化在句子中用红色高亮指定 token_replace_sentence(sentence, word, new_word)可视化内部用新字符串替换句子中指定 tokencolor_sentence的底层实现这些函数在公开 API 中扮演关键角色summary.py直接导入color_sentence与get_sentence用于问题展示见 cleanlab/token_classification/summary.py而 token_classification 官方教程 在 CoNLL-2003 命名实体识别数据集的预处理流程中直接使用了get_sentence、filter_sentence与mapping三个函数属于可被用户直接复用的实用工具。二、句子重建get_sentencedef get_sentence(words: List[str]) - str:该函数接收一个词级 token 列表返回拼接后的句子字符串并做了少量可读性处理。核心逻辑源码 L40-L46对每个 token若其不属于string.punctuation或者属于[-, (]这两个特殊标点则在 token 前加一个空格将处理后的 token 依次拼接到句子字符串最后做三个后处理把 空格加单引号替换为、把( 左括号加空格替换为(并strip()去掉首尾空白。示例 from cleanlab.internal.token_classification_utils import get_sentence words [This, is, a, sentence, .] get_sentence(words) This is a sentence.边界行为由 tests/test_token_classification.py 中的test_get_sentence验证连字符-与左括号(会被当作普通词处理并保留两侧空格[Heading, -, Title]→Heading - Title右括号)等普通标点不额外加空格[Some, reason, (, Explanation, )]→Some reason (Explanation)。这个函数是summary.display_issues展示问题 token 所在句子的基础当拿到(i, j)形式的问题坐标后先由get_sentence(tokens[i])重建第 i 句的完整文本再定位其中的第 j 个 token。三、句子过滤filter_sentencedef filter_sentence( sentences: List[str], condition: Optional[Callable[[str], bool]] None, ) - Tuple[List[str], List[bool]]:该函数按指定条件过滤句子列表并返回过滤后的句子列表与布尔掩码两个结果其中mask[i] True表示第 i 个句子被保留。默认条件当未传入condition时使用lambda sentence: len(sentence) 1 and # not in sentence即过滤掉长度不超过 1 的句子与包含#字符的句子如 markdown 标题行# Headline。示例 from cleanlab.internal.token_classification_utils import filter_sentence sentences [Short sentence., This is a longer sentence.] condition lambda x: len(x.split()) 2 long_sentences, _ filter_sentence(sentences, condition) long_sentences [This is a longer sentence.] document [# Headline, Sentence 1., , Sentence 2.] sentences, mask filter_sentence(document) sentences, mask ([Sentence 1., Sentence 2.], [False, True, False, True])实现要点源码 L86-L90先通过list(map(condition, sentences))一次性计算出全部布尔值再据此做列表推导过滤。掩码与原列表等长可用于同步过滤与之平行的其他嵌套结构——这正是教程中的用法sentences, mask filter_sentence(sentences) tokens [words for m, words in zip(mask, tokens) if m] given_labels [labels for m, labels in zip(mask, given_labels) if m]出自 docs/source/tutorials/token_classification.ipynb 的数据预处理单元。在真实 NLP 数据如 CoNLL-2003中这一招能干净利落地剔除-DOCSTART-之类的文档分隔占位行与空句子。四、token 特殊字符清洗process_tokendef process_token(token: str, replace: List[Tuple[str, str]] [(#, )]) - str:该函数将 token 中出现的特殊字符替换为指定字符串。replace参数是一个(s1, s2)元组列表表示把 token 中所有 s1 替换为 s2默认规则是把#替换为空串。示例 from cleanlab.internal.token_classification_utils import process_token token #Comment process_token(#Comment) Comment支持自定义替换规则且规则按顺序依次生效 replace [(C, a), (a, C)] process_token(Cleanlab, replace) aleCnlCb实现原理源码 L127-L132该函数没有使用朴素的str.replace而是先用re.escape转义每个待替换字符构造替换字典用|.join拼接成正则模式并re.compile编译最后通过compiled_pattern.sub(replacement, token)一次性完成所有替换。由于正则替换在同一次扫描中互不重叠因此上例中第二个规则(a, C)不会对第一个规则刚产生的新字符a再次生效——替换只作用于原始 token 中的字符docstring 中的 Note 也明确说明Only applies to characters in the original input token。这一行为同样由test_process_tokentests/test_token_classification.py覆盖验证。五、实体标签映射mappingdef mapping(entities: List[int], maps: List[int]) - List[int]:该函数把一个实体标签列表按映射表maps转换为另一个标签列表其中maps[i]表示索引为 i 的实体应映射到哪个新标签。示例来自 docstring unique_identities [0, 1, 2, 3, 4] # [O, B-PER, I-PER, B-LOC, I-LOC] maps [0, 1, 1, 2, 2] # [O, PER, PER, LOC, LOC] mapping(unique_identities, maps) [0, 1, 1, 2, 2] # [O, PER, PER, LOC, LOC] mapping([0, 0, 4, 4, 3, 4, 0, 2], maps) [0, 0, 2, 2, 2, 2, 0, 1] # [O, O, LOC, LOC, LOC, LOC, O, PER]典型应用场景序列标注中常见的 BIO / BIOES 标签体系会把一个实体拆成B-PER、I-PER等细粒度标签cleanlab 在分析时往往需要把B-*、I-*合并为粗粒度实体类。教程中的做法是given_entities [O, B-MISC, I-MISC, B-PER, I-PER, B-ORG, I-ORG, B-LOC, I-LOC] entities [O, MISC, PER, ORG, LOC] # maps [0, 1, 1, 2, 2, 3, 3, 4, 4] labels [mapping(labels, maps) for labels in given_labels]即将 CoNLL-2003 的 9 类标签映射为 5 类。需要指出的是直接对 token 级标签做合并时I-PER与B-PER会被映射为同一个类此时 cleanlab 不再区分实体边界若你的业务需要保留边界信息应结合具体情况评估这一合并是否可接受。实现上mapping就是一个简单的map(f, entities)其中f lambda x: maps[x]源码 L161-L162。六、概率合并merge_probsdef merge_probs( probs: npt.NDArray[np.floating[T]], maps: List[int] ) - npt.NDArray[np.floating[T]]:该函数按映射规则合并模型的预测概率矩阵是mapping在概率层面的对应物也是整个模块中最有算法含量、最容易用错的函数。输入与输出probs形状为(N, K)的二维数组N 为 token 数K 为模型的类别数maps映射索引列表含义是token 属于第 i 类的概率被合并到maps[i]索引对应的新类。若maps[i] -1则probs的第 i 列被忽略当maps中存在-1时返回值会重新归一化返回值probs_merged形状为(N, K)的二维数组K 为新类别数其中K max(maps) 1。示例 import numpy as np from cleanlab.internal.token_classification_utils import merge_probs probs np.array([ ... [0.55, 0.0125, 0.0375, 0.1, 0.3], ... [0.1, 0.8, 0, 0.075, 0.025], ... ]) maps [0, 1, 1, 2, 2] merge_probs(probs, maps) array([[0.55, 0.05, 0.4 ], [0.1 , 0.8 , 0.1 ]])以第一行为例原 5 类概率[0.55, 0.0125, 0.0375, 0.1, 0.3]中第 0 类独立成新类 0第 1、2 类合并为0.0125 0.0375 0.05成为新类 1第 3、4 类合并为0.1 0.3 0.4成为新类 2。实现原理源码 L200-L210由max(maps) 1确定新类别数初始化全零矩阵probs_merged遍历旧的 K 列只要maps[i] 0就把第 i 列累加到新矩阵的第maps[i]列-1对应的列被丢弃若maps中含-1由于被丢弃的概率导致行和小于 1需按行做归一化probs_merged / row_sums[:, np.newaxis]。关于-1的归一化行为由 tests/test_token_classification.py 中的test_merge_probs_with_normalization明确验证当忽略类 0 时norm_maps [-1, 1, 0, 1]probs[0] [0.9, 0.1, 0]合并归一化后变为[0.0, 1.0]当忽略类 1 时norm_maps [0, -1, 0, 1]同一行概率变为[1.0, 0.0]。也就是说被忽略类的概率会被重新分配而不是简单丢弃这保证了合并后的概率矩阵仍满足每行和为 1的概率语义可安全地用于后续基于 Confident Learning 的错误标签估计。七、问题 token 高亮color_sentence 与 _replace_sentencedef color_sentence(sentence: str, word: str) - str: def _replace_sentence(sentence: str, word: str, new_word: str) - str:color_sentence在句子中查找指定 token并把该 token 的所有出现位置用红色高亮后返回高亮通过termcolor.colored(word, red, force_colorTrue)实现输出形如This is a \x1b[31msentence\x1b[0m.其中\x1b[31m是 ANSI 红色转义码\x1b[0m是重置码。_replace_sentence是其通用底层实现负责把句子中所有匹配的 token 替换为任意new_word。实现要点源码 L270-L276首选基于正则的re.subn(r\b{}\b.format(re.escape(word)), new_word, sentence)其中\b单词边界保证只匹配完整词、不匹配子串如搜索I不会误伤If中的Ire.escape保证括号等正则元字符被安全处理若正则替换计数为 0例如搜索词本身含特殊边界情形导致匹配失败则回退到朴素的sentence.replace(word, new_word)保证函数在极端输入下仍能工作。由测试确认的关键边界行为tests/test_token_classification.py 中test_color_sentence与test_replace_sentence的参数化用例支持多 token 匹配I think I know this中搜索I两处I都被高亮区分大小写A good reason for a test中搜索a只高亮小写a首字母大写的A不受影响支持子串式短语匹配搜索ab a时ab ab a b ab中只有满足单词边界的ab a被替换ab ab ab ab中则得到两个互不重叠的替换正则元字符安全搜索(时re.escape保证左括号按字面匹配而非被解释为分组符号该用例对应 issue #403 的修复。color_sentence是summary.display_issues可视化输出的核心先由get_sentence重建句子再对问题 token 调用color_sentence(sentence, word)最终在终端/notebook 中呈现红色高亮问题词 附带 given/predicted 标签的效果见 cleanlab/token_classification/summary.py。八、如何在实战流程中组合使用这些工具这些内部函数并非孤立存在而是贯穿 cleanlab token 分类数据质量分析全流程。以 token_classification 教程 与 公开 API 为参照完整链路如下预处理阶段读取原始语料 →get_sentence重建句子 →filter_sentence剔除噪声行 →mapping合并细粒度实体标签可选→ 若 token 中含#等特殊字符可用process_token清洗问题查找阶段调用 filter.find_label_issues内部基于 Confident Learning或 rank.get_label_quality_scores 获得(i, j)形式的问题坐标或质量分数可视化与汇总阶段summary.display_issues借助get_sentencecolor_sentence高亮展示问题句子summary.common_label_issues统计最常出错的高频 token。需要注意的是本模块属于 cleanlab 的内部实现位于cleanlab/internal/下接口没有对外部用户做出稳定兼容承诺。教程中直接使用get_sentence、filter_sentence、mapping等函数属于官方推荐的复用方式而其余函数如merge_probs、process_token则更多作为理解 cleanlab 内部机制与二次开发的参考素材。若你需要构建自己的序列标注数据质量分析管线可以放心借鉴本文介绍的这些函数及其在 tests/test_token_classification.py 中的测试用例所保证的行为边界。九、总结cleanlab.internal.token_classification_utils虽小却是 cleanlab token 分类数据质量模块的地基get_sentence与color_sentence支撑起问题可视化filter_sentence与process_token负责数据预处理mapping与merge_probs则解决 BIO 标签体系与模型概率向粗粒度实体类对齐的关键问题后者还通过-1语义与重归一化保证了概率的合法性。理解这 7 个函数就等于掌握了 cleanlab 在序列标注场景下如何把原始语料变成可分析的数据、把分析结果变成可读的报告这一完整技术链条。【免费下载链接】cleanlabCleanlabs open-source library is the standard>项目地址: https://gitcode.com/GitHub_Trending/cl/cleanlab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Cleanlab Token 分类内部工具模块解析：从句子重建、标签映射到概率合并的完整实现指南
Cleanlab Token 分类内部工具模块解析从句子重建、标签映射到概率合并的完整实现指南【免费下载链接】cleanlabCleanlabs open-source library is the standard>项目地址: https://gitcode.com/GitHub_Trending/cl/cleanlab本文档以 docs/source/cleanlab/internal/token_classification_utils.rst 为骨架深入剖析 cleanlab 仓库中cleanlab.internal.token_classification_utils这一内部工具模块的全部实现。该模块是 cleanlab 面向 token 分类Token Classification即文本序列标注数据质量分析能力的底层支撑为 cleanlab.token_classification 子包中的filter、rank、summary三个公开模块提供句子重建、句子过滤、token 清洗、实体标签映射、概率合并与问题高亮等基础能力。阅读本文后你将完整掌握这 7 个内部工具函数的作用、参数、返回结构与底层原理并能在自定义 NLP 数据质量分析流程中复用它们。一、模块定位与整体概览该 RST 文档通过 Sphinx 的automodule指令将 cleanlab/internal/token_classification_utils.py 的全部成员:members:与:undoc-members:自动渲染为 API 参考页。模块自身的 docstring 只有一句话Helper methods used internally in cleanlab.token_classification供 cleanlab.token_classification 内部使用的辅助方法。从源码结构看该模块共提供 7 个函数按用途可分为三类函数类别核心作用get_sentence(words)文本重建将词级 token 列表拼接成可读的句子字符串filter_sentence(sentences, condition)文本过滤按条件过滤句子并返回布尔掩码process_token(token, replace)token 清洗将 token 中的特殊字符替换为指定字符串mapping(entities, maps)标签映射将细粒度实体标签如 B-PER / I-PER映射为粗粒度实体如 PERmerge_probs(probs, maps)概率合并按映射规则合并模型预测概率矩阵支持重归一化color_sentence(sentence, word)可视化在句子中用红色高亮指定 token_replace_sentence(sentence, word, new_word)可视化内部用新字符串替换句子中指定 tokencolor_sentence的底层实现这些函数在公开 API 中扮演关键角色summary.py直接导入color_sentence与get_sentence用于问题展示见 cleanlab/token_classification/summary.py而 token_classification 官方教程 在 CoNLL-2003 命名实体识别数据集的预处理流程中直接使用了get_sentence、filter_sentence与mapping三个函数属于可被用户直接复用的实用工具。二、句子重建get_sentencedef get_sentence(words: List[str]) - str:该函数接收一个词级 token 列表返回拼接后的句子字符串并做了少量可读性处理。核心逻辑源码 L40-L46对每个 token若其不属于string.punctuation或者属于[-, (]这两个特殊标点则在 token 前加一个空格将处理后的 token 依次拼接到句子字符串最后做三个后处理把 空格加单引号替换为、把( 左括号加空格替换为(并strip()去掉首尾空白。示例 from cleanlab.internal.token_classification_utils import get_sentence words [This, is, a, sentence, .] get_sentence(words) This is a sentence.边界行为由 tests/test_token_classification.py 中的test_get_sentence验证连字符-与左括号(会被当作普通词处理并保留两侧空格[Heading, -, Title]→Heading - Title右括号)等普通标点不额外加空格[Some, reason, (, Explanation, )]→Some reason (Explanation)。这个函数是summary.display_issues展示问题 token 所在句子的基础当拿到(i, j)形式的问题坐标后先由get_sentence(tokens[i])重建第 i 句的完整文本再定位其中的第 j 个 token。三、句子过滤filter_sentencedef filter_sentence( sentences: List[str], condition: Optional[Callable[[str], bool]] None, ) - Tuple[List[str], List[bool]]:该函数按指定条件过滤句子列表并返回过滤后的句子列表与布尔掩码两个结果其中mask[i] True表示第 i 个句子被保留。默认条件当未传入condition时使用lambda sentence: len(sentence) 1 and # not in sentence即过滤掉长度不超过 1 的句子与包含#字符的句子如 markdown 标题行# Headline。示例 from cleanlab.internal.token_classification_utils import filter_sentence sentences [Short sentence., This is a longer sentence.] condition lambda x: len(x.split()) 2 long_sentences, _ filter_sentence(sentences, condition) long_sentences [This is a longer sentence.] document [# Headline, Sentence 1., , Sentence 2.] sentences, mask filter_sentence(document) sentences, mask ([Sentence 1., Sentence 2.], [False, True, False, True])实现要点源码 L86-L90先通过list(map(condition, sentences))一次性计算出全部布尔值再据此做列表推导过滤。掩码与原列表等长可用于同步过滤与之平行的其他嵌套结构——这正是教程中的用法sentences, mask filter_sentence(sentences) tokens [words for m, words in zip(mask, tokens) if m] given_labels [labels for m, labels in zip(mask, given_labels) if m]出自 docs/source/tutorials/token_classification.ipynb 的数据预处理单元。在真实 NLP 数据如 CoNLL-2003中这一招能干净利落地剔除-DOCSTART-之类的文档分隔占位行与空句子。四、token 特殊字符清洗process_tokendef process_token(token: str, replace: List[Tuple[str, str]] [(#, )]) - str:该函数将 token 中出现的特殊字符替换为指定字符串。replace参数是一个(s1, s2)元组列表表示把 token 中所有 s1 替换为 s2默认规则是把#替换为空串。示例 from cleanlab.internal.token_classification_utils import process_token token #Comment process_token(#Comment) Comment支持自定义替换规则且规则按顺序依次生效 replace [(C, a), (a, C)] process_token(Cleanlab, replace) aleCnlCb实现原理源码 L127-L132该函数没有使用朴素的str.replace而是先用re.escape转义每个待替换字符构造替换字典用|.join拼接成正则模式并re.compile编译最后通过compiled_pattern.sub(replacement, token)一次性完成所有替换。由于正则替换在同一次扫描中互不重叠因此上例中第二个规则(a, C)不会对第一个规则刚产生的新字符a再次生效——替换只作用于原始 token 中的字符docstring 中的 Note 也明确说明Only applies to characters in the original input token。这一行为同样由test_process_tokentests/test_token_classification.py覆盖验证。五、实体标签映射mappingdef mapping(entities: List[int], maps: List[int]) - List[int]:该函数把一个实体标签列表按映射表maps转换为另一个标签列表其中maps[i]表示索引为 i 的实体应映射到哪个新标签。示例来自 docstring unique_identities [0, 1, 2, 3, 4] # [O, B-PER, I-PER, B-LOC, I-LOC] maps [0, 1, 1, 2, 2] # [O, PER, PER, LOC, LOC] mapping(unique_identities, maps) [0, 1, 1, 2, 2] # [O, PER, PER, LOC, LOC] mapping([0, 0, 4, 4, 3, 4, 0, 2], maps) [0, 0, 2, 2, 2, 2, 0, 1] # [O, O, LOC, LOC, LOC, LOC, O, PER]典型应用场景序列标注中常见的 BIO / BIOES 标签体系会把一个实体拆成B-PER、I-PER等细粒度标签cleanlab 在分析时往往需要把B-*、I-*合并为粗粒度实体类。教程中的做法是given_entities [O, B-MISC, I-MISC, B-PER, I-PER, B-ORG, I-ORG, B-LOC, I-LOC] entities [O, MISC, PER, ORG, LOC] # maps [0, 1, 1, 2, 2, 3, 3, 4, 4] labels [mapping(labels, maps) for labels in given_labels]即将 CoNLL-2003 的 9 类标签映射为 5 类。需要指出的是直接对 token 级标签做合并时I-PER与B-PER会被映射为同一个类此时 cleanlab 不再区分实体边界若你的业务需要保留边界信息应结合具体情况评估这一合并是否可接受。实现上mapping就是一个简单的map(f, entities)其中f lambda x: maps[x]源码 L161-L162。六、概率合并merge_probsdef merge_probs( probs: npt.NDArray[np.floating[T]], maps: List[int] ) - npt.NDArray[np.floating[T]]:该函数按映射规则合并模型的预测概率矩阵是mapping在概率层面的对应物也是整个模块中最有算法含量、最容易用错的函数。输入与输出probs形状为(N, K)的二维数组N 为 token 数K 为模型的类别数maps映射索引列表含义是token 属于第 i 类的概率被合并到maps[i]索引对应的新类。若maps[i] -1则probs的第 i 列被忽略当maps中存在-1时返回值会重新归一化返回值probs_merged形状为(N, K)的二维数组K 为新类别数其中K max(maps) 1。示例 import numpy as np from cleanlab.internal.token_classification_utils import merge_probs probs np.array([ ... [0.55, 0.0125, 0.0375, 0.1, 0.3], ... [0.1, 0.8, 0, 0.075, 0.025], ... ]) maps [0, 1, 1, 2, 2] merge_probs(probs, maps) array([[0.55, 0.05, 0.4 ], [0.1 , 0.8 , 0.1 ]])以第一行为例原 5 类概率[0.55, 0.0125, 0.0375, 0.1, 0.3]中第 0 类独立成新类 0第 1、2 类合并为0.0125 0.0375 0.05成为新类 1第 3、4 类合并为0.1 0.3 0.4成为新类 2。实现原理源码 L200-L210由max(maps) 1确定新类别数初始化全零矩阵probs_merged遍历旧的 K 列只要maps[i] 0就把第 i 列累加到新矩阵的第maps[i]列-1对应的列被丢弃若maps中含-1由于被丢弃的概率导致行和小于 1需按行做归一化probs_merged / row_sums[:, np.newaxis]。关于-1的归一化行为由 tests/test_token_classification.py 中的test_merge_probs_with_normalization明确验证当忽略类 0 时norm_maps [-1, 1, 0, 1]probs[0] [0.9, 0.1, 0]合并归一化后变为[0.0, 1.0]当忽略类 1 时norm_maps [0, -1, 0, 1]同一行概率变为[1.0, 0.0]。也就是说被忽略类的概率会被重新分配而不是简单丢弃这保证了合并后的概率矩阵仍满足每行和为 1的概率语义可安全地用于后续基于 Confident Learning 的错误标签估计。七、问题 token 高亮color_sentence 与 _replace_sentencedef color_sentence(sentence: str, word: str) - str: def _replace_sentence(sentence: str, word: str, new_word: str) - str:color_sentence在句子中查找指定 token并把该 token 的所有出现位置用红色高亮后返回高亮通过termcolor.colored(word, red, force_colorTrue)实现输出形如This is a \x1b[31msentence\x1b[0m.其中\x1b[31m是 ANSI 红色转义码\x1b[0m是重置码。_replace_sentence是其通用底层实现负责把句子中所有匹配的 token 替换为任意new_word。实现要点源码 L270-L276首选基于正则的re.subn(r\b{}\b.format(re.escape(word)), new_word, sentence)其中\b单词边界保证只匹配完整词、不匹配子串如搜索I不会误伤If中的Ire.escape保证括号等正则元字符被安全处理若正则替换计数为 0例如搜索词本身含特殊边界情形导致匹配失败则回退到朴素的sentence.replace(word, new_word)保证函数在极端输入下仍能工作。由测试确认的关键边界行为tests/test_token_classification.py 中test_color_sentence与test_replace_sentence的参数化用例支持多 token 匹配I think I know this中搜索I两处I都被高亮区分大小写A good reason for a test中搜索a只高亮小写a首字母大写的A不受影响支持子串式短语匹配搜索ab a时ab ab a b ab中只有满足单词边界的ab a被替换ab ab ab ab中则得到两个互不重叠的替换正则元字符安全搜索(时re.escape保证左括号按字面匹配而非被解释为分组符号该用例对应 issue #403 的修复。color_sentence是summary.display_issues可视化输出的核心先由get_sentence重建句子再对问题 token 调用color_sentence(sentence, word)最终在终端/notebook 中呈现红色高亮问题词 附带 given/predicted 标签的效果见 cleanlab/token_classification/summary.py。八、如何在实战流程中组合使用这些工具这些内部函数并非孤立存在而是贯穿 cleanlab token 分类数据质量分析全流程。以 token_classification 教程 与 公开 API 为参照完整链路如下预处理阶段读取原始语料 →get_sentence重建句子 →filter_sentence剔除噪声行 →mapping合并细粒度实体标签可选→ 若 token 中含#等特殊字符可用process_token清洗问题查找阶段调用 filter.find_label_issues内部基于 Confident Learning或 rank.get_label_quality_scores 获得(i, j)形式的问题坐标或质量分数可视化与汇总阶段summary.display_issues借助get_sentencecolor_sentence高亮展示问题句子summary.common_label_issues统计最常出错的高频 token。需要注意的是本模块属于 cleanlab 的内部实现位于cleanlab/internal/下接口没有对外部用户做出稳定兼容承诺。教程中直接使用get_sentence、filter_sentence、mapping等函数属于官方推荐的复用方式而其余函数如merge_probs、process_token则更多作为理解 cleanlab 内部机制与二次开发的参考素材。若你需要构建自己的序列标注数据质量分析管线可以放心借鉴本文介绍的这些函数及其在 tests/test_token_classification.py 中的测试用例所保证的行为边界。九、总结cleanlab.internal.token_classification_utils虽小却是 cleanlab token 分类数据质量模块的地基get_sentence与color_sentence支撑起问题可视化filter_sentence与process_token负责数据预处理mapping与merge_probs则解决 BIO 标签体系与模型概率向粗粒度实体类对齐的关键问题后者还通过-1语义与重归一化保证了概率的合法性。理解这 7 个函数就等于掌握了 cleanlab 在序列标注场景下如何把原始语料变成可分析的数据、把分析结果变成可读的报告这一完整技术链条。【免费下载链接】cleanlabCleanlabs open-source library is the standard>项目地址: https://gitcode.com/GitHub_Trending/cl/cleanlab创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考