LLM 训练数据工程深度解析：从数据采集到质量控制的完整流水线目录文章目录LLM 训练数据工程深度解析：从数据采集到质量控制的完整流水线目录摘要训练数据工程的重要性数据质量决定模型上限数据工程的核心挑战数据采集与来源Web 数据：Common Crawl 处理代码数据：GitHub 与开源代码书籍与学术文献多语言数据数据预处理流水线文本清洗与规范化语言识别与过滤质量评估与过滤数据去重技术详解去重的重要性Exact Deduplication（精确去重）Fuzzy Deduplication（模糊去重）Semantic Deduplication（语义去重）三级去重策略组合PII 脱敏与隐私保护PII（个人身份信息）类型PII 识别技术脱敏策略合成数据生成基于 LLM 的合成数据生成合成数据质量控制数据混合与配比策略数据混合原则典型数据配比示例企业实践案例数据流水线架构总结参考资料摘要大模型的性能上限由训练数据质量决定——"Garbage In, Garbage Out"的铁律在 LLM 预训练中尤为显著。GPT-4、Claude 4、Llama 4 等前沿模型背后，是数万亿 token 的高质量训练数据，这些数据经过精密的工程化处理流程：多源采集、质量过滤、多级去重、隐私脱敏、语言识别、毒性过滤、以及合成数据增强。本文深入解析 LLM 训练数据工程的核心方法论，涵盖 Web 数据采集（Common Crawl 处理）、去重技术三阶段（精确去重、MinHash 模糊去重、语义去重）、PII 脱敏与隐私保护、合成数据生成策略、数据混合配比原则、以及企业级数据流水线架构。读者将掌握构建高质量 LLM 训练数据集的完整技术框架，理解数据质量如何决定模型上限。训练数据工程的重要性数据质量决定模型上限LLM 的性能遵循一个核心规律：训练数据质量上限 = 模型性能上限。即使架构相同，数据质量的差异可能导致 10-30% 的性能差距。┌─────────────────────────────────────────────────────────────┐ │ 数据质量与模型性能关系 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 模型性能 │ │ │ │ │ │ ★ 高质量数据 + 大规模 │ │ │ │ │ │ │ │ ★ 高质量数据 + 中规模 │ │ │ │ │ │ │ │ │ │ ★ 低质量数据 + 大规模 │ │ │ │ │ │ │ │ │ │ │ │ ★ 低质量数据 + 中规模 │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └────────────────────────────────────────────────────────│ │ 数据质量 → │ │ │ │ 结论： │ │ ├── 高质量数据是模型性能的基础 │ │ ├── 数据规模放大高质量数据的优势 │ │ ├── 低质量数据即使大规模也难以达到高性能 │ │ └── 数据工程投入直接影响模型竞争力 │ └─────────────────────────────────────────────────────────────┘数据工程的核心挑战训练万亿级 token 的数据集面临三重挑战：挑战维度具体问题技术难点规模处理 PB 级数据存储成本、计算效率、分布式处理质量过滤低质量内容质量定义、自动检测、阈值设定隐私保护个人信息PII 识别、脱敏策略、合规要求数据质量问题类型：数据质量问题分类： 1. 内容质量问题 ├── 低信息密度内容（重复、模板文本） ├── 低质量内容（语法错误、无意义文本） ├── 毒性内容（仇恨言论、歧视性语言） └── 虚假信息（谣言、错误事实） 2. 结构质量问题 ├── 格式混乱（编码错误、HTML残留） ├── 语言混杂（多语言混合文档） ├── 截断问题（不完整文本） └── 格式不一致（不同数据源格式差异） 3. 隐私安全问题 ├── 个人身份信息（姓名、地址、电话） ├── 敏感数据（医疗记录、财务信息） ├── 未授权内容（版权材料） └── 私密对话（聊天记录、邮件）数据采集与来源Web 数据：Common Crawl 处理Common Crawl 是 LLM 预训练的主要数据来源，每月抓取约 20-25TB 的 Web 页面。┌─────────────────────────────────────────────────────────────┐ │ Common Crawl 数据处理流程 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ Step 1: 数据下载 │ │ ├── WARC 文件：原始 HTTP 响应（含 HTML） │ │ ├── WAT 文件：元数据（URL、时间戳等） │ │ └── 约 200TB 原始数据（多年累积） │ │ │ │ Step 2: 文本提取 │ │ ├── HTML 解析（去除标签、脚本、样式） │ │ ├── 主内容提取（去除导航、广告、侧边栏） │ │ ├── 工具：jusText、trafilatura、 readability │ │ └── 输出：纯文本 + 元数据 │ │ │ │ Step 3: 初步过滤 │ │ ├── URL 过滤（黑名单、成人内容、垃圾站点） │ │ ├── 语言过滤（仅保留目标语言） │ │ ├── 长度过滤（太短文档丢弃） │ │ └── 输出：约 5-10TB 清洗后文本 │ │ │ │ Step 4: 深度处理 │ │ ├── 质量评分（启发式规则 + 模型评分） │ │ ├── 去重（精确 + 模糊 + 语义） │ │ ├── PII 脱敏 │ │ └── 输出：约 1-3TB 高质量文本 │ └─────────────────────────────────────────────────────────────┘Web 数据处理的关键问题：# Web 数据常见问题及处理策略classWebDataProcessor:# 问题1: HTML 残留defclean_html_residuals(self,text):""" 常见 HTML 残留： - 标签残留：div, span, !-- comment -- - CSS 残留：style="...", - JavaScript 残留：script 代码片段 - 编码错误：amp;, lt;, nbsp; """importre# 移除标签text=re.sub(r'[^]+','',text)# 解码 HTML entitiestext=html.unescape(text)# 移除多余空白text=re.sub(r's+',' ',text)returntext.strip()# 问题2: 模板文本defremove_boilerplate(self,text):""" 常见模板文本： - "Click here to subscribe" - "Copyright © 2024..." - "Share on Facebook/Twitter" - "Related articles..." """# 使用启发式规则识别模板boilerplate_patterns=["copyright","subscribe","share on","follow us","click here",]# 或使用 jusText 等工具returnjustext.extract(text)# 问题3: URL 过滤deffilter_urls(self,url):""" 黑名单类型： - 成人内容站点 - 垃圾广告站点 - 恶意软件站点 - 低质量聚合站点 """blacklist=load_url_blacklist()returnurlnotinblacklist代码数据：GitHub 与开源代码代码数据是训练编程能力的关键，Llama 4、DeepSeek 等模型大量使用代码数据。代码数据来源： 1. GitHub 公开仓库 ├── 约 100M+ 公开仓库 ├── 主要语言：Python, JavaScript, Java, C++, Go ├── 文件类型：源代码、配置文件、文档 └── 处理：去除二进制、依赖文件、自动生成代码 2. 开源项目代码 ├── 高质量项目（如 Linux, React, TensorFlow） ├── 经过人工审核的代码 ├── 包含详细文档和注释 └── 价值：高质量示例、最佳实践 3. 编程问答数据 ├── Stack Overflow 问答 ├── 包含问题描述 + 代码解决方案 ├── 用户投票反映质量 └── 价值：问题-答案对，实用性强 代码数据预处理： ├── 语言识别（按编程语言分类） ├── 代码质量过滤（去除低质量代码） ├── 依赖排除（package.json, requirements.txt） ├── 自动生成代码排除（minified, transpiled） └── 注释与文档分离处理书籍与学术文献高信息密度数据提供深度知识和专业内容。书籍数据来源： 1. 公开书籍数据集 ├── Books3：约 100K+ 书籍（已下架） ├── Gutenberg Project：约 70K+ 公版书籍 ├── Open Library：元数据 + 部分全文 └── 处理：版权检查、格式转换、质量筛选 2. 学术文献 ├── arXiv：约 2M+ 论文（数学、物理、CS） ├── PubMed：约 35M+ 医学文献摘要 ├── Semantic Scholar：约 200M+ 论文元数据 └── 处理：PDF解析、公式处理、引用提取 书籍数据处理： ├── PDF/EPUB 转文本 ├── 章节/段落结构保留 ├── 公式/表格处理（LaTeX保留或文本化） ├── 目录/索引分离 └── 质量评分（完整性、可读性）多语言数据多语言能力需要多语言训练数据。┌─────────────────────────────────────────────────────────────┐ │ 多语言数据处理 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 语言分布策略： │ │ ├── 英语：60-70%（主要技术文档、Web 内容） │ │ ├── 中文：10-15%（中文 Web、书籍、问答） │ │ ├── 其他语言：15-25%（多语言覆盖） │ │ │ │ 多语言数据来源： │ │ ├── Wikipedia（300+ 语言版本） │ │ ├── Common Crawl（按语言过滤） │ │ ├── 新闻网站（各国主流媒体） │ │ ├── 本地化文档（产品文档、法律文本） │ │ └── HPLT 数据集（30 trillion tokens，183 语言） │ │ │ │ 语言识别工具： │ │ ├── fastText language identification │ │ ├── langdetect（Python 库） │ │ ├── CLD3（Chrome Language Detector） │ │ ├── 准确率：95%+（主流语言） │ │ │ │ 多语言处理挑战： │ │ ├── 低资源语言数据稀缺 │ │ ├── 语言质量评估标准不一 │ │ ├── 编码问题（非 UTF-8） │ │ ├── 混合语言文档处理 │ └─────────────────────────────────────────────────────────────┘数据预处理流水线文本清洗与规范化┌─────────────────────────────────────────────────────────────┐ │ 文本清洗流水线 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 输入：原始文本 │ │ │ │ │ ↓ │ │ Step 1: 编码统一 │ │ ├── 统一转换为 UTF-8 │ │ ├── 处理编码错误（替换无效字节） │ │ └── 检测真实编码（如误标 UTF-8 实际 GBK） │ │ │ │ │ ↓ │ │ Step 2: HTML/XML 清洗 │ │ ├── 移除标签（tag） │ │ ├── 解码 HTML entities（amp; → ） │ │ ├── 移除 CSS/JavaScript 残留 │ │ │ │ │ ↓ │ │ Step 3: 模板文本移除 │ │ ├── 识别并移除 boilerplate │ │ ├── 移除版权声明、导航链接 │ │ ├── 保留核心内容 │ │ │ │ │ ↓ │ │ Step 4: 空白字符规范化 │ │ ├── 多空格 → 单空格 │ │ ├── 多换行 → 单换行 │ │ ├── 移除行首/行尾空白 │ │ │ │ │ ↓ │ │ Step 5: Unicode 规范化 │ │ ├── NFC 规范化（组合字符） │ │ ├── 移除不可见字符（零宽空格等） │ │ ├── 处理特殊 Unicode 字符 │ │ │ │ │ ↓ │ │ 输出：清洗后文本 │ └─────────────────────────────────────────────────────────────┘清洗代码示例：# 文本清洗流水线实现importreimporthtmlimportunicodedataclassTextCleaner:defclean(self,text:str)-str:"""完整清洗流程"""# Step 1: 编码统一（假设输入已正确解码）text=self.normalize_encoding(text)# Step 2: HTML 清洗text=self.clean_html(text)# Step 3: 模板文本移除text=self.remove_boilerplate(text)# Step 4: 空白规范化text=self.normalize_whitespace(text)# Step 5: Unicode 规范化text=self.normalize_unicode(text)returntext.strip()defclean_html(self,text:str)-str:"""移除 HTML 残留"""# 移除标签text=re.sub(r'[^]+','',text)# 解码 HTML entitiestext=html.unescape(text)# 移除 URL 编码残留text=re.sub(r'%[0-9A-Fa-f]{2}','',text)returntextdefnormalize_whitespace(self,text:str)-str:"""空白规范化"""# 多空格 → 单空格text=re.sub(r' +',' ',text)# 多换行 → 双换行（保留段落结构）text=re.sub(r'{3,}', '',text)# 移除行首行尾空白lines=[line.strip()forlineintext.split(' ')]return' '.join(lines)defnormalize_unicode(self,text:str)-str:"""Unicode 规范化"""# NFC 规范化text=unicodedata.normalize('NFC',text)# 移除不可见字符invisible_chars=['',# 零宽空格'',# 零宽非连接符'',# 零宽连接符'',# 零宽非断空格]forcharininvisible_chars:text=text.replace(char,'')returntext语言识别与过滤# 语言识别与过滤实现importfasttextclassLanguageFilter:def__init__
LLM 训练数据工程深度解析：从数据采集到质量控制的完整流水线
发布时间：2026/6/22 16:35:00
LLM 训练数据工程深度解析：从数据采集到质量控制的完整流水线目录文章目录LLM 训练数据工程深度解析：从数据采集到质量控制的完整流水线目录摘要训练数据工程的重要性数据质量决定模型上限数据工程的核心挑战数据采集与来源Web 数据：Common Crawl 处理代码数据：GitHub 与开源代码书籍与学术文献多语言数据数据预处理流水线文本清洗与规范化语言识别与过滤质量评估与过滤数据去重技术详解去重的重要性Exact Deduplication（精确去重）Fuzzy Deduplication（模糊去重）Semantic Deduplication（语义去重）三级去重策略组合PII 脱敏与隐私保护PII（个人身份信息）类型PII 识别技术脱敏策略合成数据生成基于 LLM 的合成数据生成合成数据质量控制数据混合与配比策略数据混合原则典型数据配比示例企业实践案例数据流水线架构总结参考资料摘要大模型的性能上限由训练数据质量决定——"Garbage In, Garbage Out"的铁律在 LLM 预训练中尤为显著。GPT-4、Claude 4、Llama 4 等前沿模型背后，是数万亿 token 的高质量训练数据，这些数据经过精密的工程化处理流程：多源采集、质量过滤、多级去重、隐私脱敏、语言识别、毒性过滤、以及合成数据增强。本文深入解析 LLM 训练数据工程的核心方法论，涵盖 Web 数据采集（Common Crawl 处理）、去重技术三阶段（精确去重、MinHash 模糊去重、语义去重）、PII 脱敏与隐私保护、合成数据生成策略、数据混合配比原则、以及企业级数据流水线架构。读者将掌握构建高质量 LLM 训练数据集的完整技术框架，理解数据质量如何决定模型上限。训练数据工程的重要性数据质量决定模型上限LLM 的性能遵循一个核心规律：训练数据质量上限 = 模型性能上限。即使架构相同，数据质量的差异可能导致 10-30% 的性能差距。┌─────────────────────────────────────────────────────────────┐ │ 数据质量与模型性能关系 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 模型性能 │ │ │ │ │ │ ★ 高质量数据 + 大规模 │ │ │ │ │ │ │ │ ★ 高质量数据 + 中规模 │ │ │ │ │ │ │ │ │ │ ★ 低质量数据 + 大规模 │ │ │ │ │ │ │ │ │ │ │ │ ★ 低质量数据 + 中规模 │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ │ └────────────────────────────────────────────────────────│ │ 数据质量 → │ │ │ │ 结论： │ │ ├── 高质量数据是模型性能的基础 │ │ ├── 数据规模放大高质量数据的优势 │ │ ├── 低质量数据即使大规模也难以达到高性能 │ │ └── 数据工程投入直接影响模型竞争力 │ └─────────────────────────────────────────────────────────────┘数据工程的核心挑战训练万亿级 token 的数据集面临三重挑战：挑战维度具体问题技术难点规模处理 PB 级数据存储成本、计算效率、分布式处理质量过滤低质量内容质量定义、自动检测、阈值设定隐私保护个人信息PII 识别、脱敏策略、合规要求数据质量问题类型：数据质量问题分类： 1. 内容质量问题 ├── 低信息密度内容（重复、模板文本） ├── 低质量内容（语法错误、无意义文本） ├── 毒性内容（仇恨言论、歧视性语言） └── 虚假信息（谣言、错误事实） 2. 结构质量问题 ├── 格式混乱（编码错误、HTML残留） ├── 语言混杂（多语言混合文档） ├── 截断问题（不完整文本） └── 格式不一致（不同数据源格式差异） 3. 隐私安全问题 ├── 个人身份信息（姓名、地址、电话） ├── 敏感数据（医疗记录、财务信息） ├── 未授权内容（版权材料） └── 私密对话（聊天记录、邮件）数据采集与来源Web 数据：Common Crawl 处理Common Crawl 是 LLM 预训练的主要数据来源，每月抓取约 20-25TB 的 Web 页面。┌─────────────────────────────────────────────────────────────┐ │ Common Crawl 数据处理流程 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ Step 1: 数据下载 │ │ ├── WARC 文件：原始 HTTP 响应（含 HTML） │ │ ├── WAT 文件：元数据（URL、时间戳等） │ │ └── 约 200TB 原始数据（多年累积） │ │ │ │ Step 2: 文本提取 │ │ ├── HTML 解析（去除标签、脚本、样式） │ │ ├── 主内容提取（去除导航、广告、侧边栏） │ │ ├── 工具：jusText、trafilatura、 readability │ │ └── 输出：纯文本 + 元数据 │ │ │ │ Step 3: 初步过滤 │ │ ├── URL 过滤（黑名单、成人内容、垃圾站点） │ │ ├── 语言过滤（仅保留目标语言） │ │ ├── 长度过滤（太短文档丢弃） │ │ └── 输出：约 5-10TB 清洗后文本 │ │ │ │ Step 4: 深度处理 │ │ ├── 质量评分（启发式规则 + 模型评分） │ │ ├── 去重（精确 + 模糊 + 语义） │ │ ├── PII 脱敏 │ │ └── 输出：约 1-3TB 高质量文本 │ └─────────────────────────────────────────────────────────────┘Web 数据处理的关键问题：# Web 数据常见问题及处理策略classWebDataProcessor:# 问题1: HTML 残留defclean_html_residuals(self,text):""" 常见 HTML 残留： - 标签残留：div, span, !-- comment -- - CSS 残留：style="...", - JavaScript 残留：script 代码片段 - 编码错误：amp;, lt;, nbsp; """importre# 移除标签text=re.sub(r'[^]+','',text)# 解码 HTML entitiestext=html.unescape(text)# 移除多余空白text=re.sub(r's+',' ',text)returntext.strip()# 问题2: 模板文本defremove_boilerplate(self,text):""" 常见模板文本： - "Click here to subscribe" - "Copyright © 2024..." - "Share on Facebook/Twitter" - "Related articles..." """# 使用启发式规则识别模板boilerplate_patterns=["copyright","subscribe","share on","follow us","click here",]# 或使用 jusText 等工具returnjustext.extract(text)# 问题3: URL 过滤deffilter_urls(self,url):""" 黑名单类型： - 成人内容站点 - 垃圾广告站点 - 恶意软件站点 - 低质量聚合站点 """blacklist=load_url_blacklist()returnurlnotinblacklist代码数据：GitHub 与开源代码代码数据是训练编程能力的关键，Llama 4、DeepSeek 等模型大量使用代码数据。代码数据来源： 1. GitHub 公开仓库 ├── 约 100M+ 公开仓库 ├── 主要语言：Python, JavaScript, Java, C++, Go ├── 文件类型：源代码、配置文件、文档 └── 处理：去除二进制、依赖文件、自动生成代码 2. 开源项目代码 ├── 高质量项目（如 Linux, React, TensorFlow） ├── 经过人工审核的代码 ├── 包含详细文档和注释 └── 价值：高质量示例、最佳实践 3. 编程问答数据 ├── Stack Overflow 问答 ├── 包含问题描述 + 代码解决方案 ├── 用户投票反映质量 └── 价值：问题-答案对，实用性强 代码数据预处理： ├── 语言识别（按编程语言分类） ├── 代码质量过滤（去除低质量代码） ├── 依赖排除（package.json, requirements.txt） ├── 自动生成代码排除（minified, transpiled） └── 注释与文档分离处理书籍与学术文献高信息密度数据提供深度知识和专业内容。书籍数据来源： 1. 公开书籍数据集 ├── Books3：约 100K+ 书籍（已下架） ├── Gutenberg Project：约 70K+ 公版书籍 ├── Open Library：元数据 + 部分全文 └── 处理：版权检查、格式转换、质量筛选 2. 学术文献 ├── arXiv：约 2M+ 论文（数学、物理、CS） ├── PubMed：约 35M+ 医学文献摘要 ├── Semantic Scholar：约 200M+ 论文元数据 └── 处理：PDF解析、公式处理、引用提取 书籍数据处理： ├── PDF/EPUB 转文本 ├── 章节/段落结构保留 ├── 公式/表格处理（LaTeX保留或文本化） ├── 目录/索引分离 └── 质量评分（完整性、可读性）多语言数据多语言能力需要多语言训练数据。┌─────────────────────────────────────────────────────────────┐ │ 多语言数据处理 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 语言分布策略： │ │ ├── 英语：60-70%（主要技术文档、Web 内容） │ │ ├── 中文：10-15%（中文 Web、书籍、问答） │ │ ├── 其他语言：15-25%（多语言覆盖） │ │ │ │ 多语言数据来源： │ │ ├── Wikipedia（300+ 语言版本） │ │ ├── Common Crawl（按语言过滤） │ │ ├── 新闻网站（各国主流媒体） │ │ ├── 本地化文档（产品文档、法律文本） │ │ └── HPLT 数据集（30 trillion tokens，183 语言） │ │ │ │ 语言识别工具： │ │ ├── fastText language identification │ │ ├── langdetect（Python 库） │ │ ├── CLD3（Chrome Language Detector） │ │ ├── 准确率：95%+（主流语言） │ │ │ │ 多语言处理挑战： │ │ ├── 低资源语言数据稀缺 │ │ ├── 语言质量评估标准不一 │ │ ├── 编码问题（非 UTF-8） │ │ ├── 混合语言文档处理 │ └─────────────────────────────────────────────────────────────┘数据预处理流水线文本清洗与规范化┌─────────────────────────────────────────────────────────────┐ │ 文本清洗流水线 │ ├─────────────────────────────────────────────────────────────┤ │ │ │ 输入：原始文本 │ │ │ │ │ ↓ │ │ Step 1: 编码统一 │ │ ├── 统一转换为 UTF-8 │ │ ├── 处理编码错误（替换无效字节） │ │ └── 检测真实编码（如误标 UTF-8 实际 GBK） │ │ │ │ │ ↓ │ │ Step 2: HTML/XML 清洗 │ │ ├── 移除标签（tag） │ │ ├── 解码 HTML entities（amp; → ） │ │ ├── 移除 CSS/JavaScript 残留 │ │ │ │ │ ↓ │ │ Step 3: 模板文本移除 │ │ ├── 识别并移除 boilerplate │ │ ├── 移除版权声明、导航链接 │ │ ├── 保留核心内容 │ │ │ │ │ ↓ │ │ Step 4: 空白字符规范化 │ │ ├── 多空格 → 单空格 │ │ ├── 多换行 → 单换行 │ │ ├── 移除行首/行尾空白 │ │ │ │ │ ↓ │ │ Step 5: Unicode 规范化 │ │ ├── NFC 规范化（组合字符） │ │ ├── 移除不可见字符（零宽空格等） │ │ ├── 处理特殊 Unicode 字符 │ │ │ │ │ ↓ │ │ 输出：清洗后文本 │ └─────────────────────────────────────────────────────────────┘清洗代码示例：# 文本清洗流水线实现importreimporthtmlimportunicodedataclassTextCleaner:defclean(self,text:str)-str:"""完整清洗流程"""# Step 1: 编码统一（假设输入已正确解码）text=self.normalize_encoding(text)# Step 2: HTML 清洗text=self.clean_html(text)# Step 3: 模板文本移除text=self.remove_boilerplate(text)# Step 4: 空白规范化text=self.normalize_whitespace(text)# Step 5: Unicode 规范化text=self.normalize_unicode(text)returntext.strip()defclean_html(self,text:str)-str:"""移除 HTML 残留"""# 移除标签text=re.sub(r'[^]+','',text)# 解码 HTML entitiestext=html.unescape(text)# 移除 URL 编码残留text=re.sub(r'%[0-9A-Fa-f]{2}','',text)returntextdefnormalize_whitespace(self,text:str)-str:"""空白规范化"""# 多空格 → 单空格text=re.sub(r' +',' ',text)# 多换行 → 双换行（保留段落结构）text=re.sub(r'{3,}', '',text)# 移除行首行尾空白lines=[line.strip()forlineintext.split(' ')]return' '.join(lines)defnormalize_unicode(self,text:str)-str:"""Unicode 规范化"""# NFC 规范化text=unicodedata.normalize('NFC',text)# 移除不可见字符invisible_chars=['',# 零宽空格'',# 零宽非连接符'',# 零宽连接符'',# 零宽非断空格]forcharininvisible_chars:text=text.replace(char,'')returntext语言识别与过滤# 语言识别与过滤实现importfasttextclassLanguageFilter:def__init__
 CPLD深度解析：从宏单元架构到开发调试实战)
