OpenMed智能实体合并原理揭秘为什么01/15/1970这样的日期不该被切碎【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmedOpenMed 是一个本地优先local-first的医疗 AI 开源项目提供临床命名实体识别clinical NER与 HIPAA PII 去标识化能力2200 医疗模型、21 种语言100% 在设备端运行患者数据不出内网。它的 PII 检测内置了一个叫Smart Entity Merging智能实体合并的机制——本文用 5 分钟讲清楚它为什么存在、怎么工作、以及为什么能防止01/15/1970这样的日期被模型切碎。问题为什么日期会被切碎基于分词器tokenizer的序列标注模型有一个天生的毛病它按 token 逐个打标签而01/15/1970这类带斜杠的日期往往会被切成多个 token每个 token 各打各的标签。于是你看到的是开启智能合并前标签问题01date只有月份片段/15/1970date_of_birth残缺的尾巴这种碎片对生产级去标识化是不可用的掩码后会留下裸露的日期残片HIPAA 合规审查一眼就能挑出毛病。开启智能合并默认开启后两个碎片被合并为一个完整实体01/15/1970label: date_of_birth。原理三步走正则找语义单元模型投票定标签核心逻辑集中在 openmed/core/pii_entity_merger.py 模块extract_pii()与deidentify()默认启用该机制见 openmed/core/pii.py 的use_smart_mergingTrue默认参数。第 1 步正则定位语义单元系统内置了一组带优先级的 PII 正则模式——日期、SSN、电话、邮箱、信用卡、IP、邮编、病历号MRN等 20 余种格式。find_semantic_units()按优先级从高到低扫描文本找到完整语义单元后低优先级的重叠匹配直接丢弃。每个模式不是匹配即满分而是借鉴了 Presidio 的上下文感知评分基础分 上下文加分。比如 SSN 模式基础分只有 0.3毕竟123-45-6789也可能是别的编号但如果附近 100 个字符内出现 SSN、social security 等上下文词加分 0.55 到 0.85再配合校验函数如 SSN 规则、Luhn 算法、美国电话区号规则确认格式合法校验不过则置信度打 3 折。第 2 步模型预测投票选出主导标签对每个语义单元收集所有与之重叠的模型预测片段用calculate_dominant_label()openmed/core/pii_entity_merger.py做聚合统计各标签出现次数取最多的那个平票时选平均置信度更高的标签标签冲突时偏好更具体的——date_of_birthdate、first_namename、ssnidis_more_specific()维护着这张层级表。第 3 步跨度取并集绝不缩小这是安全设计的关键一笔合并后的实体范围 正则单元与所有重叠模型片段的并集源码实现。哪怕某个片段的标签是错的只要模型认为它是 PII它就不会从掩码范围里漏出去——宁可多遮一点绝不漏字。最终置信度按60% 模型 40% 模式融合若校验失败则降级为90% 模型 10% 模式避免高置信度地输出无效实体。效果对比一条病历前后差多少合并前Patient: [first_name] [last_name], DOB: [date][date_of_birth], SSN: [ssn] 合并后Patient: [first_name] [last_name], DOB: [date_of_birth], SSN: [ssn]同一条输入差别就是日期从两个残缺占位符变成一个完整标签——看起来小却是去标识化能不能上线的分水岭。完整示例可参考 docs/pii-smart-merging.md。代价与取舍多花 8%换来完整实体智能合并的开销约为 5%–10% 处理时间一篇 1000 词的病历从约 1.2 秒变为 1.3 秒。在批量场景下这个机制与批处理吞吐叠加CPU 批量比单条快 3.3 倍、MLX 批量快 2.2 倍只有三种情况建议关闭它use_smart_mergingFalse需要原始 token 级预测做分析、正在自研后处理器、或在调试模型本身。生产去标识化请保持默认开启。小结分词模型天生会切碎01/15/1970这类语义单元碎片化实体对 HIPAA 去标识化不可用OpenMed 用正则定边界 模型投票定标签 跨度取并集三步完成智能合并默认开启上下文加分与校验函数让正则不再匹配即满分并集策略保证宁多勿漏代价仅 5%–10% 处理时间收益是干净、完整、可审计的实体输出。想要动手验证可以从 examples/privacy_filter_unified.py 的统一示例入手或直接跑 tests/unit 中的合并测试用例。【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 OpenMed智能实体合并原理揭秘：为什么01/15/1970这样的日期不该被切碎
OpenMed智能实体合并原理揭秘为什么01/15/1970这样的日期不该被切碎【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmedOpenMed 是一个本地优先local-first的医疗 AI 开源项目提供临床命名实体识别clinical NER与 HIPAA PII 去标识化能力2200 医疗模型、21 种语言100% 在设备端运行患者数据不出内网。它的 PII 检测内置了一个叫Smart Entity Merging智能实体合并的机制——本文用 5 分钟讲清楚它为什么存在、怎么工作、以及为什么能防止01/15/1970这样的日期被模型切碎。问题为什么日期会被切碎基于分词器tokenizer的序列标注模型有一个天生的毛病它按 token 逐个打标签而01/15/1970这类带斜杠的日期往往会被切成多个 token每个 token 各打各的标签。于是你看到的是开启智能合并前标签问题01date只有月份片段/15/1970date_of_birth残缺的尾巴这种碎片对生产级去标识化是不可用的掩码后会留下裸露的日期残片HIPAA 合规审查一眼就能挑出毛病。开启智能合并默认开启后两个碎片被合并为一个完整实体01/15/1970label: date_of_birth。原理三步走正则找语义单元模型投票定标签核心逻辑集中在 openmed/core/pii_entity_merger.py 模块extract_pii()与deidentify()默认启用该机制见 openmed/core/pii.py 的use_smart_mergingTrue默认参数。第 1 步正则定位语义单元系统内置了一组带优先级的 PII 正则模式——日期、SSN、电话、邮箱、信用卡、IP、邮编、病历号MRN等 20 余种格式。find_semantic_units()按优先级从高到低扫描文本找到完整语义单元后低优先级的重叠匹配直接丢弃。每个模式不是匹配即满分而是借鉴了 Presidio 的上下文感知评分基础分 上下文加分。比如 SSN 模式基础分只有 0.3毕竟123-45-6789也可能是别的编号但如果附近 100 个字符内出现 SSN、social security 等上下文词加分 0.55 到 0.85再配合校验函数如 SSN 规则、Luhn 算法、美国电话区号规则确认格式合法校验不过则置信度打 3 折。第 2 步模型预测投票选出主导标签对每个语义单元收集所有与之重叠的模型预测片段用calculate_dominant_label()openmed/core/pii_entity_merger.py做聚合统计各标签出现次数取最多的那个平票时选平均置信度更高的标签标签冲突时偏好更具体的——date_of_birthdate、first_namename、ssnidis_more_specific()维护着这张层级表。第 3 步跨度取并集绝不缩小这是安全设计的关键一笔合并后的实体范围 正则单元与所有重叠模型片段的并集源码实现。哪怕某个片段的标签是错的只要模型认为它是 PII它就不会从掩码范围里漏出去——宁可多遮一点绝不漏字。最终置信度按60% 模型 40% 模式融合若校验失败则降级为90% 模型 10% 模式避免高置信度地输出无效实体。效果对比一条病历前后差多少合并前Patient: [first_name] [last_name], DOB: [date][date_of_birth], SSN: [ssn] 合并后Patient: [first_name] [last_name], DOB: [date_of_birth], SSN: [ssn]同一条输入差别就是日期从两个残缺占位符变成一个完整标签——看起来小却是去标识化能不能上线的分水岭。完整示例可参考 docs/pii-smart-merging.md。代价与取舍多花 8%换来完整实体智能合并的开销约为 5%–10% 处理时间一篇 1000 词的病历从约 1.2 秒变为 1.3 秒。在批量场景下这个机制与批处理吞吐叠加CPU 批量比单条快 3.3 倍、MLX 批量快 2.2 倍只有三种情况建议关闭它use_smart_mergingFalse需要原始 token 级预测做分析、正在自研后处理器、或在调试模型本身。生产去标识化请保持默认开启。小结分词模型天生会切碎01/15/1970这类语义单元碎片化实体对 HIPAA 去标识化不可用OpenMed 用正则定边界 模型投票定标签 跨度取并集三步完成智能合并默认开启上下文加分与校验函数让正则不再匹配即满分并集策略保证宁多勿漏代价仅 5%–10% 处理时间收益是干净、完整、可审计的实体输出。想要动手验证可以从 examples/privacy_filter_unified.py 的统一示例入手或直接跑 tests/unit 中的合并测试用例。【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考