为 OpenMed 构建黄金标准语料Gold Corpus面向 NER 与去标识化模型的合成标注工程实战指南【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed本文是 OpenMed 技能包building-gold-corpus的深度实战指南。你将学会如何从零搭建一套产出可直接落入 OpenMed eval harness的黄金标准标注项目——包括标签体系label schema、标注规范annotation guidelines、BRAT / Label Studio 工具配置以及无泄漏的 train/dev/test 划分同时理解提交进仓库的内容必须全部为合成数据这一红线以及如何将合成黄金集接入 NER 基准、泄漏门禁与 CI 门禁。读完本文你将具备为 OpenMed NER 与去标识化模型搭建可审计、可复现、可 CI 门禁的黄金评测语料的完整能力。为什么需要黄金语料没有基准就无法度量OpenMed 的定位是本地优先local-first的医疗 AI临床 NER 与 HIPAA PII 去标识化完全在端侧运行不依赖云端。这种场景下模型质量的度量完全取决于评测语料的质量。OpenMed 技能[building-gold-corpus](https://link.gitcode.com/i/ca680113aab103d69242fbb76fdcb3ae)解决的核心问题是你无法度量一个你无法对照的东西You cant evaluate what you cant measure against.。该技能搭建的黄金标准标注项目其产出会直接落入 OpenMed eval harness 作为 fixtures。围绕它的生态还包括[benchmarking-clinical-ner](https://link.gitcode.com/i/6749bed46189caf9e4b02acf89fa1f5e)NER 记分卡、[evaluating-with-leakage-gates](https://link.gitcode.com/i/ce783ad1b0bd7f2b6aef9c876509a570)泄漏门禁与[gating-deid-leakage](https://link.gitcode.com/i/40fd2f8cd7a047d98933e63ee6059b0b)去标识化泄漏门禁等技能。最核心的硬性规则只有一条任何提交进仓库committed的内容都必须是合成数据synthetic。受许可协议保护的临床语料i2b2、n2c2、MIMIC受 DUA数据使用协议门禁约束——只能在评测阶段从使用者自己持有的副本加载绝不提交进仓库。OpenMed fixture 形状你的目标输出格式黄金语料的核心产物是字符偏移character-offset跨度标注必须序列化为 eval harness 能够理解的格式。技能文档给出的标准形状如下{ fixtures: [ { id: synthetic-0001, language: en, text: Ms. Jane Roe (MRN 0000000) seen 2099-01-02 for type 2 diabetes., gold_spans: [ {start: 4, end: 12, label: PERSON}, {start: 18, end: 25, label: ID_NUM}, {start: 32, end: 42, label: DATE}, {start: 47, end: 62, label: DISEASE} ] } ] }关键语义要点start/end是字符索引指向该条 fixture 的text字段采用 Python 切片语义text[start:end]label必须是OpenMed 规范标签canonical label不能随意命名顶层可以是列表也可以是{fixtures: [...]}映射——openmed.eval.harness.load_fixtures两种形状都接受。源码佐证load_fixtures 的真实行为在 openmed/eval/harness.py 中load_fixtures的实现确认了上述约定对.jsonl文件逐非空行解析一个 fixture 对象对.json文件接受顶层 list或包含fixtures列表的 mapping每行/每项都会经过BenchmarkFixture.from_mapping构建随后统一调用_validate_unique_fixture_ids拒绝重复 id。BenchmarkFixtureharness.py是一个 frozen dataclass字段包括fixture_id、text、gold_spans、language默认en与metadata。其from_mapping构造器会读取id/fixture_id、language/lang、gold_spans/entities等键并把gold_spans交给normalize_eval_spans处理——这也是加载时对源文本归一化跨度、并拒绝重复 id的实现来源。因此技能文档中的校验脚本可以直接运行from openmed.eval.harness import load_fixtures fixtures load_fixtures(eval/gold/synthetic/test.json) print(len(fixtures), fixtures;, sum(len(f.gold_spans) for f in fixtures), spans) # load_fixtures normalizes spans against source text and rejects duplicate ids.快速开始搭建项目骨架技能文档建议的目录结构如下eval/gold/放可提交的合成黄金集eval/external/放 gitignore 的 DUA 受限语料eval/ gold/ guidelines.md # annotation manual edge-case decisions label_schema.json # canonical labels definitions examples synthetic/ # COMMITTED synthetic fixtures (CI-gateable) train.json dev.json test.json external/ # GITIGNORED: licensed DUA corpora, eval-only .gitignore # * (never commit i2b2/n2c2/MIMIC)仓库内真实的黄金语料目录遵循相似的组织方式[openmed/eval/golden/](https://link.gitcode.com/i/5244b2adee4d573abc29eb82c40676fb)下有loader.py加载器与fixtures/语料目录语料按类别拆分为多个文件例如[multilingual.json](https://link.gitcode.com/i/9bae4b162bfa2ba6bea0052db9c90e23)、chunk_boundary.json、checksum_ids.json、date_arithmetic.json、india_health_ids.json、hard_negatives.json、critical_findings.json等以及一批.jsonl专用语料详见[openmed/eval/golden/loader.py](https://link.gitcode.com/i/ff72bc33bcf8fa4919e5ceb3fcb618ee)中列出的_SPECIALIZED_FIXTURE_NAMES。你可以参考这些真实文件来理解什么样的标注才算合格。七步工作流从标签体系到提交门禁第 1 步定义标签体系label schema优先复用 OpenMed 规范标签PERSON、DATE、ID_NUM、EMAIL、PHONE、DISEASE、DRUG等。每个标签需要配套一行定义one-line definitionin/out 示例正例与反例边界规则boundary rule——例如是否包含称呼头衔titles是否包含尾随标点为什么必须用规范标签源码给出了硬性约束。openmed/eval/golden/loader.py 的_validate_raw_span_labels会调用normalize_label校验每个 gold span 的标签要求标签经归一化后必须与原始值一致且属于CANONICAL_LABELS集合否则直接抛错gold span label must be canonical。CANONICAL_LABELS定义在 openmed/core/labels.py 中集合非常庞大除PERSON、DATE、ID_NUM等基础类外还包括SSN、ACCOUNT_NUMBER、CREDIT_CARD、IBAN、BITCOIN_ADDRESS、IP_ADDRESS、VIN、IMEI等金融/设备标识符以及DISEASE、DRUG、CHEMICAL、GENE_OR_GENE_PRODUCT等临床实体。设计自己的标签前先查这份清单。第 2 步编写标注规范annotation guidelines标注手册是契约the manual is the contract必须明确约定跨度边界span boundaries嵌套/重叠策略nested/overlapping policy歧义案例的处理决策日志decision log把真实案例追加进去强制做出裁决。技能文档强调含糊的规范 → 低标注一致性 → 不可用的黄金集Vague guidelines → low agreement → unusable gold。第 3 步生成合成源文本synthetic source text撰写真实感的临床叙述但标识符全部虚构Faker 风格的人名不可能的日期如2099-开头全零的 MRN 等。绝对禁止把真实病历粘贴进已提交数据。这也是 OpenMed 全项目的一致原则GoldenFixture.from_mapping在 loader.py 强制metadata.synthetic必须为True否则抛错_is_dua_source_markerloader.py还会扫描source/source_dataset字段若出现dua、i2b2、n2c2、mimic标记则拒绝加载——从加载器层面杜绝 DUA 数据混入。仓库真实示例[multilingual.json](https://link.gitcode.com/i/9bae4b162bfa2ba6bea0052db9c90e23#L1-L29)展示了合格 fixture 的样子文本Synthetic chart lists SSN 123-45-6789 for test patient.gold span 标注SSN26–37metadata.synthetic: true并附带expected_output期望的脱敏输出供后续校验{ gold_spans: [ {end: 37, label: SSN, metadata: {checksum_status: valid, identifier_type: ssn}, start: 26, text: 123-45-6789} ], id: golden-multilingual-en-ssn, language: en, metadata: { category: multilingual, expected_output: {method: mask, text: Synthetic chart lists SSN [SSN] for test patient.}, identifier_type: ssn, locale: en_US, synthetic: true }, text: Synthetic chart lists SSN 123-45-6789 for test patient. }注意该例在 span 内直接带text字段——_validate_offsetsloader.py会校验text[start:end]与声明的span.text完全一致不一致直接拒绝这是防止偏移漂移的第一道防线。第 4 步配置标注工具BRAT使用annotation.conf定义实体类型产出.annstandoff 格式标注Label Studio使用 labeling-config XML 定义标注界面产出 JSON。两者都需要把导出结果映射回上文所述的 fixture 形状字符偏移 规范标签。技能文档提供了参考链接BRAT 的 standoff 格式说明见 https://brat.nlplab.org/standoff.htmlLabel Studio 的标注配置标签见 https://labelstud.io/tags/。第 5 步双重标注并度量一致性让≥2 名标注者标注同一重叠集overlap set计算跨度级标注者间一致性inter-annotator agreementIAA常用span-level F1或Cohens κ对分歧进行仲裁adjudicate把仲裁结论折入决策日志。技能文档引用了 Carletta 关于 NLP 中 κ 的经典文献https://aclanthology.org/J96-2004/作为方法学依据。仓库中还内置了一个可直接复用的参考实现[openmed/eval/golden/fixtures/consensus_corpus.jsonl](https://link.gitcode.com/i/81185497064d33b191e1b8f9e4ada73c)是已提交的合成多标注者共识语料每条记录包含源文本、至少两名标注者的导出结果以及仲裁后的共识视图span 与关系通过load_consensus_corpusloader.py加载——它对双重标注 仲裁这一环节给出了机器可读的落地形态要求每条记录至少两个标注者且全部显式标记为 synthetic。第 6 步有纪律地切分split with discipline按文档/患者划分而不是按句子划分partition by document/patient, not by sentence。这样保证同一位患者不会同时出现在两个划分中句子级切分会把患者的行文风格与标识符泄漏到 train 和 test 两侧虚高分数。冻结 test 集绝不用于调参Freeze test; never tune on it。第 7 步校验并提交运行load_fixtures确认跨度对齐、id 唯一只提交合成划分。OpenMed 的 golden loader 在加载时会执行一整套强校验loader.py 的load_golden_fixtures.json文件必须带version且synthetic必须为True每个 fixture 的metadata.synthetic、category、语言、文本、id、gold_spans 都有专门校验跨文件重复的 fixture id 会直接报错并指出冲突来源。这些校验意味着提交前的验证不是可选项而是 CI 必然拦截的硬门槛。与 OpenMed 生态的交接黄金集流向哪里技能文档明确了黄金集的上下游交接关系方向目标技能/模块用途输出 →[benchmarking-clinical-ner](https://link.gitcode.com/i/6749bed46189caf9e4b02acf89fa1f5e)dev/test fixtures 喂给run_suite与error_report产出 NER 记分卡输出 →[evaluating-with-leakage-gates](https://link.gitcode.com/i/ce783ad1b0bd7f2b6aef9c876509a570)/[gating-deid-leakage](https://link.gitcode.com/i/40fd2f8cd7a047d98933e63ee6059b0b)合成 held-out 集正是 release gates 与 CI 门禁的运行对象输出 →[building-with-openmed](https://link.gitcode.com/i/5cd901ff53e43a66bf4cc6e566d9d45d)可通过openmed.deidentify(methodreplace)执行 surrogate 替换来生成合成病历配对 →[auditing-subgroup-fairness](https://link.gitcode.com/i/ae5081f3bfb0b7f586d513a2d83ec624)为每个 gold span 打上group标签放metadatafairness_report即可按人口统计 surrogate 切片公平性标注的关键约束打的是合成的group标签不是真实人口统计属性——真实受保护属性不允许存进语料。边界情况与陷阱清单技能文档列出的 gotchas 值得逐条重视提交 合成没有例外。即使仓库是私有的真实 PHI 出现在仓库中也构成违规。生成标识符不要转写它们。DUA 数据仅限评测使用。i2b2/n2c2/MIMIC 只能从 gitignore 的eval/external/在运行时按用户许可证加载结果可以报告数据绝不共享。i2b2/n2c2 的标注规范传统可参考 https://www.i2b2.org/NLP/ 与 https://n2c2.dbmi.hms.harvard.edu/。按患者切分不要按行切分。句子级切分会造成跨划分泄漏并虚高分数。偏移必须是这条text的字符索引。重新分词re-tokenization或空白编辑会静默偏移跨度——修改文本后必须用load_fixtures重新校验。这正是normalize_eval_spansopenmed/eval/metrics.py在加载时对源文本归一化跨度、以及_validate_offsets核对text[start:end]的原因。标注的是公平性 surrogate不是真实人口属性。用合成group标签放 spanmetadata。决策日志是黄金集的真相来源source of truth。没有它两次重新标注会产生分歧天花板F1 就只是噪声。深入harness 如何消费你的黄金集黄金集最终进入评测流水线后跨度匹配与指标计算由[openmed/eval/metrics.py](https://link.gitcode.com/i/c2e112c068c15f706813491d4f7b3616)承担。技能文档与源码共同指向两个核心口径compute_exact_span_f1metrics.py严格跨度匹配——预测跨度与 gold 跨度的起止与标签完全一致才计为命中这是去标识化场景最严的口径compute_relaxed_span_f1metrics.py宽松跨度匹配——允许一定程度的边界松弛用于评估实体大致位置对、边界略偏时的实际影响。评测结果会进入BenchmarkReportopenmed/eval/report.py统一产出供记分卡、泄漏门禁与模型卡引用。这意味着你构建的黄金集质量直接决定这些下游产物是否可信——标注规范与决策日志的严谨性就是整个评测体系的地基。小结为 OpenMed 构建黄金语料本质上是把评测什么这件事工程化复用CANONICAL_LABELS定义标签体系编写作为契约的标注规范用虚构标识符生成合成临床文本绝不让真实 PHI 进入仓库配置 BRAT / Label Studio 完成双重标注、度量 IAA、仲裁并沉淀决策日志按患者/文档切分出冻结的 test 集用load_fixtures校验后只提交合成划分让它们通过 OpenMed eval harness 流入 NER 记分卡与 CI 泄漏门禁。从openmed/eval/harness.py的load_fixtures/BenchmarkFixture到openmed/eval/golden/loader.py的GoldenFixture强校验再到openmed/eval/golden/fixtures/下真实存在的合成语料OpenMed 仓库为这条链路提供了完整的落点——你的工作就是让标注产出的每一行 JSON 都能通过这条链路的检验。【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 为 OpenMed 构建黄金标准语料（Gold Corpus）：面向 NER 与去标识化模型的合成标注工程实战指南
为 OpenMed 构建黄金标准语料Gold Corpus面向 NER 与去标识化模型的合成标注工程实战指南【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed本文是 OpenMed 技能包building-gold-corpus的深度实战指南。你将学会如何从零搭建一套产出可直接落入 OpenMed eval harness的黄金标准标注项目——包括标签体系label schema、标注规范annotation guidelines、BRAT / Label Studio 工具配置以及无泄漏的 train/dev/test 划分同时理解提交进仓库的内容必须全部为合成数据这一红线以及如何将合成黄金集接入 NER 基准、泄漏门禁与 CI 门禁。读完本文你将具备为 OpenMed NER 与去标识化模型搭建可审计、可复现、可 CI 门禁的黄金评测语料的完整能力。为什么需要黄金语料没有基准就无法度量OpenMed 的定位是本地优先local-first的医疗 AI临床 NER 与 HIPAA PII 去标识化完全在端侧运行不依赖云端。这种场景下模型质量的度量完全取决于评测语料的质量。OpenMed 技能[building-gold-corpus](https://link.gitcode.com/i/ca680113aab103d69242fbb76fdcb3ae)解决的核心问题是你无法度量一个你无法对照的东西You cant evaluate what you cant measure against.。该技能搭建的黄金标准标注项目其产出会直接落入 OpenMed eval harness 作为 fixtures。围绕它的生态还包括[benchmarking-clinical-ner](https://link.gitcode.com/i/6749bed46189caf9e4b02acf89fa1f5e)NER 记分卡、[evaluating-with-leakage-gates](https://link.gitcode.com/i/ce783ad1b0bd7f2b6aef9c876509a570)泄漏门禁与[gating-deid-leakage](https://link.gitcode.com/i/40fd2f8cd7a047d98933e63ee6059b0b)去标识化泄漏门禁等技能。最核心的硬性规则只有一条任何提交进仓库committed的内容都必须是合成数据synthetic。受许可协议保护的临床语料i2b2、n2c2、MIMIC受 DUA数据使用协议门禁约束——只能在评测阶段从使用者自己持有的副本加载绝不提交进仓库。OpenMed fixture 形状你的目标输出格式黄金语料的核心产物是字符偏移character-offset跨度标注必须序列化为 eval harness 能够理解的格式。技能文档给出的标准形状如下{ fixtures: [ { id: synthetic-0001, language: en, text: Ms. Jane Roe (MRN 0000000) seen 2099-01-02 for type 2 diabetes., gold_spans: [ {start: 4, end: 12, label: PERSON}, {start: 18, end: 25, label: ID_NUM}, {start: 32, end: 42, label: DATE}, {start: 47, end: 62, label: DISEASE} ] } ] }关键语义要点start/end是字符索引指向该条 fixture 的text字段采用 Python 切片语义text[start:end]label必须是OpenMed 规范标签canonical label不能随意命名顶层可以是列表也可以是{fixtures: [...]}映射——openmed.eval.harness.load_fixtures两种形状都接受。源码佐证load_fixtures 的真实行为在 openmed/eval/harness.py 中load_fixtures的实现确认了上述约定对.jsonl文件逐非空行解析一个 fixture 对象对.json文件接受顶层 list或包含fixtures列表的 mapping每行/每项都会经过BenchmarkFixture.from_mapping构建随后统一调用_validate_unique_fixture_ids拒绝重复 id。BenchmarkFixtureharness.py是一个 frozen dataclass字段包括fixture_id、text、gold_spans、language默认en与metadata。其from_mapping构造器会读取id/fixture_id、language/lang、gold_spans/entities等键并把gold_spans交给normalize_eval_spans处理——这也是加载时对源文本归一化跨度、并拒绝重复 id的实现来源。因此技能文档中的校验脚本可以直接运行from openmed.eval.harness import load_fixtures fixtures load_fixtures(eval/gold/synthetic/test.json) print(len(fixtures), fixtures;, sum(len(f.gold_spans) for f in fixtures), spans) # load_fixtures normalizes spans against source text and rejects duplicate ids.快速开始搭建项目骨架技能文档建议的目录结构如下eval/gold/放可提交的合成黄金集eval/external/放 gitignore 的 DUA 受限语料eval/ gold/ guidelines.md # annotation manual edge-case decisions label_schema.json # canonical labels definitions examples synthetic/ # COMMITTED synthetic fixtures (CI-gateable) train.json dev.json test.json external/ # GITIGNORED: licensed DUA corpora, eval-only .gitignore # * (never commit i2b2/n2c2/MIMIC)仓库内真实的黄金语料目录遵循相似的组织方式[openmed/eval/golden/](https://link.gitcode.com/i/5244b2adee4d573abc29eb82c40676fb)下有loader.py加载器与fixtures/语料目录语料按类别拆分为多个文件例如[multilingual.json](https://link.gitcode.com/i/9bae4b162bfa2ba6bea0052db9c90e23)、chunk_boundary.json、checksum_ids.json、date_arithmetic.json、india_health_ids.json、hard_negatives.json、critical_findings.json等以及一批.jsonl专用语料详见[openmed/eval/golden/loader.py](https://link.gitcode.com/i/ff72bc33bcf8fa4919e5ceb3fcb618ee)中列出的_SPECIALIZED_FIXTURE_NAMES。你可以参考这些真实文件来理解什么样的标注才算合格。七步工作流从标签体系到提交门禁第 1 步定义标签体系label schema优先复用 OpenMed 规范标签PERSON、DATE、ID_NUM、EMAIL、PHONE、DISEASE、DRUG等。每个标签需要配套一行定义one-line definitionin/out 示例正例与反例边界规则boundary rule——例如是否包含称呼头衔titles是否包含尾随标点为什么必须用规范标签源码给出了硬性约束。openmed/eval/golden/loader.py 的_validate_raw_span_labels会调用normalize_label校验每个 gold span 的标签要求标签经归一化后必须与原始值一致且属于CANONICAL_LABELS集合否则直接抛错gold span label must be canonical。CANONICAL_LABELS定义在 openmed/core/labels.py 中集合非常庞大除PERSON、DATE、ID_NUM等基础类外还包括SSN、ACCOUNT_NUMBER、CREDIT_CARD、IBAN、BITCOIN_ADDRESS、IP_ADDRESS、VIN、IMEI等金融/设备标识符以及DISEASE、DRUG、CHEMICAL、GENE_OR_GENE_PRODUCT等临床实体。设计自己的标签前先查这份清单。第 2 步编写标注规范annotation guidelines标注手册是契约the manual is the contract必须明确约定跨度边界span boundaries嵌套/重叠策略nested/overlapping policy歧义案例的处理决策日志decision log把真实案例追加进去强制做出裁决。技能文档强调含糊的规范 → 低标注一致性 → 不可用的黄金集Vague guidelines → low agreement → unusable gold。第 3 步生成合成源文本synthetic source text撰写真实感的临床叙述但标识符全部虚构Faker 风格的人名不可能的日期如2099-开头全零的 MRN 等。绝对禁止把真实病历粘贴进已提交数据。这也是 OpenMed 全项目的一致原则GoldenFixture.from_mapping在 loader.py 强制metadata.synthetic必须为True否则抛错_is_dua_source_markerloader.py还会扫描source/source_dataset字段若出现dua、i2b2、n2c2、mimic标记则拒绝加载——从加载器层面杜绝 DUA 数据混入。仓库真实示例[multilingual.json](https://link.gitcode.com/i/9bae4b162bfa2ba6bea0052db9c90e23#L1-L29)展示了合格 fixture 的样子文本Synthetic chart lists SSN 123-45-6789 for test patient.gold span 标注SSN26–37metadata.synthetic: true并附带expected_output期望的脱敏输出供后续校验{ gold_spans: [ {end: 37, label: SSN, metadata: {checksum_status: valid, identifier_type: ssn}, start: 26, text: 123-45-6789} ], id: golden-multilingual-en-ssn, language: en, metadata: { category: multilingual, expected_output: {method: mask, text: Synthetic chart lists SSN [SSN] for test patient.}, identifier_type: ssn, locale: en_US, synthetic: true }, text: Synthetic chart lists SSN 123-45-6789 for test patient. }注意该例在 span 内直接带text字段——_validate_offsetsloader.py会校验text[start:end]与声明的span.text完全一致不一致直接拒绝这是防止偏移漂移的第一道防线。第 4 步配置标注工具BRAT使用annotation.conf定义实体类型产出.annstandoff 格式标注Label Studio使用 labeling-config XML 定义标注界面产出 JSON。两者都需要把导出结果映射回上文所述的 fixture 形状字符偏移 规范标签。技能文档提供了参考链接BRAT 的 standoff 格式说明见 https://brat.nlplab.org/standoff.htmlLabel Studio 的标注配置标签见 https://labelstud.io/tags/。第 5 步双重标注并度量一致性让≥2 名标注者标注同一重叠集overlap set计算跨度级标注者间一致性inter-annotator agreementIAA常用span-level F1或Cohens κ对分歧进行仲裁adjudicate把仲裁结论折入决策日志。技能文档引用了 Carletta 关于 NLP 中 κ 的经典文献https://aclanthology.org/J96-2004/作为方法学依据。仓库中还内置了一个可直接复用的参考实现[openmed/eval/golden/fixtures/consensus_corpus.jsonl](https://link.gitcode.com/i/81185497064d33b191e1b8f9e4ada73c)是已提交的合成多标注者共识语料每条记录包含源文本、至少两名标注者的导出结果以及仲裁后的共识视图span 与关系通过load_consensus_corpusloader.py加载——它对双重标注 仲裁这一环节给出了机器可读的落地形态要求每条记录至少两个标注者且全部显式标记为 synthetic。第 6 步有纪律地切分split with discipline按文档/患者划分而不是按句子划分partition by document/patient, not by sentence。这样保证同一位患者不会同时出现在两个划分中句子级切分会把患者的行文风格与标识符泄漏到 train 和 test 两侧虚高分数。冻结 test 集绝不用于调参Freeze test; never tune on it。第 7 步校验并提交运行load_fixtures确认跨度对齐、id 唯一只提交合成划分。OpenMed 的 golden loader 在加载时会执行一整套强校验loader.py 的load_golden_fixtures.json文件必须带version且synthetic必须为True每个 fixture 的metadata.synthetic、category、语言、文本、id、gold_spans 都有专门校验跨文件重复的 fixture id 会直接报错并指出冲突来源。这些校验意味着提交前的验证不是可选项而是 CI 必然拦截的硬门槛。与 OpenMed 生态的交接黄金集流向哪里技能文档明确了黄金集的上下游交接关系方向目标技能/模块用途输出 →[benchmarking-clinical-ner](https://link.gitcode.com/i/6749bed46189caf9e4b02acf89fa1f5e)dev/test fixtures 喂给run_suite与error_report产出 NER 记分卡输出 →[evaluating-with-leakage-gates](https://link.gitcode.com/i/ce783ad1b0bd7f2b6aef9c876509a570)/[gating-deid-leakage](https://link.gitcode.com/i/40fd2f8cd7a047d98933e63ee6059b0b)合成 held-out 集正是 release gates 与 CI 门禁的运行对象输出 →[building-with-openmed](https://link.gitcode.com/i/5cd901ff53e43a66bf4cc6e566d9d45d)可通过openmed.deidentify(methodreplace)执行 surrogate 替换来生成合成病历配对 →[auditing-subgroup-fairness](https://link.gitcode.com/i/ae5081f3bfb0b7f586d513a2d83ec624)为每个 gold span 打上group标签放metadatafairness_report即可按人口统计 surrogate 切片公平性标注的关键约束打的是合成的group标签不是真实人口统计属性——真实受保护属性不允许存进语料。边界情况与陷阱清单技能文档列出的 gotchas 值得逐条重视提交 合成没有例外。即使仓库是私有的真实 PHI 出现在仓库中也构成违规。生成标识符不要转写它们。DUA 数据仅限评测使用。i2b2/n2c2/MIMIC 只能从 gitignore 的eval/external/在运行时按用户许可证加载结果可以报告数据绝不共享。i2b2/n2c2 的标注规范传统可参考 https://www.i2b2.org/NLP/ 与 https://n2c2.dbmi.hms.harvard.edu/。按患者切分不要按行切分。句子级切分会造成跨划分泄漏并虚高分数。偏移必须是这条text的字符索引。重新分词re-tokenization或空白编辑会静默偏移跨度——修改文本后必须用load_fixtures重新校验。这正是normalize_eval_spansopenmed/eval/metrics.py在加载时对源文本归一化跨度、以及_validate_offsets核对text[start:end]的原因。标注的是公平性 surrogate不是真实人口属性。用合成group标签放 spanmetadata。决策日志是黄金集的真相来源source of truth。没有它两次重新标注会产生分歧天花板F1 就只是噪声。深入harness 如何消费你的黄金集黄金集最终进入评测流水线后跨度匹配与指标计算由[openmed/eval/metrics.py](https://link.gitcode.com/i/c2e112c068c15f706813491d4f7b3616)承担。技能文档与源码共同指向两个核心口径compute_exact_span_f1metrics.py严格跨度匹配——预测跨度与 gold 跨度的起止与标签完全一致才计为命中这是去标识化场景最严的口径compute_relaxed_span_f1metrics.py宽松跨度匹配——允许一定程度的边界松弛用于评估实体大致位置对、边界略偏时的实际影响。评测结果会进入BenchmarkReportopenmed/eval/report.py统一产出供记分卡、泄漏门禁与模型卡引用。这意味着你构建的黄金集质量直接决定这些下游产物是否可信——标注规范与决策日志的严谨性就是整个评测体系的地基。小结为 OpenMed 构建黄金语料本质上是把评测什么这件事工程化复用CANONICAL_LABELS定义标签体系编写作为契约的标注规范用虚构标识符生成合成临床文本绝不让真实 PHI 进入仓库配置 BRAT / Label Studio 完成双重标注、度量 IAA、仲裁并沉淀决策日志按患者/文档切分出冻结的 test 集用load_fixtures校验后只提交合成划分让它们通过 OpenMed eval harness 流入 NER 记分卡与 CI 泄漏门禁。从openmed/eval/harness.py的load_fixtures/BenchmarkFixture到openmed/eval/golden/loader.py的GoldenFixture强校验再到openmed/eval/golden/fixtures/下真实存在的合成语料OpenMed 仓库为这条链路提供了完整的落点——你的工作就是让标注产出的每一行 JSON 都能通过这条链路的检验。【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考