简介《ISDA 2002年主协议》中英文对照版采用清洁扫描PDF格式面向衍生品交易员、金融机构法务与合规人员以及金融工程相关专业学生旨在帮助读者快速把握标准合同文本的条款结构并减少因英文法律术语理解偏差产生的实务争议。文件包共含1个PDF正文5页、大小约26KB轻量便于按需查阅已有230人学习参考。内容以中英逐段对照方式呈现第1条释义、第2条义务等核心条款清晰展示主协议、附件与确认书之间的效力层级以及“单一协议”原则、不一致条款的优先级等关键概念解说中还涵盖交易范围、定义术语、违约与终止事件、提前终止权、净额结算、争议解决机制及信用支持附件CSA等衍生品交易核心知识点。对于需要研读ISDA标准文本、起草或审核主协议文件的从业者是一份便于携带和快速定位的案头参考资料。1. 一份 5 页的 ISDA Master Agreement 2002 扫描件为什么值得跑完整 PDF 处理管线拿到《ISDA Master Agreement 2002中英文版_清洁扫描版-5页.pdf》这类文件常见动作是打开看一眼就归档。但扫描件最大的问题不在“清洁”而在它是纯图像文字选不中、搜不到条款编号没法跳转做审计核对时只能肉眼对行。ISDA 主协议是场外衍生品的标准文本第 5 条规范违约事件与终止事件、第 6 条是提前终止、第 14 条是定义术语每一处都会被逐字引用。文字层不可检索等于把合同变成一张合影。下面按“预处理 → OCR → 结构还原 → 验证”的顺序把这类中英对照法律扫描件的处理命令、参数和排错点一次讲透。2. ISDA 扫描件预处理pdf 歪斜校正纠偏、漂白与分辨率判断2.1 先判断扫描 PDF 有没有文字层三条命令无论这份 5 页扫描件来自扫描仪还是复印再扫第一步永远是判断它到底是「有文字层的 PDF」还是「包着 PDF 壳的图片」。这个判断不需要打开阅读器三条命令就够了pdfinfo ISDAMasterAgreement2002_CN_EN.pdf pdftotext ISDAMasterAgreement2002_CN_EN.pdf - | wc -l pdfimages -list ISDAMasterAgreement2002_CN_EN.pdf | head -20第一条看页数、页面尺寸和 PDF 版本第二条直接抓文字流并数行数如果输出是 0说明整份文件没有任何可提取文本也就是典型的扫描件第三条列出页面里嵌入的所有图像对象能看到分辨率、色彩空间和压缩方式。如果手上没有这些命令行工具多数 pdf 工具箱也提供同样的导出和检查入口但命令行更利于参数留痕方便事后回放。这里有个常见误判有人用pdftotext抓出了几行就认为文件自带文字层其实那几行往往是扫描软件自动叠加的页眉或 OCR 水印。判断标准是行数是否接近正常页面的文本量——ISDA 2002 主协议一页正文至少有四十行5 页中文版只出三五行基本可以断定文字层是假的。2.2 纠偏参数300 dpi 与 40% 落在哪里扫描件哪怕是“清洁扫描版”页边距、装订压痕也会让整页文本带 0.5° 到 3° 的偏转。OCR 引擎对倾斜很敏感超过 2° 行切分就开始出错5(a)(ii)这种带括号小写的条款号会频繁混进邻行。先转图再纠偏是常见做法mkdir -p pages pdftoppm -r 300 -png -gray ISDAMasterAgreement2002_CN_EN.pdf pages/p convert pages/p-1.png -deskew 40% pages/p-1-deskew.png-r 300决定 OCR 输入分辨率300 dpi 是中英文书识别的稳妥下限低于这个值中文小字号会糊-gray直接转灰度为后面二值化省一步-deskew 40%里的 40% 是 ImageMagick 的倾斜检测阈值含义是当检测到的斜度置信度低于该值时不做校正数值越大越保守日常扫描件 40% 够用明显歪的页面可以降到 10%。参数作用常用取值-r转图分辨率300 dpi 保底-deskew小角度纠偏40% 保守明显歪用 10%--rotate-pages纠正 90°/180° 方向始终开启--clean-final输出前二次去噪有签章时关闭如果你的目标只是快速得到一份能检索的版本也可以用 ocrmypdf 一条命令把预处理和 OCR 一起做掉后面章节会拆开看每步的作用ocrmypdf --deskew --rotate-pages --clean --clean-final \ -l chi_simeng ISDAMasterAgreement2002_CN_EN.pdf ISDA2002_clean.pdf注意纠偏和旋转是两个独立操作。扫描仪偶尔输出整页倒置--deskew不会纠正必须搭配--rotate-pages或先人工确认方向。2.3 漂白与加深的界线清洁过头会丢什么热词里常看到的「漂白加深清晰」落到图像处理上基本就是灰度拉伸加二值化。一份双栏中英对照的扫描件纸张底色发灰是常态-normalize会把灰底拉成白底-sharpen 0x1让笔画边缘更锐利convert pages/p-1-deskew.png -colorspace Gray -normalize -sharpen 0x1 clean-1.png但清洗要克制。ISDA 这类法律文件上可能盖有交易对手的签章、批注或荧光笔痕迹--clean-final参数会按「背景干净」的假设把这些都当噪声抹掉。如果这份 5 页文件是给审计留档的抹掉签章等于破坏了证据链。我的习惯是清洗只做 OCR 输入那一份原始扫描件永远保留原文件名另存处理链路上不让任何一步原地覆盖。二值化同理-threshold 85%会把浅灰印章直接吃掉宁可让 OCR 多几条低置信度文本也不要先斩后奏。3. 中英混排 OCR 选型让 5 页中英文版 PDF 长出文字层3.1 扫描件为什么必须走 OCR文字层与图像的差别一个 PDF 可以同时包含两种内容矢量文字指令和位图图像。扫描件里那张 300 dpi 的位图已经把文字画成了像素阅读器能显示却拿不到字符编码搜索框永远显示“未找到”。OCR 本质上是 pdf 解析里最难的一环从位图里反向推回字符编码并把结果写回 PDF 形成文字层。文字层的价值不只是能复制它同时决定了全文检索、屏幕阅读器、pdf 转 word 等下游工具是否可用。中英对照版本还有一个额外需求英文原句和中文翻译必须在同一页同时可检索这要求 OCR 的语言模型同时挂载两种语言而不是跑两遍单语识别。跑两遍的问题在于双栏版面会让第二遍的语言模型把对面栏的文字也卷进来输出互相串行后面做对齐时非常痛苦。3.2 Tesseract 和 PaddleOCR 在中英法律文本上的差异两个主流工具都支持中英混排但侧重点不同。Tesseract 的 chi_sim 模型对印刷体中文覆盖面尚可缺点是中英混排时英文小写字母和中文标点容易互相污染同时它对长词的上下文模型较弱Event of Default这种词组容易被拆成零散单词。PaddleOCR 的 ch 模型在训练时把中英文混排页作为常见场景检测网络先框出行再交给识别网络对双栏排版的支持更直接。对比项TesseractPaddleOCR中英混排需-l chi_simengch 模型直接覆盖部署形态单二进制Python PaddlePaddle坐标输出tsv/hocr 需解析JSON 原生带 box括号条款号易拆词丢括号行级识别更稳另外一个务实差异是部署形态Tesseract 是纯本地二进制适合放在批处理脚本和 CI 里PaddleOCR 依赖 Python 环境和 PaddlePaddle 推理库首次运行会下载模型权重。对 5 页的小文件两者都够但对这种带大量括号条款号、需要保留坐标做结构还原的场景PaddleOCR 的 JSON 输出更友好。Tesseract 也不是不能用命令行加--psm 6可以跑通但后续拿坐标要对齐 tsv 列成本反而高。3.3 最小 OCR 脚本PaddleOCR 的 ch 模型怎么跑from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) # ch 权重覆盖中英文 for i in range(1, 6): path fpages/p-{i}-deskew.png result ocr.ocr(path, clsTrue) for line in result[0]: box line[0] # 四角坐标形如 [[x1,y1],[x2,y2],[x3,y3],[x4,y4]] text, conf line[1][0], line[1][1] print(f{path} | {conf:.3f} | {text})use_angle_clsTrue让检测器对横倒文字做 0/180 度分类双栏扫描件翻页时常见整栏颠倒这个开关能救回一半错误langch不是只认中文而是使用中英文混合训练权重对ISDA Master Agreement这种英文抬头同样输出。输出里每行带四角坐标和置信度这就是下一章做结构还原的原料。注意首次运行会下载检测、分类、识别三个模型离线环境需要提前把权重放进本地的 PaddleOCR 模型目录。3.4 输出保留坐标JSON 比纯文本多留一条后路OCR 直接存 txt 是最亏的做法。ISDA 2002 中英对照页常见的版面是左栏英文、右栏中文或上文下文分段纯文本把坐标信息全部丢掉后中英对齐只能靠行号猜。正确的落地方式是保留带坐标的结构化结果import json from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) pages_out {} for i in range(1, 6): path fpages/p-{i}-deskew.png result ocr.ocr(path, clsTrue) pages_out[i] [ {box: line[0], text: line[1][0], conf: round(line[1][1], 4)} for line in result[0] ] with open(isda_ocr.json, w, encodingutf-8) as f: json.dump(pages_out, f, ensure_asciiFalse, indent2)存下来的 JSON 里每一行都有 box、text、conf 三项后续做分栏、条款归并、中英对齐都不用重新跑 OCR这是“一次识别、多次消费”的关键。凡是涉及合同、协议这类版面结构重要的文档我都建议走这条路而不是贪图省事直接输出 txt。4. 从 OCR 坐标还原条款结构可检索 PDF 与中英对照校验4.1 按文本框坐标切分左右两栏拿到 JSON 后的第一步是确认版面方向把一页里所有 box 的 x 坐标画出来如果 x 集中在两个区间就是左右双栏如果铺满整行就是通栏。ISDA 中英对照版常见左英右中切分代码很简单import json with open(isda_ocr.json, encodingutf-8) as f: pages json.load(f) W 2480 # 300 dpi 下 A4 宽度具体以 pdfimages 输出为准 for pno, lines in pages.items(): for line in lines: xs [pt[0] for pt in line[box]] cx sum(xs) / 4 line[col] en if cx W / 2 else zh这里用四角坐标的平均 x 判断栏位比用左上角更稳因为 OCR 框本身带斜度时左上角会偏移。切栏之后每一行都带上了col标记中英对照的配对范围立刻缩小到同一 y 区间内而不是整页乱找。如果你的扫描件是上英下中把比较条件从 x 换成 y 即可逻辑不变。切完栏顺手把isda_ocr.json再写回一次后续脚本直接读带栏位的版本。4.2 用正则把条款编号 2(a)、5(a)(ii) 归一化ISDA 2002 主协议的表述层级是Section 后面跟数字如 Section 5再往下是小写字母括号如 5(a)(ii)再往里套罗马数字。这段结构很适合正则归一化import re pat re.compile(r(?!\w)(\d{1,2})(\((?:[a-z]|[ivx])\))*, re.IGNORECASE) def clause_key(text): text text.replace(, ().replace(, )) # 全角括号转半角 m pat.search(text) if not m: return None return m.group(0) print(clause_key(5(a)(ii) Events of Default.)) # 输出 5(a)(ii)用search而不是match是为了容忍 OCR 在行首多出杂点或段落缩进(?!\w)负向断言防止把年份或页码误判成条款号\d{1,2}本身就挡不住三位以上数字2002 这类年份天然不会命中。真正要防的是“2 5(a)(ii)”这种跨行断裂上一行行尾的数字和下一行的括号被 OCR 拆开合并逻辑通常是当行不以(结尾且下一行以括号开头时先拼接再匹配。括号内的小写[a-z]与[ivx]共同覆盖了 ISDA 的两层子条款re.IGNORECASE则吸收 OCR 偶尔输出大写的情况。4.3 生成可检索 PDFocrmypdf 转 PDF/A结构还原的最后一步是把文字层写回 PDF。最简单的方式是让 ocrmypdf 对原始扫描件直接做一次带文字层的输出前面 PaddleOCR 得到的 JSON 负责结构和双语校验这里负责交付文件的文字层两者并行不冲突ocrmypdf -l chi_simeng --deskew --clean --output-type pdfa \ ISDAMasterAgreement2002_CN_EN.pdf ISDA2002_searchable.pdf--output-type pdfa生成 PDF/A-1b 归档格式审计系统一般认这个-l chi_simeng指定双语言不覆盖原文件处理链路始终保留原始件。跑完立刻验证pdftotext ISDA2002_searchable.pdf - | grep -c Event of Default如果返回数字而不是 0文字层就算立住了。文件内容用途原始扫描 PDF保留全部图像与签章证据留档pages/p-*.png300 dpi 灰度图OCR 输入isda_ocr.json文本 坐标 置信度结构还原ISDA2002_searchable.pdf可搜索文字层交付使用提示这一步常见的失败原因是系统里没装 Ghostscriptocrmypdf 做 PDF/A 转换和压缩都依赖它报错里出现ghostscript字样时用包管理器补装即可。4.4 中英对照校验用条款编号而不是用页码对齐5 页双语文档最常见的坑是中英文不是逐页对应的中文版往往比英文版多出封面或声明页直接用页码对齐必然错位。正确做法是用上一节归一化出的条款编号做锚点中英文的编号体系完全一致只要编号能对上段落就对上。校验脚本可以这样写import json with open(isda_ocr.json, encodingutf-8) as f: pages json.load(f) # 复用 4.2 的 clause_key en_keys, zh_keys [], [] for pno, lines in pages.items(): for line in lines: key clause_key(line[text]) if not key: continue if line.get(col) en: en_keys.append((pno, key)) else: zh_keys.append((pno, key)) zh_set {z[1] for z in zh_keys} missing [k for k in en_keys if k[1] not in zh_set] print(英文有而中文缺的条款号:, missing)打印出的缺失清单就是人工复核的入口。ISDA 2002 全套主协议条款 1 到 14 加附件5 页版本通常是节选缺失清单里出现大量高段条款号并不意外。真正要盯的是清单里出现英文条款号、中文对应位置却是空白且相邻页存在疑似漏行的情况——那多半是 OCR 漏行而不是原文没有。5. 验证 ISDA 2002 术语命中率把 OCR 错误率压到可交付水平5.1 建一张术语命中表OCR 结果不能直接交付要拿一个抽查集打分。ISDA 2002 的术语体系固定适合做成命中表英文术语常见中文译名OCR 易错点Event of Default违约事件Default 被识别成 DefauItEarly Termination提前终止词间断行被拆开Close-out Amount终止净额结算金额连字符被识别成空格Governing Law管辖法律Law 被识别成 Iaw用法是逐术语 grep统计命中数与原文合理频次是否一致。Event of Default在标准正文里出现两位数次如果搜出 0说明文字层不可交付需要回炉重跑。5.2 用 pdftotext grep 批量抽查for term in Event of Default Early Termination Close-out Amount Governing Law; do n$(pdftotext ISDA2002_searchable.pdf - | grep -o $term | wc -l) echo $term : $n donegrep -o配合wc -l按匹配次数计数避免grep -c按行数少算——双栏转出的文本一行常含多个条款。缺失时先grep -i复查区分真漏识别与大小写改写小写 L 混入大写的Iaw是法律 OCR 高频错一行 sed 批量替换即可。5.3 救不回的信息与增量重识别手写签名、盖章颜色、荧光笔覆盖处的字迹OCR 永远救不回。交付物我永远保留三层原始扫描 PDF、清洁层_deskew、检索版_searchable。后续模型更新时用ocrmypdf --redo-ocr -o ISDA2002_searchable.pdf ISDA2002_searchable.pdf原地刷新文字层图像一个像素都不动5 页不到一分钟。把预处理参数和 OCR 版本写进旁边 README隔半年重刷先对比再决策。处理下一个 5 页双语文档时把这几条命令原样复制改文件名就能跑。本文还有配套的精品资源点击获取 ISDA扫描件OCR处理全流程：从纠偏到可检索PDF
简介《ISDA 2002年主协议》中英文对照版采用清洁扫描PDF格式面向衍生品交易员、金融机构法务与合规人员以及金融工程相关专业学生旨在帮助读者快速把握标准合同文本的条款结构并减少因英文法律术语理解偏差产生的实务争议。文件包共含1个PDF正文5页、大小约26KB轻量便于按需查阅已有230人学习参考。内容以中英逐段对照方式呈现第1条释义、第2条义务等核心条款清晰展示主协议、附件与确认书之间的效力层级以及“单一协议”原则、不一致条款的优先级等关键概念解说中还涵盖交易范围、定义术语、违约与终止事件、提前终止权、净额结算、争议解决机制及信用支持附件CSA等衍生品交易核心知识点。对于需要研读ISDA标准文本、起草或审核主协议文件的从业者是一份便于携带和快速定位的案头参考资料。1. 一份 5 页的 ISDA Master Agreement 2002 扫描件为什么值得跑完整 PDF 处理管线拿到《ISDA Master Agreement 2002中英文版_清洁扫描版-5页.pdf》这类文件常见动作是打开看一眼就归档。但扫描件最大的问题不在“清洁”而在它是纯图像文字选不中、搜不到条款编号没法跳转做审计核对时只能肉眼对行。ISDA 主协议是场外衍生品的标准文本第 5 条规范违约事件与终止事件、第 6 条是提前终止、第 14 条是定义术语每一处都会被逐字引用。文字层不可检索等于把合同变成一张合影。下面按“预处理 → OCR → 结构还原 → 验证”的顺序把这类中英对照法律扫描件的处理命令、参数和排错点一次讲透。2. ISDA 扫描件预处理pdf 歪斜校正纠偏、漂白与分辨率判断2.1 先判断扫描 PDF 有没有文字层三条命令无论这份 5 页扫描件来自扫描仪还是复印再扫第一步永远是判断它到底是「有文字层的 PDF」还是「包着 PDF 壳的图片」。这个判断不需要打开阅读器三条命令就够了pdfinfo ISDAMasterAgreement2002_CN_EN.pdf pdftotext ISDAMasterAgreement2002_CN_EN.pdf - | wc -l pdfimages -list ISDAMasterAgreement2002_CN_EN.pdf | head -20第一条看页数、页面尺寸和 PDF 版本第二条直接抓文字流并数行数如果输出是 0说明整份文件没有任何可提取文本也就是典型的扫描件第三条列出页面里嵌入的所有图像对象能看到分辨率、色彩空间和压缩方式。如果手上没有这些命令行工具多数 pdf 工具箱也提供同样的导出和检查入口但命令行更利于参数留痕方便事后回放。这里有个常见误判有人用pdftotext抓出了几行就认为文件自带文字层其实那几行往往是扫描软件自动叠加的页眉或 OCR 水印。判断标准是行数是否接近正常页面的文本量——ISDA 2002 主协议一页正文至少有四十行5 页中文版只出三五行基本可以断定文字层是假的。2.2 纠偏参数300 dpi 与 40% 落在哪里扫描件哪怕是“清洁扫描版”页边距、装订压痕也会让整页文本带 0.5° 到 3° 的偏转。OCR 引擎对倾斜很敏感超过 2° 行切分就开始出错5(a)(ii)这种带括号小写的条款号会频繁混进邻行。先转图再纠偏是常见做法mkdir -p pages pdftoppm -r 300 -png -gray ISDAMasterAgreement2002_CN_EN.pdf pages/p convert pages/p-1.png -deskew 40% pages/p-1-deskew.png-r 300决定 OCR 输入分辨率300 dpi 是中英文书识别的稳妥下限低于这个值中文小字号会糊-gray直接转灰度为后面二值化省一步-deskew 40%里的 40% 是 ImageMagick 的倾斜检测阈值含义是当检测到的斜度置信度低于该值时不做校正数值越大越保守日常扫描件 40% 够用明显歪的页面可以降到 10%。参数作用常用取值-r转图分辨率300 dpi 保底-deskew小角度纠偏40% 保守明显歪用 10%--rotate-pages纠正 90°/180° 方向始终开启--clean-final输出前二次去噪有签章时关闭如果你的目标只是快速得到一份能检索的版本也可以用 ocrmypdf 一条命令把预处理和 OCR 一起做掉后面章节会拆开看每步的作用ocrmypdf --deskew --rotate-pages --clean --clean-final \ -l chi_simeng ISDAMasterAgreement2002_CN_EN.pdf ISDA2002_clean.pdf注意纠偏和旋转是两个独立操作。扫描仪偶尔输出整页倒置--deskew不会纠正必须搭配--rotate-pages或先人工确认方向。2.3 漂白与加深的界线清洁过头会丢什么热词里常看到的「漂白加深清晰」落到图像处理上基本就是灰度拉伸加二值化。一份双栏中英对照的扫描件纸张底色发灰是常态-normalize会把灰底拉成白底-sharpen 0x1让笔画边缘更锐利convert pages/p-1-deskew.png -colorspace Gray -normalize -sharpen 0x1 clean-1.png但清洗要克制。ISDA 这类法律文件上可能盖有交易对手的签章、批注或荧光笔痕迹--clean-final参数会按「背景干净」的假设把这些都当噪声抹掉。如果这份 5 页文件是给审计留档的抹掉签章等于破坏了证据链。我的习惯是清洗只做 OCR 输入那一份原始扫描件永远保留原文件名另存处理链路上不让任何一步原地覆盖。二值化同理-threshold 85%会把浅灰印章直接吃掉宁可让 OCR 多几条低置信度文本也不要先斩后奏。3. 中英混排 OCR 选型让 5 页中英文版 PDF 长出文字层3.1 扫描件为什么必须走 OCR文字层与图像的差别一个 PDF 可以同时包含两种内容矢量文字指令和位图图像。扫描件里那张 300 dpi 的位图已经把文字画成了像素阅读器能显示却拿不到字符编码搜索框永远显示“未找到”。OCR 本质上是 pdf 解析里最难的一环从位图里反向推回字符编码并把结果写回 PDF 形成文字层。文字层的价值不只是能复制它同时决定了全文检索、屏幕阅读器、pdf 转 word 等下游工具是否可用。中英对照版本还有一个额外需求英文原句和中文翻译必须在同一页同时可检索这要求 OCR 的语言模型同时挂载两种语言而不是跑两遍单语识别。跑两遍的问题在于双栏版面会让第二遍的语言模型把对面栏的文字也卷进来输出互相串行后面做对齐时非常痛苦。3.2 Tesseract 和 PaddleOCR 在中英法律文本上的差异两个主流工具都支持中英混排但侧重点不同。Tesseract 的 chi_sim 模型对印刷体中文覆盖面尚可缺点是中英混排时英文小写字母和中文标点容易互相污染同时它对长词的上下文模型较弱Event of Default这种词组容易被拆成零散单词。PaddleOCR 的 ch 模型在训练时把中英文混排页作为常见场景检测网络先框出行再交给识别网络对双栏排版的支持更直接。对比项TesseractPaddleOCR中英混排需-l chi_simengch 模型直接覆盖部署形态单二进制Python PaddlePaddle坐标输出tsv/hocr 需解析JSON 原生带 box括号条款号易拆词丢括号行级识别更稳另外一个务实差异是部署形态Tesseract 是纯本地二进制适合放在批处理脚本和 CI 里PaddleOCR 依赖 Python 环境和 PaddlePaddle 推理库首次运行会下载模型权重。对 5 页的小文件两者都够但对这种带大量括号条款号、需要保留坐标做结构还原的场景PaddleOCR 的 JSON 输出更友好。Tesseract 也不是不能用命令行加--psm 6可以跑通但后续拿坐标要对齐 tsv 列成本反而高。3.3 最小 OCR 脚本PaddleOCR 的 ch 模型怎么跑from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) # ch 权重覆盖中英文 for i in range(1, 6): path fpages/p-{i}-deskew.png result ocr.ocr(path, clsTrue) for line in result[0]: box line[0] # 四角坐标形如 [[x1,y1],[x2,y2],[x3,y3],[x4,y4]] text, conf line[1][0], line[1][1] print(f{path} | {conf:.3f} | {text})use_angle_clsTrue让检测器对横倒文字做 0/180 度分类双栏扫描件翻页时常见整栏颠倒这个开关能救回一半错误langch不是只认中文而是使用中英文混合训练权重对ISDA Master Agreement这种英文抬头同样输出。输出里每行带四角坐标和置信度这就是下一章做结构还原的原料。注意首次运行会下载检测、分类、识别三个模型离线环境需要提前把权重放进本地的 PaddleOCR 模型目录。3.4 输出保留坐标JSON 比纯文本多留一条后路OCR 直接存 txt 是最亏的做法。ISDA 2002 中英对照页常见的版面是左栏英文、右栏中文或上文下文分段纯文本把坐标信息全部丢掉后中英对齐只能靠行号猜。正确的落地方式是保留带坐标的结构化结果import json from paddleocr import PaddleOCR ocr PaddleOCR(use_angle_clsTrue, langch, show_logFalse) pages_out {} for i in range(1, 6): path fpages/p-{i}-deskew.png result ocr.ocr(path, clsTrue) pages_out[i] [ {box: line[0], text: line[1][0], conf: round(line[1][1], 4)} for line in result[0] ] with open(isda_ocr.json, w, encodingutf-8) as f: json.dump(pages_out, f, ensure_asciiFalse, indent2)存下来的 JSON 里每一行都有 box、text、conf 三项后续做分栏、条款归并、中英对齐都不用重新跑 OCR这是“一次识别、多次消费”的关键。凡是涉及合同、协议这类版面结构重要的文档我都建议走这条路而不是贪图省事直接输出 txt。4. 从 OCR 坐标还原条款结构可检索 PDF 与中英对照校验4.1 按文本框坐标切分左右两栏拿到 JSON 后的第一步是确认版面方向把一页里所有 box 的 x 坐标画出来如果 x 集中在两个区间就是左右双栏如果铺满整行就是通栏。ISDA 中英对照版常见左英右中切分代码很简单import json with open(isda_ocr.json, encodingutf-8) as f: pages json.load(f) W 2480 # 300 dpi 下 A4 宽度具体以 pdfimages 输出为准 for pno, lines in pages.items(): for line in lines: xs [pt[0] for pt in line[box]] cx sum(xs) / 4 line[col] en if cx W / 2 else zh这里用四角坐标的平均 x 判断栏位比用左上角更稳因为 OCR 框本身带斜度时左上角会偏移。切栏之后每一行都带上了col标记中英对照的配对范围立刻缩小到同一 y 区间内而不是整页乱找。如果你的扫描件是上英下中把比较条件从 x 换成 y 即可逻辑不变。切完栏顺手把isda_ocr.json再写回一次后续脚本直接读带栏位的版本。4.2 用正则把条款编号 2(a)、5(a)(ii) 归一化ISDA 2002 主协议的表述层级是Section 后面跟数字如 Section 5再往下是小写字母括号如 5(a)(ii)再往里套罗马数字。这段结构很适合正则归一化import re pat re.compile(r(?!\w)(\d{1,2})(\((?:[a-z]|[ivx])\))*, re.IGNORECASE) def clause_key(text): text text.replace(, ().replace(, )) # 全角括号转半角 m pat.search(text) if not m: return None return m.group(0) print(clause_key(5(a)(ii) Events of Default.)) # 输出 5(a)(ii)用search而不是match是为了容忍 OCR 在行首多出杂点或段落缩进(?!\w)负向断言防止把年份或页码误判成条款号\d{1,2}本身就挡不住三位以上数字2002 这类年份天然不会命中。真正要防的是“2 5(a)(ii)”这种跨行断裂上一行行尾的数字和下一行的括号被 OCR 拆开合并逻辑通常是当行不以(结尾且下一行以括号开头时先拼接再匹配。括号内的小写[a-z]与[ivx]共同覆盖了 ISDA 的两层子条款re.IGNORECASE则吸收 OCR 偶尔输出大写的情况。4.3 生成可检索 PDFocrmypdf 转 PDF/A结构还原的最后一步是把文字层写回 PDF。最简单的方式是让 ocrmypdf 对原始扫描件直接做一次带文字层的输出前面 PaddleOCR 得到的 JSON 负责结构和双语校验这里负责交付文件的文字层两者并行不冲突ocrmypdf -l chi_simeng --deskew --clean --output-type pdfa \ ISDAMasterAgreement2002_CN_EN.pdf ISDA2002_searchable.pdf--output-type pdfa生成 PDF/A-1b 归档格式审计系统一般认这个-l chi_simeng指定双语言不覆盖原文件处理链路始终保留原始件。跑完立刻验证pdftotext ISDA2002_searchable.pdf - | grep -c Event of Default如果返回数字而不是 0文字层就算立住了。文件内容用途原始扫描 PDF保留全部图像与签章证据留档pages/p-*.png300 dpi 灰度图OCR 输入isda_ocr.json文本 坐标 置信度结构还原ISDA2002_searchable.pdf可搜索文字层交付使用提示这一步常见的失败原因是系统里没装 Ghostscriptocrmypdf 做 PDF/A 转换和压缩都依赖它报错里出现ghostscript字样时用包管理器补装即可。4.4 中英对照校验用条款编号而不是用页码对齐5 页双语文档最常见的坑是中英文不是逐页对应的中文版往往比英文版多出封面或声明页直接用页码对齐必然错位。正确做法是用上一节归一化出的条款编号做锚点中英文的编号体系完全一致只要编号能对上段落就对上。校验脚本可以这样写import json with open(isda_ocr.json, encodingutf-8) as f: pages json.load(f) # 复用 4.2 的 clause_key en_keys, zh_keys [], [] for pno, lines in pages.items(): for line in lines: key clause_key(line[text]) if not key: continue if line.get(col) en: en_keys.append((pno, key)) else: zh_keys.append((pno, key)) zh_set {z[1] for z in zh_keys} missing [k for k in en_keys if k[1] not in zh_set] print(英文有而中文缺的条款号:, missing)打印出的缺失清单就是人工复核的入口。ISDA 2002 全套主协议条款 1 到 14 加附件5 页版本通常是节选缺失清单里出现大量高段条款号并不意外。真正要盯的是清单里出现英文条款号、中文对应位置却是空白且相邻页存在疑似漏行的情况——那多半是 OCR 漏行而不是原文没有。5. 验证 ISDA 2002 术语命中率把 OCR 错误率压到可交付水平5.1 建一张术语命中表OCR 结果不能直接交付要拿一个抽查集打分。ISDA 2002 的术语体系固定适合做成命中表英文术语常见中文译名OCR 易错点Event of Default违约事件Default 被识别成 DefauItEarly Termination提前终止词间断行被拆开Close-out Amount终止净额结算金额连字符被识别成空格Governing Law管辖法律Law 被识别成 Iaw用法是逐术语 grep统计命中数与原文合理频次是否一致。Event of Default在标准正文里出现两位数次如果搜出 0说明文字层不可交付需要回炉重跑。5.2 用 pdftotext grep 批量抽查for term in Event of Default Early Termination Close-out Amount Governing Law; do n$(pdftotext ISDA2002_searchable.pdf - | grep -o $term | wc -l) echo $term : $n donegrep -o配合wc -l按匹配次数计数避免grep -c按行数少算——双栏转出的文本一行常含多个条款。缺失时先grep -i复查区分真漏识别与大小写改写小写 L 混入大写的Iaw是法律 OCR 高频错一行 sed 批量替换即可。5.3 救不回的信息与增量重识别手写签名、盖章颜色、荧光笔覆盖处的字迹OCR 永远救不回。交付物我永远保留三层原始扫描 PDF、清洁层_deskew、检索版_searchable。后续模型更新时用ocrmypdf --redo-ocr -o ISDA2002_searchable.pdf ISDA2002_searchable.pdf原地刷新文字层图像一个像素都不动5 页不到一分钟。把预处理参数和 OCR 版本写进旁边 README隔半年重刷先对比再决策。处理下一个 5 页双语文档时把这几条命令原样复制改文件名就能跑。本文还有配套的精品资源点击获取