Yibelin核心功能详解：段落级识别与版式还原技术原理

大家好我是Yibelin的开发者。今天我想和大家聊聊Yibelin最核心的功能——段落级识别与版式还原。这是我们区别于其他工具的关键技术。问题的本质传统PDF翻译工具的问题在于翻译过程破坏了PDF的空间结构。PDF不是简单的文本文件它更像一张画布。每个文字、图片、表格都有自己的坐标位置x,y和尺寸width,height。传统工具的做法是提取所有文字但丢失了坐标信息翻译文字按顺序生成新文档问题就在这里——文字的空间位置信息全丢了。翻译后的文字长度变了原来的布局自然就崩溃了。Yibelin的解决方案我们的核心思路是不要破坏PDF的空间结构。核心流程识别段落先扫描整个PDF识别出每一段文字的位置、大小、样式提取文字只提取段落内的文字内容保留段落的空间信息翻译文字调用翻译API翻译段落内容回填译文将译文按原段落的位置和样式放回这样一来整个文档的框架就不会乱。三层解析架构为了实现这个目标我们设计了三层解析架构第一层页面层这一层负责识别页面的整体结构页码、页眉页脚页面尺寸和方向整体布局单栏/双栏/多栏第二层布局层这一层负责识别内容的空间关系段落边界检测图片位置识别表格区域识别公式区域识别第三层内容层这一层负责提取和翻译具体内容文字提取和翻译公式识别和保留表格结构识别和还原图片位置保留关键技术细节1. 段落边界检测段落边界检测是整个系统的基础。我们需要区分哪些文字属于同一个段落。检测方法根据文字的垂直间距判断段落边界根据文字的对齐方式判断段落类型标题/正文/列表根据文字的字体和字号判断段落层级挑战不同文档的段落间距不同有些文档没有明显的段落间距需要处理嵌套列表等复杂结构2. 空间坐标保留我们记录每个段落的空间信息坐标位置x,y尺寸width,height字体和字号颜色和背景对齐方式翻译后我们按这些信息放置译文确保译文和原文的位置一致。3. 自适应排版当中译英导致文字溢出时我们会自动压缩字号当英译中导致文字过少时我们会适当调整间距。压缩策略先尝试压缩字间距如果字间距压缩到最小还是溢出再压缩字号设置最小字号限制通常是原字号的80%4. 公式处理论文里的公式大多是LaTeX渲染的。我们专门做了公式区域的识别先识别出哪些区域是公式对于可解析的公式保留其LaTeX结构对于无法解析的公式保留为图片5. 表格处理表格的难点在于合并单元格和跨栏表头。我们会识别表格的边界和单元格划分保留合并单元格的结构翻译后按原结构回填效果对比我们拿一篇12页的NeurIPS论文做了测试传统工具的结果双栏结构完全消失变成单栏堆砌28个公式中有21个变成了图片6个表格全部变成纯文本Yibelin的结果双栏结构完美保留28个公式全部保留可编辑状态6个表格结构完整写在最后段落级识别与版式还原是Yibelin最核心的技术。正是这项技术让我们能够在翻译的同时尽量保留原文的版式。如果你正在被PDF翻译的格式问题困扰不妨试试Yibelin——yibelin.com。现在免费体验欢迎来测试