继续跟进【[文档智能]】解析进展。之前的一些多模态OCRMOCR方案主要关注文本识别表格、文字、公式等图表、UI组件等视觉图形截图保留不进行解析图到SVG代码等如下图本文介绍的工作提到图形中蕴含的结构语义信息不进行解析会导致文档解析存在固有信息损失了同时现有方法无法挖掘文本与图形之间的语义关联也无法将图形转化为可复用的监督信号用于多模态模型训练。两阶段的推理方式1. **页面级文本解析**对整页文档进行文本、布局、表格、公式的解析定位图形区域的边界框 2. **区域级图形解码**对定位到的图形区域单独进行**图像-to-SVG**的结构化代码生成MOCR范式的定义将文档中所有信息元素文本、布局、表格、公式、图表、图标、UI组件等均视为解析目标通过视觉-语言联合建模将文本转化为符号化标记纯文本/Markdown/LaTeX将可程序化描述的图形转化为可渲染、可编辑的结构化代码核心为SVG可扩展至TikZ/D3.js等最终输出统一的有序结构化序列。输入任意文档图像涵盖PDF渲染图、数字扫描件、网页截图、场景文本图像输出按人类阅读顺序排列的解析元素序列其中每个元素包含三个核心部分元素的空间边界框表征其在图像中的位置元素的语义类别如文本行、表格、公式、柱状图、图标等元素的各类别的输出对应的格式【文本类元素文本行/块、表格、公式为符号化转录结果如纯文本、Markdown表格、LaTeX公式图形类元素图表、图标、UI组件、化学结构式为可渲染的结构化代码核心为SVG】。模型架构dots.mocr的统一视觉-语言架构架构和doc.ocr一致总参数量为3B1.2B视觉编码器1.5B语言解码器连接器。训练方法MOCR的训练目标是让模型同时掌握文本解析和图形-to-SVG生成属于典型的多任务联合训练且面临图形监督稀缺、SVG代码非唯一的痛点。整个训练分三阶段预训练指令调优。预训练的核心是从简单的视觉-语言对齐逐步过渡到MOCR专属的多模态解析同时逐步提升输入分辨率匹配任务难度的增加还通过混合重加权、课程调度控制优化稳定性。阶段1通用视觉-语言对齐通用视觉数据集如COCO、ImageNet 简单OCR数据低分辨率训练让语言解码器学会可靠地消费视觉token实现基础的视觉-语言定位能力Grounding阶段2文本解析基础构建通用视觉数据 纯文本文档解析监督PDF/网页的文本布局解析按比例混合 中分辨率适配常规文档训练让模型掌握传统OCR的核心能力——文本识别、布局分析、表格/公式的符号化解析同时保持通用视觉鲁棒性阶段3MOCR多模态解析强化大幅降低通用视觉数据比例增加MOCR监督数据多模态文档图像-to-SVG数据 高分辨率适配11M像素的超高清文档训练让模型学会挖掘文本与图形的语义关联掌握图形-to-SVG的结构化代码生成能力SFT核心是提升监督可靠性、对齐输出规范、优化端到端解析保真度针对实际应用场景做精细化调整。关键步骤高质量数据集构建从数据引擎中筛选、精炼样本修正系统错误对齐文本/图形的输出格式如SVG的编码规范、Markdown的表格格式SVG专属优化对图形解析做规范化处理如SVG的viewBox归一化、代码复杂度降低、canonicalization解决SVG代码“非唯一”不同代码生成相同视觉效果的问题多任务混合训练将文本解析、图形-to-SVG生成的高质量样本混合进行端到端指令调优。两个发布版本的差异化训练基于同一预训练权重通过调整指令调优的数据比例得到两个侧重不同的模型版本共享3B参数量dots.mocr基础版本文本解析与图形解析均衡dots.mocr-svg图形解析强化版本增加SVG数据的占比并对高难度SVG程序做加权训练重点优化图表、化学结构式等复杂图形的解析。数据引擎MOCR的最大的差异化特点是图像-SVG的生成下面主要概述下这个数据的生成方法渲染网页文本图形的对齐数据数据用途提供复杂布局的文本解析监督同时挖掘文本-图形的语义关联和原生SVG图形处理方法爬取网页并渲染为图像结合网页的HTML/DOM结构化信号生成文档解析标注同时提取网页中原生的SVG图标、图表得到图像-SVG对齐对核心优势HTML/DOM提供了精准的结构化信号大幅降低标注噪声。原生SVG图形解析数据数据用途提供大规模的图像-SVG对齐监督让模型学会图形-to-SVG的生成处理流程清洗用svgo工具移除无关元数据、归一化数值精度、标准化代码结构去重通过文本匹配代码级和感知哈希pHash图像级实现去重采样按领域平衡图标、图表、UI、科学绘图和复杂度感知简单/复杂SVG混合采样避免数据偏斜。实验AI行业迎来前所未有的爆发式增长从DeepSeek百万年薪招聘AI研究员到百度、阿里、腾讯等大厂疯狂布局AI Agent再到国家政策大力扶持数字经济和AI人才培养所有信号都在告诉我们AI的黄金十年真的来了在行业火爆之下AI人才争夺战也日趋白热化其就业前景一片蓝海我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取人才缺口巨大人力资源社会保障部有关报告显示据测算当前****我国人工智能人才缺口超过500万****供求比例达1∶10。脉脉最新数据也显示AI新发岗位量较去年初暴增29倍超1000家AI企业释放7.2万岗位……单拿今年的秋招来说各互联网大厂释放出来的招聘信息中我们就能感受到AI浪潮比如百度90%的技术岗都与AI相关就业薪资超高在旺盛的市场需求下AI岗位不仅招聘量大薪资待遇更是“一骑绝尘”。企业为抢AI核心人才薪资给的非常慷慨过去一年懂AI的人才普遍涨薪40%脉脉高聘发布的《2025年度人才迁徙报告》显示在2025年1月-10月的高薪岗位Top20排行中AI相关岗位占了绝大多数并且平均薪资月薪都超过6w在去年的秋招中小红书给算法相关岗位的薪资为50k起字节开出228万元的超高年薪据《2025年秋季校园招聘白皮书》AI算法类平均年薪达36.9万遥遥领先其他行业总结来说当前人工智能岗位需求多薪资高前景好。在职场里选对赛道就能赢在起跑线。抓住AI风口轻松实现高薪就业但现实却是仍有很多同学不知道如何抓住AI机遇会遇到很多就业难题比如❌ 技术过时只会CRUD的开发者在AI浪潮中沦为“职场裸奔者”❌ 薪资停滞初级岗位内卷到白菜价传统开发3年经验薪资涨幅不足15%❌ 转型无门想学AI却找不到系统路径83%自学党中途放弃。他们的就业难题解决问题的关键在于不仅要选对赛道更要跟对老师我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取 文档解析黑科技：MOCR突破图文解析瓶颈，实现信息全解析！
继续跟进【[文档智能]】解析进展。之前的一些多模态OCRMOCR方案主要关注文本识别表格、文字、公式等图表、UI组件等视觉图形截图保留不进行解析图到SVG代码等如下图本文介绍的工作提到图形中蕴含的结构语义信息不进行解析会导致文档解析存在固有信息损失了同时现有方法无法挖掘文本与图形之间的语义关联也无法将图形转化为可复用的监督信号用于多模态模型训练。两阶段的推理方式1. **页面级文本解析**对整页文档进行文本、布局、表格、公式的解析定位图形区域的边界框 2. **区域级图形解码**对定位到的图形区域单独进行**图像-to-SVG**的结构化代码生成MOCR范式的定义将文档中所有信息元素文本、布局、表格、公式、图表、图标、UI组件等均视为解析目标通过视觉-语言联合建模将文本转化为符号化标记纯文本/Markdown/LaTeX将可程序化描述的图形转化为可渲染、可编辑的结构化代码核心为SVG可扩展至TikZ/D3.js等最终输出统一的有序结构化序列。输入任意文档图像涵盖PDF渲染图、数字扫描件、网页截图、场景文本图像输出按人类阅读顺序排列的解析元素序列其中每个元素包含三个核心部分元素的空间边界框表征其在图像中的位置元素的语义类别如文本行、表格、公式、柱状图、图标等元素的各类别的输出对应的格式【文本类元素文本行/块、表格、公式为符号化转录结果如纯文本、Markdown表格、LaTeX公式图形类元素图表、图标、UI组件、化学结构式为可渲染的结构化代码核心为SVG】。模型架构dots.mocr的统一视觉-语言架构架构和doc.ocr一致总参数量为3B1.2B视觉编码器1.5B语言解码器连接器。训练方法MOCR的训练目标是让模型同时掌握文本解析和图形-to-SVG生成属于典型的多任务联合训练且面临图形监督稀缺、SVG代码非唯一的痛点。整个训练分三阶段预训练指令调优。预训练的核心是从简单的视觉-语言对齐逐步过渡到MOCR专属的多模态解析同时逐步提升输入分辨率匹配任务难度的增加还通过混合重加权、课程调度控制优化稳定性。阶段1通用视觉-语言对齐通用视觉数据集如COCO、ImageNet 简单OCR数据低分辨率训练让语言解码器学会可靠地消费视觉token实现基础的视觉-语言定位能力Grounding阶段2文本解析基础构建通用视觉数据 纯文本文档解析监督PDF/网页的文本布局解析按比例混合 中分辨率适配常规文档训练让模型掌握传统OCR的核心能力——文本识别、布局分析、表格/公式的符号化解析同时保持通用视觉鲁棒性阶段3MOCR多模态解析强化大幅降低通用视觉数据比例增加MOCR监督数据多模态文档图像-to-SVG数据 高分辨率适配11M像素的超高清文档训练让模型学会挖掘文本与图形的语义关联掌握图形-to-SVG的结构化代码生成能力SFT核心是提升监督可靠性、对齐输出规范、优化端到端解析保真度针对实际应用场景做精细化调整。关键步骤高质量数据集构建从数据引擎中筛选、精炼样本修正系统错误对齐文本/图形的输出格式如SVG的编码规范、Markdown的表格格式SVG专属优化对图形解析做规范化处理如SVG的viewBox归一化、代码复杂度降低、canonicalization解决SVG代码“非唯一”不同代码生成相同视觉效果的问题多任务混合训练将文本解析、图形-to-SVG生成的高质量样本混合进行端到端指令调优。两个发布版本的差异化训练基于同一预训练权重通过调整指令调优的数据比例得到两个侧重不同的模型版本共享3B参数量dots.mocr基础版本文本解析与图形解析均衡dots.mocr-svg图形解析强化版本增加SVG数据的占比并对高难度SVG程序做加权训练重点优化图表、化学结构式等复杂图形的解析。数据引擎MOCR的最大的差异化特点是图像-SVG的生成下面主要概述下这个数据的生成方法渲染网页文本图形的对齐数据数据用途提供复杂布局的文本解析监督同时挖掘文本-图形的语义关联和原生SVG图形处理方法爬取网页并渲染为图像结合网页的HTML/DOM结构化信号生成文档解析标注同时提取网页中原生的SVG图标、图表得到图像-SVG对齐对核心优势HTML/DOM提供了精准的结构化信号大幅降低标注噪声。原生SVG图形解析数据数据用途提供大规模的图像-SVG对齐监督让模型学会图形-to-SVG的生成处理流程清洗用svgo工具移除无关元数据、归一化数值精度、标准化代码结构去重通过文本匹配代码级和感知哈希pHash图像级实现去重采样按领域平衡图标、图表、UI、科学绘图和复杂度感知简单/复杂SVG混合采样避免数据偏斜。实验AI行业迎来前所未有的爆发式增长从DeepSeek百万年薪招聘AI研究员到百度、阿里、腾讯等大厂疯狂布局AI Agent再到国家政策大力扶持数字经济和AI人才培养所有信号都在告诉我们AI的黄金十年真的来了在行业火爆之下AI人才争夺战也日趋白热化其就业前景一片蓝海我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取人才缺口巨大人力资源社会保障部有关报告显示据测算当前****我国人工智能人才缺口超过500万****供求比例达1∶10。脉脉最新数据也显示AI新发岗位量较去年初暴增29倍超1000家AI企业释放7.2万岗位……单拿今年的秋招来说各互联网大厂释放出来的招聘信息中我们就能感受到AI浪潮比如百度90%的技术岗都与AI相关就业薪资超高在旺盛的市场需求下AI岗位不仅招聘量大薪资待遇更是“一骑绝尘”。企业为抢AI核心人才薪资给的非常慷慨过去一年懂AI的人才普遍涨薪40%脉脉高聘发布的《2025年度人才迁徙报告》显示在2025年1月-10月的高薪岗位Top20排行中AI相关岗位占了绝大多数并且平均薪资月薪都超过6w在去年的秋招中小红书给算法相关岗位的薪资为50k起字节开出228万元的超高年薪据《2025年秋季校园招聘白皮书》AI算法类平均年薪达36.9万遥遥领先其他行业总结来说当前人工智能岗位需求多薪资高前景好。在职场里选对赛道就能赢在起跑线。抓住AI风口轻松实现高薪就业但现实却是仍有很多同学不知道如何抓住AI机遇会遇到很多就业难题比如❌ 技术过时只会CRUD的开发者在AI浪潮中沦为“职场裸奔者”❌ 薪资停滞初级岗位内卷到白菜价传统开发3年经验薪资涨幅不足15%❌ 转型无门想学AI却找不到系统路径83%自学党中途放弃。他们的就业难题解决问题的关键在于不仅要选对赛道更要跟对老师我给大家准备了一份全套的《AI大模型零基础入门进阶学习资源包》包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。有需要的小伙伴可以V扫描下方二维码免费领取