《大话文渊慧典》：外三篇-不是我们不行，是赛道不同——中国古籍OCR的“非对称作战”优势

——小菜“大胖老师我最近看了一些国外的古籍OCR论文越看越焦虑。人家的模型动不动就几亿参数训练数据几百万张图评测基准一个比一个豪华。再看咱们模型小、数据少、评测靠王大姐肉眼打分。这差距是不是说明咱们不行”——二黑推了推眼镜从抽屉里掏出一张对比表“小菜你这种焦虑我三年前就有过。后来我想明白了一件事——你焦虑是因为你在用别人的赛道规则衡量自己的成绩。”——大胖老师端起保温杯慢悠悠地接过话“二黑说得对。人家跑的是百米短跑你跑的是越野马拉松。你用百米成绩去比马拉松选手的配速当然觉得自己不行。但你让他来跑你的赛道试试不摔跟头算我输。今天咱们就讲讲为什么说中国古籍OCR不是不行是赛道不同。以及我们的‘非对称作战’优势到底在哪里。”一、赛道一版式复杂度——从“一马平川”到“蜀道难”大胖老师在白板上画了两条跑道。第一条画得笔直平坦标注“英文/现代中文OCR”。第二条画得弯弯绕绕标注“中文古籍OCR”。“先说最直观的版式。”他指着第一条跑道“英文古籍和现代中文文档版式相对规范。英文基本是单栏横排现代中文也差不多。OCR模型面对的是一个相对规整的世界。这就是为什么国外的OCR评测基准大多是‘干净文档、标准字体、统一排版’。”“古籍呢”二黑调出一页明代坊刻本投在屏幕上“你看看这页正文竖排十二列每列字数不等中间夹着双行小注字体只有正文一半大天头有眉批字迹潦草地脚有藏印红色模糊左下角还有虫蛀缺了三个半字栏线断断续续跟虚线的斑马线似的。你让只见过横排印刷体的模型来处理这个它连从哪儿下嘴都不知道。”“这就是赛道差异。”大胖老师敲着白板“国外的OCR研究解决的是‘一马平川’上的奔跑速度问题——怎么更快、更准。我们要解决的是‘蜀道难’上的通行问题——怎么先让车能开过去不被悬崖和落石干掉。难度不在一个量级。他们追求的是百米成绩提升0.01秒我们追求的是越野赛能活着跑完全程。所以不能拿他们的精度指标直接来套我们的场景。”二、赛道二字库规模——从“26个字母”到“三万汉字”大胖老师又在白板上写了两个数字26和35000。“英文OCR核心任务是识别26个字母加一些标点符号。大小写加起来52个算上数字和特殊符号一百多个字符类别。模型可以做得非常深、非常精细因为分类任务很轻。”“中文古籍OCR呢”二黑接过马克笔在35000上画了个圈“我们目前支持3.5万个汉字。这是什么概念是英文分类数的三百多倍。而且这些字之间长得还特别像——‘己’和‘已’差一个笔画‘曰’和‘日’差一个像素‘人’和‘入’是镜像关系。更别提避讳缺笔字、异体字、俗字——一个‘国’字能有几十种写法。模型不仅要记住这些字长什么样还要在它们长得几乎一样的时候分清楚谁是谁。”“所以”大胖老师总结“英文OCR可以用大模型、大数据、大算力去堆因为分类空间小堆了有效。我们的分类空间巨大堆同样的算力效果会被稀释。这就要求我们必须走轻量化、高效率的路线——用小模型办大事。不是我们不想用大模型是我们的赛道天然需要更聪明的算法而不仅仅是更暴力的算力。”三、赛道三用户与场景——从“极客玩具”到“王大姐的生产工具”小菜举手“那国外的古籍OCR项目他们的用户是谁”二黑回答“主要是学者和图书馆专业人员。哈佛燕京的线上系统用户大多是东亚研究的研究生和教授。欧洲的数字人文项目用户是数字人文学者。他们对技术有基本了解能容忍一定的操作复杂度。说白了用户画像是一个相对高知、高技术耐受性的群体。”“我们的用户呢”大胖老师指了指墙上王大姐的照片“全国两千八百多个县每个县图书馆的王大姐。平均年龄四十七计算机水平‘会开关机会打字’电脑是五年前的办公机内存4G装的还是Win7。她们不懂什么叫命令行不知道什么是GPU也没时间参加培训。她们只有一个诉求拖进去认出来导出去。就这么简单。”“这是完全不同的使用场景。”二黑补充“国外做古籍OCR可以假设用户有一定的技术背景和使用耐心。我们做古籍OCR必须假设用户是王大姐——零基础、零耐心、零预算。这意味着我们的赛道不仅是技术赛道还是用户体验赛道。我们的系统必须做到‘傻’到极致——不需要命令行、不需要配置、不需要联网、不需要GPU。这种场景倒逼出来的工程能力是那些高高在上的学术项目永远学不会的。”四、我们的“非对称作战”优势三个碾压级的底气讲完赛道差异大胖老师话锋一转“但是我们也有三个让国外同行羡慕到流口水的优势。这三个优势就是我们‘非对称作战’的底气。”优势一数据规模碾压“中国大陆现存古籍三千万册。”大胖老师写出这个数字“哈佛燕京中文古籍六十万册欧洲加起来可能还不到一百万册。我们一个省的馆藏量可能就超过整个北美的中文古籍总量。数据源天然是我们的。虽然目前标注数据还不够多但原始数据的体量摆在那里。只要我们把标注工具和众包机制做好在数据积累上超越全球只是时间问题。”优势二场景驱动碾压“从国图到县馆从学者到初中生从家谱爱好者到地方文史工作者——中国对古籍数字化的需求是全链条、全民的。欧洲一个数字人文项目可能只需要满足几百个学者我们要满足的是几千万潜在用户。这种海量场景的倒逼会让我们做出更实用、更普惠、更接地气的技术。不是在实验室里刷榜而是在阅览室里解决问题。”优势三开源社区碾压“PaddleOCR的GitHub Star数、社区活跃度、模型迭代速度已经是全球领先水平。”二黑打开数据“中国开源社区有一种独特的活力——民间开发者愿意为‘没用但有趣’的事情花时间。那个用PaddleOCR做家谱识别的深圳程序员那个用Tesseract硬怼竖排的大学新生那些在‘吾与点’平台上义务校对的大爷大妈——这种自下而上的热情是比算力和经费更宝贵的资源。国外的古籍OCR项目大多靠经费驱动经费断了项目就停。我们靠社区驱动只要还有一个人在GitHub上提Issue项目就还活着。”五、一张表说清楚为什么不能简单比大胖老师画了一张表把“对称比较”和“非对称作战”放在一起维度对称比较跟欧美日拼非对称作战发挥我们优势资金他们砸钱我们拼不过我们开源免费成本碾压硬件他们GPU集群我们老爷机我们纯CPU优化适应性碾压用户他们服务学者精英我们服务全国王大姐规模碾压数据他们标注数据多我们原始数据海量潜力碾压技术路线他们封闭商业为主我们开源社区协作活力碾压核心指标拼识别精度小数点拼落地广度和使用门槛“看懂了吗”大胖老师敲着表格“对称比较就是在别人的优势主场跟人硬拼等于拿鸡蛋碰石头。非对称作战就是换个战场把对手拉到我们不弱但他们不强的领域——成本、覆盖、易用、开源。在这些维度上我们不是追赶者我们是领先者。”六、尾声换个赛道换个心态文章快结束时小菜忽然问“大胖老师那咱们什么时候能在识别精度上也超过他们”二黑推了推眼镜“精度当然要追。但要搞清楚一件事——精度不是唯一的目标甚至不是最重要的目标。我们的目标是让全国的王大姐都能用上古籍OCR让每一本发黄的线装书都能被搜索、被引用、被传承。至于精度小数点后面第几位超过谁那是水到渠成的事不是追逐的目标。”大胖老师点头“围棋里有一句话——‘善弈者通盘无妙手’。真正的高手不是每一步都惊天动地而是每一步都扎实有用。我们做文渊慧典也是这个道理。不追求炫技不追求刷榜不追求让同行惊叹。只追求一件事王大姐双击桌面那个熊猫图标拖进去一本古籍茶还没凉文字就出来了。这才是我们的赛道终点。”小菜在笔记本上写下最后一行字“不是我们不行是赛道不同。在竖排繁体的羊肠小道上我们已经跑在了最前面。”窗外新一轮的测试数据正在生成。大胖老师端起保温杯对着窗外说了一句“下一期咱们聊聊为什么全世界都在抢救古籍用的却都是‘别人家的轮子’。”二黑翻开了那本填坑日志嘴角微微上扬——那页上有他最喜欢的三个字已解决。本文为注水技术版您看看即可不必当真写此文字就是图一乐-