GLM-OCR辅助LaTeX写作：从公式截图自动生成LaTeX代码

GLM-OCR辅助LaTeX写作从公式截图自动生成LaTeX代码每次写论文或者整理笔记最头疼的部分是什么对我而言绝对是敲那些复杂的数学公式。一个积分符号、一个求和符号加上上下标和分式在LaTeX编辑器里敲半天回头一看可能还少了个括号。要是能从论文PDF或者教材里直接把公式截图然后自动变成LaTeX代码那该多省事。最近我尝试用GLM-OCR模型搭建了一个小工具专门干这件事识别数学公式图片并尝试生成对应的LaTeX代码。虽然它还不能做到百分之百完美尤其是在面对极其复杂或者印刷模糊的公式时但作为一个强大的辅助工具它已经能帮我节省大量重复劳动的时间。今天我就来分享一下这个工具的搭建过程、实际效果以及它如何融入我们的写作工作流。1. 为什么需要公式识别工具在深入技术细节之前我们先聊聊痛点。科研工作者、工程师、学生凡是需要和学术文档打交道的几乎都绕不开LaTeX和数学公式。传统方式有多麻烦想象一下这个场景你在阅读一篇重要的参考文献发现里面有个核心公式对你的研究至关重要。你需要把它引用到自己的论文里。通常你会这么做盯着PDF里的公式仔细辨认每一个符号。打开Overleaf或者本地的TeX编辑器。开始手动输入\begin{equation}...小心地处理每一个\frac、\sum\limits、\int。反复对照、检查确保下标、上标、括号匹配无误。编译查看渲染效果不对再回去修改代码。这个过程不仅耗时而且容易出错。一个复杂的矩阵或多重积分公式手动转录可能需要十分钟并且精神必须高度集中。GLM-OCR能带来什么改变它的思路很直接让计算机“看懂”公式图片。你只需要截图工具就能快速给出一个LaTeX代码的“草稿”。你不需要从零开始而是在这个草稿上进行修改和校对。这就像从“手抄书籍”进化到了“扫描识别”虽然偶尔会有错别字识别错误但整体效率是数量级的提升。这个工具的核心价值不在于完全替代人工而在于成为得力的“第一助手”把我们从繁琐、机械的重复劳动中解放出来专注于更重要的内容创作和逻辑思考。2. 搭建你的公式识别助手理论说完了我们来看看怎么把它用起来。部署过程并不复杂跟着步骤走很快就能拥有自己的公式识别工具。2.1 环境与模型准备首先你需要一个能运行Python的环境。我推荐使用Anaconda来管理这样可以避免包依赖的冲突。# 创建一个新的Python环境可选但推荐 conda create -n glm-ocr python3.8 conda activate glm-ocr # 安装核心依赖 pip install torch torchvision --index-url https://download.pytorch.org/whl/cpu # 如果无GPU用cpu版本 # 如果有CUDA GPU请安装对应的GPU版本例如 # pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install Pillow opencv-python transformers接下来是模型。GLM-OCR是一个基于Transformer的视觉-语言模型我们需要下载其针对场景文字识别STR微调过的版本。这里我们使用Hugging Face Hub上提供的模型。# 示例加载模型和处理器在实际应用中这部分通常封装在工具函数里 from transformers import AutoProcessor, AutoModelForVision2Seq import torch model_name 你的GLM-OCR模型名称或本地路径 # 例如: THUDM/glm-ocr-base processor AutoProcessor.from_pretrained(model_name) model AutoModelForVision2Seq.from_pretrained(model_name) # 将模型设置为评估模式 model.eval()注意你需要将你的GLM-OCR模型名称或本地路径替换为实际可用的模型标识符。由于模型可能较大首次运行时会自动下载请确保网络通畅。2.2 核心识别函数编写模型准备好后我们来编写一个核心函数它的任务就是接收一张图片然后输出预测的LaTeX代码。from PIL import Image def formula_image_to_latex(image_path): 将公式图片转换为LaTeX代码。 参数: image_path: 公式图片的文件路径。 返回: 预测的LaTeX代码字符串。 # 1. 加载和预处理图片 image Image.open(image_path).convert(RGB) # 2. 使用处理器准备模型输入 # 提示词可以引导模型专注于公式识别例如“Convert the mathematical formula in this image to LaTeX code.” prompt Convert the mathematical formula in this image to LaTeX code. inputs processor(imagesimage, textprompt, return_tensorspt) # 3. 模型推理生成 with torch.no_grad(): # 禁用梯度计算加快推理速度 generated_ids model.generate( **inputs, max_new_tokens256, # 设置生成代码的最大长度 do_sampleFalse, # 贪婪解码结果更稳定 ) # 4. 解码输出 generated_text processor.batch_decode(generated_ids, skip_special_tokensTrue)[0] # 5. 后处理清理输出提取纯LaTeX代码 # 模型输出可能包含提示词我们需要将其剥离只保留公式部分。 # 这里是一个简单的后处理示例实际可能需要根据模型输出调整。 latex_code generated_text.replace(prompt, ).strip() # 有时模型会输出类似 $...$ 或 \[...\] 的格式我们可以选择保留或去除。 # 这里我们统一返回最核心的公式体由使用者决定如何嵌入LaTeX环境。 return latex_code # 示例使用函数 if __name__ __main__: test_image_path path/to/your/formula_screenshot.png try: result formula_image_to_latex(test_image_path) print(识别到的LaTeX代码) print(result) except Exception as e: print(f识别过程中出现错误{e})这段代码提供了一个基础的识别流程。关键点在于prompt提示词它告诉模型我们想要它做什么。对于公式识别一个明确的指令很重要。2.3 打造一个简单易用的界面命令行工具对部分用户来说可能不够友好。我们可以用几行代码借助gradio库快速构建一个网页界面这样截图、上传、识别、复制代码都在浏览器里完成体验更流畅。# 安装Gradio pip install gradioimport gradio as gr from your_script import formula_image_to_latex # 导入上面写的函数 def recognize_formula(image): Gradio接口函数接收图像返回LaTeX代码。 if image is None: return 请上传或粘贴一张公式图片。 # 临时保存图片 temp_path temp_formula.png image.save(temp_path) # 调用识别函数 latex_code formula_image_to_latex(temp_path) return latex_code # 创建界面 demo gr.Interface( fnrecognize_formula, inputsgr.Image(typepil, label上传公式截图), outputsgr.Textbox(label生成的LaTeX代码, lines5), titleGLM-OCR 公式转LaTeX工具, description上传包含数学公式的图片尝试自动生成LaTeX代码。识别结果仅供参考请务必核对。, allow_flaggingnever ) # 启动服务在本地浏览器打开 demo.launch(shareFalse) # 设置 shareTrue 可生成临时公网链接运行这段代码一个本地Web服务就会启动。你只需要打开浏览器把公式截图拖进去稍等片刻右侧的文本框里就会出现识别出的代码。你可以直接复制使用。3. 实际效果与应用场景工具搭好了它到底行不行我们来实际测一测。我找了一些不同复杂度的公式图片进行测试下面是一些典型案例和结果分析。场景一基础公式图片内容简单的二次方程求根公式x \frac{-b \pm \sqrt{b^2 - 4ac}}{2a}。识别结果x \frac { - b \pm \sqrt { b ^ { 2 } - 4 a c } } { 2 a }分析识别非常准确符号、根号、分式、上下标都正确。虽然空格和花括号的使用习惯与标准写法略有差异如{ - b}但这完全不影响LaTeX编译可以直接使用或稍作美化。场景二中等复杂度公式图片内容包含积分和求和符号的公式\sum_{n1}^{\infty} \int_{0}^{1} x^n \, dx。识别结果\sum _ { n 1 } ^ { \infty } \int _ { 0 } ^ { 1 } x ^ { n } d x分析核心结构完全正确。积分符号\int的下标{0}和上标{1}识别准确。求和符号的上下限也正确。只是积分变量dx之间的间距符\,被忽略了但这属于细微的排版优化不影响公式语义。场景三复杂矩阵公式图片内容一个带有分块矩阵和省略号的复杂表达式。识别结果可能会出现对齐符号或环境标识符\begin{matrix}的遗漏或错位也可能无法完美处理嵌套结构。分析这是当前工具的挑战所在。对于极其复杂、排版紧凑或图片质量不高的公式识别率会下降。输出结果可能是一个“近似正确”的代码框架需要人工进行较多的调整和修正。如何融入工作流明白了工具的强项和局限我们就能更好地使用它。我建议的工作流是截图使用系统截图工具或Snipaste等软件清晰截取公式。识别将图片扔进我们搭建的工具里获取初始代码。校对与修正这是最关键的一步。将生成的代码粘贴到LaTeX编辑器中如Overleaf的实时预览模式快速检查渲染结果。如果完全正确皆大欢喜。如果有小错误如错了一个字母、下标位置不对就地修改。这比从头输入要快得多。如果结构复杂导致识别混乱那么生成的代码至少提供了主要的命令如\frac,\sum和变量名可以作为你手动重写时的参考模板依然节省了时间。使用将修正后的代码插入你的文档。适用人群与场景学生做作业、整理课程笔记时快速录入教材中的例题公式。科研人员撰写论文、制作幻灯片时引用其他文献中的公式。技术文档编写者在编写包含大量数学推导的文档或博客时。它的定位始终是“辅助”而非“全自动”。把它当作一个超级快的“公式打字员”但这个打字员偶尔会打错字需要你这个“主编”最后把关。4. 实践经验与优化建议在实际使用了一段时间后我总结出一些能提升识别效果和使用体验的经验。提升识别准确率的技巧图片质量是关键确保截图清晰、对比度高。模糊、倾斜、有阴影或背景杂乱的图片会严重影响识别。尽量截取只包含公式的部分。预处理图片在识别前可以先用简单的图像处理库如OpenCV对图片进行预处理例如转为灰度图、二值化、调整对比度、矫正倾斜等这能显著提升OCR模型的识别效果。优化提示词Prompt我们之前用的提示词比较通用。你可以尝试更具体、更符合你需求的提示词例如“Extract the LaTeX code for the central equation only, ignoring surrounding text.” 或者 “Translate the mathematical formula into LaTeX, using\displaystylefor large operators.” 不同的提示词可能会引导模型产生不同风格的输出。后处理正则化编写一些正则表达式规则对模型输出的代码进行自动清洗。例如统一将{ - b}修正为{-b}补全可能遗漏的环境结束符\end{}等。处理识别错误的策略符号混淆模型可能混淆某些外形相似的符号如希腊字母\theta和\vartheta或者将乘点\cdot识别为句点。这需要人工根据数学上下文进行判断和纠正。结构错乱对于复杂的分式、矩阵或多层括号模型可能无法理解完整的嵌套关系。这时最好的方法是分段识别。将一个大公式拆分成几个逻辑部分分别截图识别然后再手动组合。这比识别一个混乱的整体要高效得多。结合其他工具GLM-OCR并非唯一选择。可以将其与其他开源公式识别项目如Mathpix的替代方案的结果进行对比。如果多个工具对同一公式给出了相同或相似的错误那很可能就是公式本身难以识别如果结果差异很大可以取长补短选择最合理的那部分。关于模型的局限性需要清醒认识到目前的视觉-语言模型在精确的数学公式识别上仍有局限。它本质上是在进行“视觉翻译”而不是真正的“数学理解”。因此它无法判断公式的数学正确性也无法处理手写体除非专门针对手写数据训练。对于印刷清晰、结构规范的公式它是利器对于边缘情况它需要你的智慧作为补充。5. 总结回过头来看搭建和使用这个GLM-OCR公式识别工具的过程更像是一次有趣的工程实践。它没有解决所有问题但确实在一个非常具体的痛点——公式录入——上提供了切实可行的效率提升方案。从手动逐字符敲击到截图获取代码草稿这种体验上的升级是巨大的。它把最耗时的“体力活”部分自动化了让我们能把更多精力留给公式背后的思想和逻辑。在实际的论文写作中它已经帮我节省了无数个小时。如果你也经常与LaTeX公式打交道我强烈建议你尝试一下这个思路。按照上面的步骤一两个小时就能搭好一个可用的原型。刚开始识别结果可能不尽如人意但通过优化图片质量、调整提示词你会发现它的潜力。最重要的是建立起“人机协作”的工作流让机器做它擅长的快速识别和草稿生成让人来做最终的质量控制和逻辑判断。技术工具的意义就在于此它不是要取代我们而是作为我们能力的延伸去处理那些重复、繁琐的任务让我们能更专注于创造性的部分。这个小小的公式识别助手正是这样一个很好的例子。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。