UDOP-large实战代码Gradio自定义组件扩展OCR语言选项chi_simeng1. 引言如果你用过UDOP-large这个文档理解模型可能会发现一个不大不小的问题它的Gradio界面默认只支持英文OCR识别。当你上传一张包含中文的文档图片时识别出来的中文部分可能是一堆乱码或者干脆识别不出来。这其实挺可惜的因为UDOP-large底层用的是Tesseract OCR引擎这个引擎本身是支持多语言的包括中文简体chi_sim。只是默认的Web界面没有把这个选项开放出来。今天我就来分享一个实战代码教你如何扩展UDOP-large的Gradio界面让它支持中英文混合识别chi_simeng。这个改动不大但实用性很强特别是对于处理中英混合的文档场景。学习目标理解UDOP-large的OCR处理流程学会修改Gradio界面添加语言选择组件掌握如何配置Tesseract支持中英文混合识别获得可直接运行的完整代码前置知识只需要基础的Python知识了解Gradio的基本概念就行。我会用最直白的方式讲解保证小白也能跟上。2. UDOP-large OCR处理机制解析在开始动手之前我们先要搞清楚UDOP-large是怎么处理OCR的。知道了原理修改起来才心里有底。2.1 默认的OCR流程UDOP-large的Web界面背后其实有两套服务在运行FastAPI后端处理模型推理端口8000Gradio前端提供用户界面端口7860当你上传一张图片并点击开始分析时Gradio界面会做这几件事# 简化的处理流程 def process_image(image, prompt): # 1. 调用Tesseract OCR提取文字 ocr_text tesseract_ocr(image, langeng) # 注意这里默认只用英文 # 2. 把OCR文本和图片一起传给模型 result udop_model.process(image, ocr_text, prompt) # 3. 返回结果 return result, ocr_text关键点就在第一步的tesseract_ocr函数调用。默认情况下它只传了langeng参数这意味着Tesseract只会用英文语言包来识别文字。2.2 Tesseract的多语言支持Tesseract其实天生支持多语言识别它的语言参数可以这样设置# 只识别英文 lang eng # 只识别中文简体 lang chi_sim # 同时识别中英文先尝试中文识别不了再尝试英文 lang chi_simeng # 同时识别中英文平等对待两种语言 lang chi_simeng # 这是我们要用的chi_simeng这个参数组合告诉Tesseract这张图里可能有中文也可能有英文你都识别一下。2.3 为什么默认不支持中文这其实不是技术限制而是使用场景的考虑。UDOP-large模型本身是在英文文档数据集上训练的所以默认界面针对英文文档优化。但底层引擎是支持中文的我们只需要把界面改一下就行。3. 环境准备与代码结构在开始修改之前我们先看看UDOP-large镜像的代码结构。这样你才知道要改哪些文件。3.1 项目目录结构当你部署UDOP-large镜像后主要的代码文件在这里/root/ ├── app.py # Gradio主界面文件我们要改这个 ├── api.py # FastAPI后端文件 ├── ocr_utils.py # OCR处理工具函数 ├── requirements.txt # Python依赖 └── start.sh # 启动脚本我们主要关注两个文件app.pyGradio界面代码ocr_utils.pyOCR处理函数3.2 检查当前OCR配置先看看现在的ocr_utils.py是怎么写的# ocr_utils.py 中的关键函数 def extract_text_from_image(image, langeng): 从图片中提取文字 Args: image: PIL Image对象 lang: OCR语言默认eng Returns: str: 识别出的文本 try: # 将图片转为灰度 if image.mode ! L: image image.convert(L) # 使用Tesseract OCR text pytesseract.image_to_string(image, langlang) return text.strip() except Exception as e: print(fOCR错误: {e}) return 看到没lang参数默认是eng但它是可以传参的。这意味着我们只需要在调用这个函数的时候把语言参数改成chi_simeng就行了。4. 修改Gradio界面添加语言选择现在我们来动手修改。我会分步骤讲解每个步骤都有完整的代码示例。4.1 第一步修改app.py添加语言选择组件打开/root/app.py文件找到Gradio界面定义的部分。我们需要添加一个语言选择的下拉框。修改前的界面大概长这样# 原来的界面组件 with gr.Blocks() as demo: gr.Markdown(# UDOP-large 文档理解模型) with gr.Row(): with gr.Column(): image_input gr.Image(label上传文档图像, typepil) prompt_input gr.Textbox(label提示词 (Prompt), placeholder例如: What is the title of this document?) ocr_checkbox gr.Checkbox(label启用Tesseract OCR预处理, valueTrue) submit_btn gr.Button( 开始分析, variantprimary) with gr.Column(): result_output gr.Textbox(label生成结果, lines10) ocr_preview gr.Textbox(labelOCR识别文本预览, lines10)修改后的界面# 修改后的界面组件 with gr.Blocks() as demo: gr.Markdown(# UDOP-large 文档理解模型) with gr.Row(): with gr.Column(): image_input gr.Image(label上传文档图像, typepil) prompt_input gr.Textbox(label提示词 (Prompt), placeholder例如: What is the title of this document?) # 新增语言选择下拉框 lang_dropdown gr.Dropdown( labelOCR识别语言, choices[ (英文, eng), (中文简体, chi_sim), (中英文混合, chi_simeng) ], valuechi_simeng, # 默认选中中英文混合 info选择文档中的主要语言中英文混合文档建议选择中英文混合 ) ocr_checkbox gr.Checkbox(label启用Tesseract OCR预处理, valueTrue) submit_btn gr.Button( 开始分析, variantprimary) with gr.Column(): result_output gr.Textbox(label生成结果, lines10) ocr_preview gr.Textbox(labelOCR识别文本预览, lines10)关键改动在prompt_input下面添加了lang_dropdown组件提供了三个选项英文、中文简体、中英文混合默认选中chi_simeng这样用户不用每次都选添加了提示信息告诉用户怎么选4.2 第二步修改处理函数接收语言参数光有界面组件还不够我们还需要修改处理函数让它接收语言参数。找到处理函数定义的地方通常是process_document或类似名称的函数# 修改前的处理函数 def process_document(image, prompt, use_ocr): if use_ocr: # 调用OCR函数但这里写死了语言 ocr_text extract_text_from_image(image) # 默认用英文 else: ocr_text # ... 后续处理 ... return result, ocr_text修改后# 修改后的处理函数 def process_document(image, prompt, use_ocr, lang): if use_ocr: # 传入用户选择的语言参数 ocr_text extract_text_from_image(image, langlang) else: ocr_text # ... 后续处理 ... return result, ocr_text4.3 第三步绑定界面组件到处理函数在Gradio中我们需要把界面组件和处理函数绑定起来。找到submit_btn.click这行代码# 修改前 submit_btn.click( fnprocess_document, inputs[image_input, prompt_input, ocr_checkbox], outputs[result_output, ocr_preview] ) # 修改后 submit_btn.click( fnprocess_document, inputs[image_input, prompt_input, ocr_checkbox, lang_dropdown], # 添加lang_dropdown outputs[result_output, ocr_preview] )4.4 第四步独立OCR标签页也要改UDOP-large还有一个独立OCR标签页专门用来提取文字。这个页面也需要支持语言选择。找到独立OCR相关的代码# 在Tab定义的地方 with gr.Tab( 独立OCR): ocr_image_input gr.Image(label上传图片, typepil) # 新增独立OCR的语言选择 ocr_lang_dropdown gr.Dropdown( labelOCR语言, choices[ (英文, eng), (中文简体, chi_sim), (中英文混合, chi_simeng) ], valuechi_simeng ) ocr_extract_btn gr.Button(提取文字, variantsecondary) ocr_result gr.Textbox(labelOCR结果, lines15) # 绑定事件 ocr_extract_btn.click( fnextract_text_from_image, inputs[ocr_image_input, ocr_lang_dropdown], # 传入语言参数 outputsocr_result )5. 完整代码示例为了让你更清楚我把完整的app.py修改后的关键部分整理出来。你可以直接参考这个来修改。import gradio as gr from ocr_utils import extract_text_from_image from api_utils import call_udop_api # 文档分析处理函数 def process_document(image, prompt, use_ocr, lang): 处理文档分析请求 if image is None: return 请上传文档图片, # OCR预处理 ocr_text if use_ocr: try: ocr_text extract_text_from_image(image, langlang) if not ocr_text.strip(): ocr_text [OCR未识别到文字] except Exception as e: ocr_text f[OCR错误: {str(e)}] # 调用UDOP模型 try: result call_udop_api(image, prompt, ocr_text) except Exception as e: result f[模型推理错误: {str(e)}] # 处理超长文本显示 if len(ocr_text) 1000: ocr_display f[⚠️ 文本已截断完整文本请查看独立OCR功能]\n\n{ocr_text[:1000]}... else: ocr_display ocr_text return result, ocr_display # 独立OCR处理函数 def process_ocr_only(image, lang): 独立OCR处理 if image is None: return 请上传图片 try: text extract_text_from_image(image, langlang) if not text.strip(): return [未识别到文字] return text except Exception as e: return f[OCR错误: {str(e)}] # 创建Gradio界面 with gr.Blocks(titleUDOP-large 文档理解模型, themegr.themes.Soft()) as demo: gr.Markdown( # UDOP-large 文档理解模型 **Microsoft UDOP-large** 是微软开发的通用文档处理模型支持文档标题提取、摘要生成、关键信息抽取等功能。 ### 使用说明 1. 上传文档图片支持PNG、JPG格式 2. 输入提示词英文如What is the title? 3. 选择OCR识别语言 4. 点击开始分析按钮 ) with gr.Tab( 文档分析): with gr.Row(): with gr.Column(scale1): # 输入区域 image_input gr.Image( label上传文档图像, typepil, height300 ) prompt_input gr.Textbox( label提示词 (Prompt), placeholder例如: What is the title of this document?, lines2 ) # 语言选择组件 lang_dropdown gr.Dropdown( labelOCR识别语言, choices[ (英文, eng), (中文简体, chi_sim), (中英文混合, chi_simeng) ], valuechi_simeng, info选择文档中的主要语言中英文混合文档建议选择中英文混合 ) ocr_checkbox gr.Checkbox( label启用Tesseract OCR预处理, valueTrue, info启用后先进行OCR文字提取再交给模型分析 ) submit_btn gr.Button( 开始分析, variantprimary, sizelg ) with gr.Column(scale1): # 输出区域 result_output gr.Textbox( label生成结果, lines12, interactiveFalse ) ocr_preview gr.Textbox( labelOCR识别文本预览, lines8, interactiveFalse ) # 绑定事件 submit_btn.click( fnprocess_document, inputs[image_input, prompt_input, ocr_checkbox, lang_dropdown], outputs[result_output, ocr_preview] ) with gr.Tab( 独立OCR): with gr.Row(): with gr.Column(scale1): ocr_image_input gr.Image( label上传图片, typepil, height300 ) ocr_lang_dropdown gr.Dropdown( labelOCR语言, choices[ (英文, eng), (中文简体, chi_sim), (中英文混合, chi_simeng) ], valuechi_simeng ) ocr_extract_btn gr.Button( 提取文字, variantsecondary, sizelg ) with gr.Column(scale1): ocr_result gr.Textbox( labelOCR结果, lines20, interactiveFalse ) # 绑定事件 ocr_extract_btn.click( fnprocess_ocr_only, inputs[ocr_image_input, ocr_lang_dropdown], outputsocr_result ) # 示例区域 with gr.Accordion( 使用示例, openFalse): gr.Markdown( ### 常用提示词示例 | 功能 | 提示词 | 说明 | |------|--------|------| | 标题提取 | What is the title of this document? | 提取文档主标题 | | 摘要生成 | Summarize this document. | 生成文档摘要 | | 信息提取 | What is the invoice number and date? | 提取发票号码和日期 | | 表格解析 | Extract all data from this table. | 提取表格内容 | | 布局分析 | Describe the layout of this document. | 分析文档结构 | ### 语言选择建议 - **纯英文文档**选择英文 - **纯中文文档**选择中文简体 - **中英混合文档**选择中英文混合 ) # 启动应用 if __name__ __main__: demo.launch( server_name0.0.0.0, server_port7860, shareFalse )6. 测试与验证代码改好了现在我们来测试一下效果。我会用几个实际的文档图片来演示。6.1 测试中英文混合文档我准备了一张中英文混合的文档图片内容包含中文标题人工智能技术报告英文段落Artificial Intelligence is transforming industries...中英文混合的表格测试步骤上传这张混合文档图片在OCR识别语言下拉框中选择中英文混合输入提示词What is the title of this document?点击开始分析预期结果OCR识别文本预览中应该能正确显示中文和英文生成结果中模型可能会用英文回答因为UDOP是英文训练的但至少OCR部分正确了6.2 测试纯中文文档再测试一个纯中文的文档上传纯中文文档图片语言选择中文简体输入提示词Summarize this document.点击开始分析预期结果OCR应该能正确识别所有中文文字模型生成的结果可能是英文摘要这是正常的因为模型是英文训练的6.3 测试独立OCR功能切换到独立OCR标签页上传一张包含中英文的图片语言选择中英文混合点击提取文字预期结果应该能正确提取出图片中的所有文字包括中文和英文识别准确率会比默认的英文模式高很多7. 常见问题与解决方案在实际使用中你可能会遇到一些问题。这里我整理了几个常见问题和解决方法。7.1 中文识别效果不好怎么办如果发现中文识别效果不理想可以尝试调整图片质量# 在OCR前对图片进行预处理 from PIL import Image, ImageFilter, ImageEnhance def preprocess_image(image): # 转为灰度 image image.convert(L) # 增强对比度 enhancer ImageEnhance.Contrast(image) image enhancer.enhance(2.0) # 轻微锐化 image image.filter(ImageFilter.SHARPEN) return image尝试不同的语言组合chi_simeng中英文混合默认chi_sim仅中文engchi_sim先英文后中文有时效果不同7.2 模型生成的结果还是英文怎么办这是正常的UDOP-large模型本身是在英文数据上训练的所以它理解中文OCR提取的文本但生成的结果通常是英文的如果你需要中文结果可以考虑使用支持中文的文档理解模型如Qwen-VL、InternLM-XComposer将UDOP的英文结果用翻译API转为中文7.3 如何批量处理文档如果你需要批量处理多个文档可以写一个简单的脚本import os from PIL import Image from ocr_utils import extract_text_from_image def batch_process_documents(image_folder, output_file, langchi_simeng): 批量处理文档图片 results [] for filename in os.listdir(image_folder): if filename.lower().endswith((.png, .jpg, .jpeg)): image_path os.path.join(image_folder, filename) try: # 打开图片 image Image.open(image_path) # 提取文字 text extract_text_from_image(image, langlang) # 保存结果 results.append({ filename: filename, text: text }) print(f处理完成: {filename}) except Exception as e: print(f处理失败 {filename}: {e}) # 保存到文件 with open(output_file, w, encodingutf-8) as f: for result in results: f.write(f {result[filename]} \n) f.write(result[text]) f.write(\n\n) print(f批量处理完成结果保存到: {output_file}) # 使用示例 batch_process_documents( image_folder/path/to/your/images, output_fileocr_results.txt, langchi_simeng )8. 总结通过今天的实战我们成功扩展了UDOP-large的OCR语言支持。现在你可以处理中英文混合文档选择chi_simeng语言选项Tesseract会同时识别中文和英文处理纯中文文档选择chi_sim获得更好的中文识别效果保持向后兼容原来的英文文档处理完全不受影响关键收获UDOP-large底层支持多语言OCR只是界面没开放通过修改Gradio界面添加语言选择组件就能解锁这个功能Tesseract的chi_simeng参数可以同时识别中英文修改后的代码完全兼容原有功能下一步建议如果你需要处理大量中文文档可以考虑训练或微调一个中文优化的文档理解模型对于OCR识别质量要求高的场景可以尝试其他OCR引擎如PaddleOCR可以进一步扩展界面支持更多语言如日文、韩文等这个修改虽然简单但实用性很强。特别是对于处理中英文混合的文档场景识别准确率会有明显提升。希望这个实战教程对你有帮助获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
UDOP-large实战代码：Gradio自定义组件扩展OCR语言选项（chi_sim+eng）
发布时间：2026/6/7 8:16:04
UDOP-large实战代码Gradio自定义组件扩展OCR语言选项chi_simeng1. 引言如果你用过UDOP-large这个文档理解模型可能会发现一个不大不小的问题它的Gradio界面默认只支持英文OCR识别。当你上传一张包含中文的文档图片时识别出来的中文部分可能是一堆乱码或者干脆识别不出来。这其实挺可惜的因为UDOP-large底层用的是Tesseract OCR引擎这个引擎本身是支持多语言的包括中文简体chi_sim。只是默认的Web界面没有把这个选项开放出来。今天我就来分享一个实战代码教你如何扩展UDOP-large的Gradio界面让它支持中英文混合识别chi_simeng。这个改动不大但实用性很强特别是对于处理中英混合的文档场景。学习目标理解UDOP-large的OCR处理流程学会修改Gradio界面添加语言选择组件掌握如何配置Tesseract支持中英文混合识别获得可直接运行的完整代码前置知识只需要基础的Python知识了解Gradio的基本概念就行。我会用最直白的方式讲解保证小白也能跟上。2. UDOP-large OCR处理机制解析在开始动手之前我们先要搞清楚UDOP-large是怎么处理OCR的。知道了原理修改起来才心里有底。2.1 默认的OCR流程UDOP-large的Web界面背后其实有两套服务在运行FastAPI后端处理模型推理端口8000Gradio前端提供用户界面端口7860当你上传一张图片并点击开始分析时Gradio界面会做这几件事# 简化的处理流程 def process_image(image, prompt): # 1. 调用Tesseract OCR提取文字 ocr_text tesseract_ocr(image, langeng) # 注意这里默认只用英文 # 2. 把OCR文本和图片一起传给模型 result udop_model.process(image, ocr_text, prompt) # 3. 返回结果 return result, ocr_text关键点就在第一步的tesseract_ocr函数调用。默认情况下它只传了langeng参数这意味着Tesseract只会用英文语言包来识别文字。2.2 Tesseract的多语言支持Tesseract其实天生支持多语言识别它的语言参数可以这样设置# 只识别英文 lang eng # 只识别中文简体 lang chi_sim # 同时识别中英文先尝试中文识别不了再尝试英文 lang chi_simeng # 同时识别中英文平等对待两种语言 lang chi_simeng # 这是我们要用的chi_simeng这个参数组合告诉Tesseract这张图里可能有中文也可能有英文你都识别一下。2.3 为什么默认不支持中文这其实不是技术限制而是使用场景的考虑。UDOP-large模型本身是在英文文档数据集上训练的所以默认界面针对英文文档优化。但底层引擎是支持中文的我们只需要把界面改一下就行。3. 环境准备与代码结构在开始修改之前我们先看看UDOP-large镜像的代码结构。这样你才知道要改哪些文件。3.1 项目目录结构当你部署UDOP-large镜像后主要的代码文件在这里/root/ ├── app.py # Gradio主界面文件我们要改这个 ├── api.py # FastAPI后端文件 ├── ocr_utils.py # OCR处理工具函数 ├── requirements.txt # Python依赖 └── start.sh # 启动脚本我们主要关注两个文件app.pyGradio界面代码ocr_utils.pyOCR处理函数3.2 检查当前OCR配置先看看现在的ocr_utils.py是怎么写的# ocr_utils.py 中的关键函数 def extract_text_from_image(image, langeng): 从图片中提取文字 Args: image: PIL Image对象 lang: OCR语言默认eng Returns: str: 识别出的文本 try: # 将图片转为灰度 if image.mode ! L: image image.convert(L) # 使用Tesseract OCR text pytesseract.image_to_string(image, langlang) return text.strip() except Exception as e: print(fOCR错误: {e}) return 看到没lang参数默认是eng但它是可以传参的。这意味着我们只需要在调用这个函数的时候把语言参数改成chi_simeng就行了。4. 修改Gradio界面添加语言选择现在我们来动手修改。我会分步骤讲解每个步骤都有完整的代码示例。4.1 第一步修改app.py添加语言选择组件打开/root/app.py文件找到Gradio界面定义的部分。我们需要添加一个语言选择的下拉框。修改前的界面大概长这样# 原来的界面组件 with gr.Blocks() as demo: gr.Markdown(# UDOP-large 文档理解模型) with gr.Row(): with gr.Column(): image_input gr.Image(label上传文档图像, typepil) prompt_input gr.Textbox(label提示词 (Prompt), placeholder例如: What is the title of this document?) ocr_checkbox gr.Checkbox(label启用Tesseract OCR预处理, valueTrue) submit_btn gr.Button( 开始分析, variantprimary) with gr.Column(): result_output gr.Textbox(label生成结果, lines10) ocr_preview gr.Textbox(labelOCR识别文本预览, lines10)修改后的界面# 修改后的界面组件 with gr.Blocks() as demo: gr.Markdown(# UDOP-large 文档理解模型) with gr.Row(): with gr.Column(): image_input gr.Image(label上传文档图像, typepil) prompt_input gr.Textbox(label提示词 (Prompt), placeholder例如: What is the title of this document?) # 新增语言选择下拉框 lang_dropdown gr.Dropdown( labelOCR识别语言, choices[ (英文, eng), (中文简体, chi_sim), (中英文混合, chi_simeng) ], valuechi_simeng, # 默认选中中英文混合 info选择文档中的主要语言中英文混合文档建议选择中英文混合 ) ocr_checkbox gr.Checkbox(label启用Tesseract OCR预处理, valueTrue) submit_btn gr.Button( 开始分析, variantprimary) with gr.Column(): result_output gr.Textbox(label生成结果, lines10) ocr_preview gr.Textbox(labelOCR识别文本预览, lines10)关键改动在prompt_input下面添加了lang_dropdown组件提供了三个选项英文、中文简体、中英文混合默认选中chi_simeng这样用户不用每次都选添加了提示信息告诉用户怎么选4.2 第二步修改处理函数接收语言参数光有界面组件还不够我们还需要修改处理函数让它接收语言参数。找到处理函数定义的地方通常是process_document或类似名称的函数# 修改前的处理函数 def process_document(image, prompt, use_ocr): if use_ocr: # 调用OCR函数但这里写死了语言 ocr_text extract_text_from_image(image) # 默认用英文 else: ocr_text # ... 后续处理 ... return result, ocr_text修改后# 修改后的处理函数 def process_document(image, prompt, use_ocr, lang): if use_ocr: # 传入用户选择的语言参数 ocr_text extract_text_from_image(image, langlang) else: ocr_text # ... 后续处理 ... return result, ocr_text4.3 第三步绑定界面组件到处理函数在Gradio中我们需要把界面组件和处理函数绑定起来。找到submit_btn.click这行代码# 修改前 submit_btn.click( fnprocess_document, inputs[image_input, prompt_input, ocr_checkbox], outputs[result_output, ocr_preview] ) # 修改后 submit_btn.click( fnprocess_document, inputs[image_input, prompt_input, ocr_checkbox, lang_dropdown], # 添加lang_dropdown outputs[result_output, ocr_preview] )4.4 第四步独立OCR标签页也要改UDOP-large还有一个独立OCR标签页专门用来提取文字。这个页面也需要支持语言选择。找到独立OCR相关的代码# 在Tab定义的地方 with gr.Tab( 独立OCR): ocr_image_input gr.Image(label上传图片, typepil) # 新增独立OCR的语言选择 ocr_lang_dropdown gr.Dropdown( labelOCR语言, choices[ (英文, eng), (中文简体, chi_sim), (中英文混合, chi_simeng) ], valuechi_simeng ) ocr_extract_btn gr.Button(提取文字, variantsecondary) ocr_result gr.Textbox(labelOCR结果, lines15) # 绑定事件 ocr_extract_btn.click( fnextract_text_from_image, inputs[ocr_image_input, ocr_lang_dropdown], # 传入语言参数 outputsocr_result )5. 完整代码示例为了让你更清楚我把完整的app.py修改后的关键部分整理出来。你可以直接参考这个来修改。import gradio as gr from ocr_utils import extract_text_from_image from api_utils import call_udop_api # 文档分析处理函数 def process_document(image, prompt, use_ocr, lang): 处理文档分析请求 if image is None: return 请上传文档图片, # OCR预处理 ocr_text if use_ocr: try: ocr_text extract_text_from_image(image, langlang) if not ocr_text.strip(): ocr_text [OCR未识别到文字] except Exception as e: ocr_text f[OCR错误: {str(e)}] # 调用UDOP模型 try: result call_udop_api(image, prompt, ocr_text) except Exception as e: result f[模型推理错误: {str(e)}] # 处理超长文本显示 if len(ocr_text) 1000: ocr_display f[⚠️ 文本已截断完整文本请查看独立OCR功能]\n\n{ocr_text[:1000]}... else: ocr_display ocr_text return result, ocr_display # 独立OCR处理函数 def process_ocr_only(image, lang): 独立OCR处理 if image is None: return 请上传图片 try: text extract_text_from_image(image, langlang) if not text.strip(): return [未识别到文字] return text except Exception as e: return f[OCR错误: {str(e)}] # 创建Gradio界面 with gr.Blocks(titleUDOP-large 文档理解模型, themegr.themes.Soft()) as demo: gr.Markdown( # UDOP-large 文档理解模型 **Microsoft UDOP-large** 是微软开发的通用文档处理模型支持文档标题提取、摘要生成、关键信息抽取等功能。 ### 使用说明 1. 上传文档图片支持PNG、JPG格式 2. 输入提示词英文如What is the title? 3. 选择OCR识别语言 4. 点击开始分析按钮 ) with gr.Tab( 文档分析): with gr.Row(): with gr.Column(scale1): # 输入区域 image_input gr.Image( label上传文档图像, typepil, height300 ) prompt_input gr.Textbox( label提示词 (Prompt), placeholder例如: What is the title of this document?, lines2 ) # 语言选择组件 lang_dropdown gr.Dropdown( labelOCR识别语言, choices[ (英文, eng), (中文简体, chi_sim), (中英文混合, chi_simeng) ], valuechi_simeng, info选择文档中的主要语言中英文混合文档建议选择中英文混合 ) ocr_checkbox gr.Checkbox( label启用Tesseract OCR预处理, valueTrue, info启用后先进行OCR文字提取再交给模型分析 ) submit_btn gr.Button( 开始分析, variantprimary, sizelg ) with gr.Column(scale1): # 输出区域 result_output gr.Textbox( label生成结果, lines12, interactiveFalse ) ocr_preview gr.Textbox( labelOCR识别文本预览, lines8, interactiveFalse ) # 绑定事件 submit_btn.click( fnprocess_document, inputs[image_input, prompt_input, ocr_checkbox, lang_dropdown], outputs[result_output, ocr_preview] ) with gr.Tab( 独立OCR): with gr.Row(): with gr.Column(scale1): ocr_image_input gr.Image( label上传图片, typepil, height300 ) ocr_lang_dropdown gr.Dropdown( labelOCR语言, choices[ (英文, eng), (中文简体, chi_sim), (中英文混合, chi_simeng) ], valuechi_simeng ) ocr_extract_btn gr.Button( 提取文字, variantsecondary, sizelg ) with gr.Column(scale1): ocr_result gr.Textbox( labelOCR结果, lines20, interactiveFalse ) # 绑定事件 ocr_extract_btn.click( fnprocess_ocr_only, inputs[ocr_image_input, ocr_lang_dropdown], outputsocr_result ) # 示例区域 with gr.Accordion( 使用示例, openFalse): gr.Markdown( ### 常用提示词示例 | 功能 | 提示词 | 说明 | |------|--------|------| | 标题提取 | What is the title of this document? | 提取文档主标题 | | 摘要生成 | Summarize this document. | 生成文档摘要 | | 信息提取 | What is the invoice number and date? | 提取发票号码和日期 | | 表格解析 | Extract all data from this table. | 提取表格内容 | | 布局分析 | Describe the layout of this document. | 分析文档结构 | ### 语言选择建议 - **纯英文文档**选择英文 - **纯中文文档**选择中文简体 - **中英混合文档**选择中英文混合 ) # 启动应用 if __name__ __main__: demo.launch( server_name0.0.0.0, server_port7860, shareFalse )6. 测试与验证代码改好了现在我们来测试一下效果。我会用几个实际的文档图片来演示。6.1 测试中英文混合文档我准备了一张中英文混合的文档图片内容包含中文标题人工智能技术报告英文段落Artificial Intelligence is transforming industries...中英文混合的表格测试步骤上传这张混合文档图片在OCR识别语言下拉框中选择中英文混合输入提示词What is the title of this document?点击开始分析预期结果OCR识别文本预览中应该能正确显示中文和英文生成结果中模型可能会用英文回答因为UDOP是英文训练的但至少OCR部分正确了6.2 测试纯中文文档再测试一个纯中文的文档上传纯中文文档图片语言选择中文简体输入提示词Summarize this document.点击开始分析预期结果OCR应该能正确识别所有中文文字模型生成的结果可能是英文摘要这是正常的因为模型是英文训练的6.3 测试独立OCR功能切换到独立OCR标签页上传一张包含中英文的图片语言选择中英文混合点击提取文字预期结果应该能正确提取出图片中的所有文字包括中文和英文识别准确率会比默认的英文模式高很多7. 常见问题与解决方案在实际使用中你可能会遇到一些问题。这里我整理了几个常见问题和解决方法。7.1 中文识别效果不好怎么办如果发现中文识别效果不理想可以尝试调整图片质量# 在OCR前对图片进行预处理 from PIL import Image, ImageFilter, ImageEnhance def preprocess_image(image): # 转为灰度 image image.convert(L) # 增强对比度 enhancer ImageEnhance.Contrast(image) image enhancer.enhance(2.0) # 轻微锐化 image image.filter(ImageFilter.SHARPEN) return image尝试不同的语言组合chi_simeng中英文混合默认chi_sim仅中文engchi_sim先英文后中文有时效果不同7.2 模型生成的结果还是英文怎么办这是正常的UDOP-large模型本身是在英文数据上训练的所以它理解中文OCR提取的文本但生成的结果通常是英文的如果你需要中文结果可以考虑使用支持中文的文档理解模型如Qwen-VL、InternLM-XComposer将UDOP的英文结果用翻译API转为中文7.3 如何批量处理文档如果你需要批量处理多个文档可以写一个简单的脚本import os from PIL import Image from ocr_utils import extract_text_from_image def batch_process_documents(image_folder, output_file, langchi_simeng): 批量处理文档图片 results [] for filename in os.listdir(image_folder): if filename.lower().endswith((.png, .jpg, .jpeg)): image_path os.path.join(image_folder, filename) try: # 打开图片 image Image.open(image_path) # 提取文字 text extract_text_from_image(image, langlang) # 保存结果 results.append({ filename: filename, text: text }) print(f处理完成: {filename}) except Exception as e: print(f处理失败 {filename}: {e}) # 保存到文件 with open(output_file, w, encodingutf-8) as f: for result in results: f.write(f {result[filename]} \n) f.write(result[text]) f.write(\n\n) print(f批量处理完成结果保存到: {output_file}) # 使用示例 batch_process_documents( image_folder/path/to/your/images, output_fileocr_results.txt, langchi_simeng )8. 总结通过今天的实战我们成功扩展了UDOP-large的OCR语言支持。现在你可以处理中英文混合文档选择chi_simeng语言选项Tesseract会同时识别中文和英文处理纯中文文档选择chi_sim获得更好的中文识别效果保持向后兼容原来的英文文档处理完全不受影响关键收获UDOP-large底层支持多语言OCR只是界面没开放通过修改Gradio界面添加语言选择组件就能解锁这个功能Tesseract的chi_simeng参数可以同时识别中英文修改后的代码完全兼容原有功能下一步建议如果你需要处理大量中文文档可以考虑训练或微调一个中文优化的文档理解模型对于OCR识别质量要求高的场景可以尝试其他OCR引擎如PaddleOCR可以进一步扩展界面支持更多语言如日文、韩文等这个修改虽然简单但实用性很强。特别是对于处理中英文混合的文档场景识别准确率会有明显提升。希望这个实战教程对你有帮助获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。
