尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

MinerU 太初元碁 Tecorigin 加速卡部署指南:vllm 镜像加载、Docker 容器启动与全场景支持矩阵

MinerU 太初元碁 Tecorigin 加速卡部署指南:vllm 镜像加载、Docker 容器启动与全场景支持矩阵 MinerU 太初元碁 Tecorigin 加速卡部署指南vllm 镜像加载、Docker 容器启动与全场景支持矩阵【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU本篇基于 MinerU 仓库自带的 太初元碁 Tecorigin 适配指南完整讲解在 Tecorigin T100 加速卡上通过官方 vllm 镜像部署 MinerU 的全部步骤从测试平台前提、镜像下载加载到 Docker 容器启动参数、vllm 虚拟环境切换以及各使用场景命令行、FastAPI、Gradio、OpenAI 兼容服务的支持状态矩阵。读完本文你可以直接在一台配有多张 Tecorigin 卡的服务器上把 MinerU 的 PDF 解析流水线跑起来并用SDAA_VISIBLE_DEVICES、teco-smi正确编排多卡资源。1. 测试平台前提官方指南给出的测试验证平台信息如下实际部署时建议对齐操作系统、驱动与 Docker 版本os: Ubuntu 22.04.5 LTS cpu: AMD EPYC (amd64) gpu: T100 driver: 3.0.0 docker: 28.0.4其中gpu: T100即太初元碁的 SDAA 架构加速卡driver: 3.0.0为对应的太初驱动版本。MinerU 从 2.7.6 版本起正式纳入太初元碁平台适配见 更新日志 中“新增国产算力平台昆仑芯、太初元碁的适配支持”的说明项目主 README_zh-CN.md 的国产算力列表中也列出了太初元碁。2. 环境准备下载并加载 vllm 镜像与部分国产平台需要通过 Dockerfile 自行构建镜像不同Tecorigin 路线由厂商仓库直接提供打好包的mineru-vllm镜像内含 vllm 运行环境只需下载并导入 Dockerwget http://wb.tecorigin.com:8082/repository/teco-customer-repo/Course/MinerU/mineru-vllm.tar docker load -i mineru-vllm.tar导入成功后本机会出现名为mineru:sdaa-vllm-latest的镜像sdaa即太初 SDAA 加速卡的标识。后续所有解析后端pipeline、vlm/hybrid-engine、vlm/hybrid-http-client以及 mineru-api、mineru-gradio、mineru-openai-server 各类服务都基于这个镜像运行。3. 启动 Docker 容器官方给出的容器启动命令如下docker run -dit --name mineru_docker \ --privileged \ --cap-add SYS_PTRACE \ --cap-add SYS_ADMIN \ --networkhost \ --shm-size500G \ mineru:sdaa-vllm-latest \ /bin/bash各参数说明--privileged/--cap-add SYS_PTRACE/--cap-add SYS_ADMIN加速卡运行时通常需要在容器内访问 SDAA 设备节点与调试接口因此采用特权容器并显式追加两个关键 capability--networkhost使用主机网络方便容器内服务如 mineru-api、openai-server直接被宿主机与其他进程访问也免去端口映射--shm-size500G分配大规格共享内存满足 vllm 多卡、大 batch 推理场景下的进程间通信需求末尾的/bin/bash进入容器交互式终端可以直接在容器内运行mineru等命令。3.1 切换到 vllm conda 环境进入容器后若要通过 vllm 引擎运行 vlm/hybrid 后端需先切换 conda 环境conda activate vllm_env_py310切换成功后命令行提示符前会出现(vllm_env_py310)标识表示已成功进入 vllm 虚拟环境。该环境即指南支持矩阵中“容器环境vllm”一列的运行环境。3.2 直接以服务模式启动也可以不把末尾的/bin/bash换成交互终端而是替换为具体的服务启动命令让容器直接拉起 MinerU 服务。MinerU 提供的入口命令包括详见 命令行工具使用说明 与 快速使用# FastAPI 服务异步任务 同步解析接口 mineru-api --host 0.0.0.0 --port 8000 # Gradio WebUI 可视化前端 mineru-gradio --server-name 0.0.0.0 --server-port 7860 # OpenAI 兼容服务需 vllm 环境即 3.1 中激活的环境 mineru-openai-server --port 30000 # 多卡 / 多服务编排 mineru-router --host 0.0.0.0 --port 8002 --local-gpus auto例如把上面docker run命令最后的/bin/bash替换为mineru-api --host 0.0.0.0 --port 8000即可让容器直接以 API 服务模式运行客户端侧仍可以用mineru -p input_path -o output_path --api-url http://127.0.0.1:8000直接调用或通过-b hybrid-http-client -u http://127.0.0.1:30000方式对接 openai-server。4. MinerU 各使用场景对 Tecorigin 加速卡的支持矩阵官方指南按“入口 × 解析后端”维度给出了完整的支持状态表vllm 容器环境下全量为 使用场景解析后端vllm 容器环境命令行工具minerupipeline命令行工具mineruvlm/hybrid-engine命令行工具mineruvlm/hybrid-http-clientFastAPI 服务mineru-apipipelineFastAPI 服务mineru-apivlm/hybrid-engineFastAPI 服务mineru-apivlm/hybrid-http-clientGradio 界面mineru-gradiopipelineGradio 界面mineru-gradiovlm/hybrid-engineGradio 界面mineru-gradiovlm/hybrid-http-clientOpenAI 兼容服务mineru-openai-servervllm状态图例 支持运行较稳定精度与 NVIDIA GPU 基本一致 支持但较不稳定在某些场景下可能出现异常或精度存在一定差异 不支持无法运行或精度存在较大差异。对应的 CLI 后端参数即mineru命令的-b/--backend选项取值为pipeline | vlm-engine | hybrid-engine | vlm-http-client | hybrid-http-client见 mineru --help 输出。需要注意vlm-http-client是轻量远程 client不要求本地安装 torchhybrid-http-client则要求本地具备mineru[pipeline]及 torch 等 pipeline 依赖这一点与 NVIDIA GPU 平台完全一致。5. 指定可用加速卡与查看占用5.1 用 SDAA_VISIBLE_DEVICES 指定卡Tecorigin 加速卡指定可用卡的方式与 NVIDIA GPU 的CUDA_VISIBLE_DEVICES完全同构只需把环境变量名替换为SDAA_VISIBLE_DEVICES详细语义可参考 命令行参数进阶 中“CUDA_VISIBLE_DEVICES 基本用法”一节。常见用法示例按本文规则改写# 只看到 1 号卡 SDAA_VISIBLE_DEVICES1 mineru -p input_path -o output_path # 看到 0、1 号卡 SDAA_VISIBLE_DEVICES0,1 mineru -p input_path -o output_path # 看到 0、2、3 号卡1 号卡被屏蔽 SDAA_VISIBLE_DEVICES0,2,3 mineru -p input_path -o output_path # 不暴露任何加速卡 SDAA_VISIBLE_DEVICES mineru -p input_path -o output_path该指定方式对所有命令行入口mineru、mineru-openai-server、mineru-gradio、mineru-api、mineru-router及 pipeline、vlm 后端均适用。多卡并行部署的典型用法# 终端 1卡 0 上起一个 openai-server SDAA_VISIBLE_DEVICES0 mineru-openai-server --engine vllm --port 30000 # 终端 2卡 1 上再起一个 openai-server SDAA_VISIBLE_DEVICES1 mineru-openai-server --engine vllm --port 30001源码层面的佐证MinerU 的mineru-router在为本地 worker 分配可见设备时会按当前设备类型选择对应的可见设备环境变量——昇腾 NPU 使用ASCEND_RT_VISIBLE_DEVICES其余设备回落到CUDA_VISIBLE_DEVICES见 mineru/cli/router.py 的get_local_device_visible_env_name。Tecorigin 路线由于 vllm 运行时由厂商镜像内置的 SDAA 后端接管仓库源码中不出现SDAA字样卡可见性由容器运行时与厂商 vllm 实现处理因此指南明确要求在命令行层面显式使用SDAA_VISIBLE_DEVICES。5.2 用 teco-smi 查看加速卡占用在太初平台使用teco-smi命令查看加速卡的使用情况其中-c查看实时占用并根据需要指定空闲的加速卡 ID 以避免资源冲突teco-smi -c在多租户或一机多服务场景下先跑teco-smi -c确认哪些卡空闲再用SDAA_VISIBLE_DEVICES空闲卡ID启动对应服务是避免显存冲突的推荐流程。6. 适用前提与限制本部署路线基于厂商提供的mineru-vllm镜像验证平台为 Ubuntu 22.04.5 LTS T100 驱动 3.0.0 Docker 28.0.4其他 OS/驱动组合仓库未做官方验证请以厂商交付环境为准镜像内已包含 vllm 环境vllm_env_py310conda 环境vlm/hybrid-engine 后端依赖该环境pipeline 后端不依赖 vllm若镜像内未预置所需模型可按 模型源说明 通过MINERU_MODEL_SOURCE切换模型源或使用本地模型目录各入口与服务接口的详细参数如mineru-api的/health、/tasks、/file_parse接口mineru-router的多上游聚合等请参照 快速使用 与 命令行参数进阶其在 GPU 平台上的用法在 Tecorigin 平台上同样成立仅设备可见性环境变量名需替换为SDAA_VISIBLE_DEVICES。【免费下载链接】MinerUTransforms complex documents like PDFs and Office docs into LLM-ready markdown/JSON for your Agentic workflows.项目地址: https://gitcode.com/GitHub_Trending/mi/MinerU创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表