尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

Docker部署DB-GPT:两条路径快速跑通智能数据库助手

Docker部署DB-GPT:两条路径快速跑通智能数据库助手 Docker部署DB-GPT两条路径快速跑通智能数据库助手【免费下载链接】DB-GPTopen-source agentic AI data assistant for the next generation of AI Data products.项目地址: https://gitcode.com/GitHub_Trending/db/DB-GPTDB-GPT 是一个基于大模型的数据库智能助手用 Docker 运行它可以跳过繁琐的依赖安装。你可以选择 DB-GPT 代理模型部署配置 SiliconFlow API 后直接访问 5670 端口也可以选择 DB-GPT GPU 部署在本地跑 Qwen2.5-Coder 模型。两种路线的操作与取舍如下。选型判断代理模型与本地 GPU 的取舍DB-GPT 怎么部署先回答一个问题你有没有可用的 NVIDIA GPU。对比维度代理模型本地 GPU硬件要求无 GPU 也可运行建议显存 ≥ 8GB依赖项Docker SiliconFlow API 密钥NVIDIA 驱动、CUDA、NVIDIA Container Toolkit推理性能受网络与接口限速影响本地推理响应更稳定成本按 API 调用计费一次性下载模型无调用费用适合人群想先体验、无 GPU 的新手有 GPU、要求数据不出本地的团队建议先用代理模型把 Web 界面跑通确认功能符合预期后再投入时间做本地 GPU 部署。代理模型快速跑通从 API 密钥到 Web 访问检查 Docker 环境与 API 密钥确认 Docker 已安装并能正常启动容器docker -v有版本输出即可再到 SiliconFlow 平台申请一枚 API 密钥。代理模型的推理全部经 API 完成密钥是这条路线唯一的燃料。配置文件可参考 代理模型配置示例端口 5670 即在其中定义。拉取镜像并启动容器拉取官方镜像并通过环境变量注入密钥docker pull eosphorosai/dbgpt-openai:latest docker run -it --rm -e SILICONFLOW_API_KEY你的API密钥 \ -p 5670:5670 --name dbgpt eosphorosai/dbgpt-openai关键参数说明参数作用-e SILICONFLOW_API_KEY向容器注入 API 密钥-p 5670:5670将容器 Web 服务映射到本机 5670 端口--rm容器退出后自动清理不留残留验证 5670 端口访问终端不再报错退出、容器持续运行时在浏览器打开http://localhost:5670能进入登录页即代表 Docker 运行 DB-GPT 成功 ✅本地 GPU 部署让 Qwen2.5-Coder 跑进容器确认 NVIDIA 驱动与 Container Toolkit本地推理的前提是容器内能看见显卡。执行nvidia-smi能看到 GPU 后再安装 NVIDIA Container Toolkit 并重启 Docker否则--gpus all不会生效。准备模型目录与配置文件国内网络环境下用 ModelScope 下载推理模型与向量模型mkdir -p ./models cd ./models git lfs install git clone https://www.modelscope.cn/Qwen/Qwen2.5-Coder-0.5B-Instruct.git git clone https://www.modelscope.cn/BAAI/bge-large-zh-v1.5.git然后创建dbgpt-local-gpu.toml两组配置均为provider hf指向挂载进容器的路径[models] [[models.llms]] name Qwen2.5-Coder-0.5B-Instruct provider hf path /app/models/Qwen2.5-Coder-0.5B-Instruct [[models.embeddings]] name BAAI/bge-large-zh-v1.5 path /app/models/bge-large-zh-v1.5写法可对照 本地模型配置示例。挂载模型并启动 Webserver把配置文件与模型目录挂进容器启动 Web 服务docker run --ipc host --gpus all -it --rm \ -p 5670:5670 \ -v ./dbgpt-local-gpu.toml:/app/configs/dbgpt-local-gpu.toml \ -v ./models:/app/models \ --name dbgpt eosphorosai/dbgpt \ dbgpt start webserver --config /app/configs/dbgpt-local-gpu.toml参数作用--gpus all让容器使用全部 GPU--ipc host共享主机 IPC 命名空间避免大模型进程间通信出错-v ./models:/app/models模型目录映射与 toml 中path对应-v ...toml:/app/configs/...配置文件映射启动命令--config指向它启动耗时取决于模型加载速度日志出现服务就绪信息后同样访问http://localhost:5670验证。数据持久化可选不加持久化挂载时会话数据随--rm一起消失。执行mkdir -p ./pilot/{data,message,alembic_versions}建好目录再为启动命令追加-v ./pilot/data:/app/pilot/data、-v ./pilot/message:/app/pilot/message、-v ./pilot/alembic_versions:/app/pilot/meta_data/alembic/versions三条挂载即可。性能与生产建议多卡环境用--gpus device0,1指定具体 GPU避免误占其他卡。大模型推理报内存不足时加--shm-size 8g扩大共享内存。生产环境去掉--rm、改用-d后台运行并保留容器以便查看日志。更多镜像构建与编排细节见 Docker 安装文档。排障速查GPU 无法识别先跑nvidia-smi确认驱动再确认 Container Toolkit 已装且 Docker 已重启 ⚠️模型加载失败核对 toml 中path与-v挂载是否一致确认模型文件完整含.gitattributes与.git目录。5670 端口被占用改映射端口即可例如-p 5671:5670浏览器地址同步换成http://localhost:5671。收尾建议先用代理模型验证 5670 端口可访问功能确认无误后再做 GPU 部署显存不足或调用量变大时再回退或升级对应路线。【免费下载链接】DB-GPTopen-source agentic AI data assistant for the next generation of AI Data products.项目地址: https://gitcode.com/GitHub_Trending/db/DB-GPT创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表