Phi-3 Forest Lab部署教程：Docker Compose多服务编排（含Redis缓存）

Phi-3 Forest Lab部署教程Docker Compose多服务编排含Redis缓存1. 项目概述Phi-3 Forest Lab是一个基于微软Phi-3 Mini 128K Instruct模型构建的AI对话终端采用极简主义设计风格为用户提供清新自然的交互体验。本教程将指导您使用Docker Compose完成整套系统的部署包含以下核心组件Phi-3模型服务基于HuggingFace Transformers的推理APIStreamlit前端美观的森林主题交互界面Redis缓存提升对话历史管理效率Nginx反向代理统一服务入口和负载均衡2. 环境准备2.1 硬件要求显卡NVIDIA GPU推荐RTX 3090/4090显存至少16GB内存32GB以上存储50GB可用空间2.2 软件依赖确保您的系统已安装Docker 20.10Docker Compose 2.0NVIDIA Container ToolkitGPU支持# 验证Docker安装 docker --version docker-compose --version # 验证NVIDIA支持 nvidia-smi3. 部署步骤3.1 获取项目文件创建项目目录并下载必要文件mkdir phi3-forest-lab cd phi3-forest-lab wget https://example.com/phi3-forest-lab/docker-compose.yml wget https://example.com/phi3-forest-lab/.env.example -O .env3.2 配置环境变量编辑.env文件设置关键参数# 模型配置 MODEL_NAMEmicrosoft/Phi-3-mini-128k-instruct MAX_TOKENS128000 DEVICEcuda # Redis配置 REDIS_HOSTredis REDIS_PORT6379 REDIS_PASSWORDyour_secure_password # 服务端口 WEB_PORT7860 API_PORT50003.3 编写Docker Compose文件以下是完整的docker-compose.yml配置version: 3.8 services: redis: image: redis:alpine container_name: phi3_redis ports: - 6379:6379 volumes: - redis_data:/data environment: - REDIS_PASSWORD${REDIS_PASSWORD} command: redis-server --requirepass ${REDIS_PASSWORD} api: image: phi3-api:latest build: context: . dockerfile: Dockerfile.api container_name: phi3_api ports: - ${API_PORT}:5000 environment: - MODEL_NAME${MODEL_NAME} - MAX_TOKENS${MAX_TOKENS} - DEVICE${DEVICE} - REDIS_HOST${REDIS_HOST} - REDIS_PORT${REDIS_PORT} - REDIS_PASSWORD${REDIS_PASSWORD} depends_on: - redis deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu] web: image: phi3-web:latest build: context: . dockerfile: Dockerfile.web container_name: phi3_web ports: - ${WEB_PORT}:7860 depends_on: - api environment: - API_URLhttp://api:5000 nginx: image: nginx:alpine container_name: phi3_nginx ports: - 80:80 volumes: - ./nginx.conf:/etc/nginx/nginx.conf depends_on: - web - api volumes: redis_data:3.4 构建并启动服务# 构建镜像首次运行需要较长时间下载模型 docker-compose build # 启动所有服务 docker-compose up -d # 查看日志 docker-compose logs -f4. 服务验证4.1 检查容器状态docker ps --format table {{.Names}}\t{{.Status}}\t{{.Ports}}应看到4个容器正常运行phi3_redisphi3_apiphi3_webphi3_nginx4.2 测试API接口curl -X POST http://localhost:5000/generate \ -H Content-Type: application/json \ -d {prompt:介绍一下你自己,max_tokens:100}4.3 访问Web界面打开浏览器访问http://localhost:78605. 高级配置5.1 Redis缓存优化编辑docker-compose.yml中的redis服务部分添加性能参数redis: # ...原有配置... command: redis-server --requirepass ${REDIS_PASSWORD} --maxmemory 2gb --maxmemory-policy allkeys-lru --save 60 10005.2 模型量化加速在API服务的Dockerfile中添加量化选项# 在Dockerfile.api中添加 RUN pip install auto-gptq # 修改模型加载代码 FROM transformers import AutoModelForCausalLM, AutoTokenizer model AutoModelForCausalLM.from_pretrained( MODEL_NAME, device_mapauto, torch_dtypeauto, quantization_configgptq )5.3 Nginx负载均衡创建nginx.conf配置多个API实例upstream api_servers { server api1:5000; server api2:5000; server api3:5000; } server { location /api/ { proxy_pass http://api_servers; } }6. 常见问题解决6.1 模型下载失败# 手动下载模型到指定目录 docker run -it --rm -v $(pwd)/models:/models phi3-api \ python -c from transformers import AutoModel; AutoModel.from_pretrained(${MODEL_NAME}, cache_dir/models)6.2 GPU内存不足修改.env文件中的参数# 减少最大token数 MAX_TOKENS64000 # 使用8bit量化 LOAD_IN_8BITtrue6.3 Redis连接问题检查redis日志docker logs phi3_redis验证连接docker exec -it phi3_redis redis-cli -a your_secure_password ping7. 总结通过本教程您已经成功部署了包含以下组件的Phi-3 Forest Lab系统Phi-3模型服务提供128K上下文的高效推理Streamlit前端美观的森林主题交互界面Redis缓存优化对话历史管理Nginx反向代理统一服务入口这种Docker Compose多服务编排方案具有以下优势一键部署简化复杂系统的安装过程资源隔离各组件独立运行互不干扰易于扩展可快速增加API实例或缓存节点便于维护统一管理所有服务配置获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。