Ubuntu 22.04 RTX 4090 极速部署vLLM从驱动安装到DeepSeek模型推理全流程当RTX 4090遇上vLLM会碰撞出怎样的性能火花本文将带你体验在Ubuntu 22.04环境下如何充分发挥消费级旗舰显卡的潜力快速搭建高性能大语言模型推理服务。不同于传统的Kubernetes集群方案我们聚焦单机Docker部署特别针对桌面级GPU的显存优化和性能调优提供实用技巧。1. 硬件准备与环境配置1.1 系统基础优化在开始之前建议对Ubuntu系统进行基础优化# 更新系统并安装基础工具链 sudo apt update sudo apt upgrade -y sudo apt install -y build-essential git curl wget tmux htop # 禁用不必要的服务可选 sudo systemctl disable bluetooth.service sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target对于RTX 4090这类高功耗显卡建议在BIOS中做以下设置启用Above 4G Decoding设置Resizable BAR为Auto或EnabledPCIe插槽选择Gen4模式1.2 NVIDIA驱动安装RTX 40系显卡推荐使用535版本的驱动# 添加官方PPA源 sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update # 安装驱动和CUDA工具包会自动安装匹配版本 sudo apt install -y nvidia-driver-535 nvidia-dkms-535 # 验证安装 nvidia-smi预期输出应显示GPU型号、驱动版本和CUDA版本信息。如果遇到问题可以尝试# 常见问题排查 sudo ubuntu-drivers autoinstall sudo apt install -y nvidia-prime prime-select query # 应返回nvidia2. 容器化环境搭建2.1 Docker与NVIDIA容器工具包使用官方脚本安装Docker# 安装Docker curl -fsSL https://get.docker.com | sh sudo usermod -aG docker $USER newgrp docker # 安装NVIDIA容器工具包 distribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/nvidia-container-toolkit.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt update sudo apt install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker验证GPU容器支持docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi2.2 vLLM容器选择针对RTX 4090推荐使用以下镜像镜像名称特点适用场景vllm/vllm-openai:latest官方镜像兼容OpenAI API快速部署ghcr.io/huggingface/text-generation-inference:latestHuggingFace优化版生产环境自定义镜像灵活控制依赖版本特殊需求拉取官方镜像docker pull vllm/vllm-openai:latest3. DeepSeek模型部署实战3.1 模型下载与准备DeepSeek-R1 7B模型下载建议# 使用国内镜像加速 export HF_ENDPOINThttps://hf-mirror.com # 下载模型约14GB git lfs install git clone https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B ./models/deepseek-7b模型目录结构应包含├── config.json ├── generation_config.json ├── model-00001-of-00002.safetensors ├── model-00002-of-00002.safetensors ├── model.safetensors.index.json ├── special_tokens_map.json ├── tokenizer.json └── tokenizer_config.json3.2 启动推理服务使用以下命令启动优化后的vLLM服务docker run -d --gpus all \ -p 8000:8000 \ -v $(pwd)/models/deepseek-7b:/app/model \ vllm/vllm-openai:latest \ --model /app/model \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.92 \ --max-num-batched-tokens 4096 \ --quantization awq \ --enforce-eager \ --disable-log-requests关键参数说明--gpu-memory-utilization 0.92RTX 4090的24GB显存利用率设置为92%留出安全余量--quantization awq启用AWQ量化显存占用减少约40%--enforce-eager禁用图优化提高小批量推理稳定性3.3 性能监控与优化使用nvtop实时监控GPU状态sudo apt install -y nvtop nvtop针对RTX 4090的特别优化建议功率限制调整需root权限sudo nvidia-smi -pl 300 # 将TDP限制在300W默认450W显存超频可选sudo nvidia-settings -a [gpu:0]/GPUMemoryTransferRateOffset[3]1000PCIe带宽验证nvidia-smi -q | grep -i Link Width4. 推理API使用与测试4.1 基础API调用vLLM兼容OpenAI API格式import openai openai.api_base http://localhost:8000/v1 openai.api_key no-key-required response openai.ChatCompletion.create( model/app/model, messages[ {role: system, content: 你是一个专业的AI助手}, {role: user, content: 如何优化RTX 4090上的LLM推理性能} ], temperature0.7, max_tokens512 ) print(response[choices][0][message][content])4.2 性能基准测试使用ab进行压力测试# 安装Apache Bench sudo apt install -y apache2-utils # 执行测试100个请求10个并发 ab -n 100 -c 10 -p test.json -T application/json \ http://localhost:8000/v1/chat/completions其中test.json内容为{ model: /app/model, messages: [{role: user, content: 简要回答AI是什么}], max_tokens: 50 }RTX 4090典型性能指标指标FP16精度AWQ量化吞吐量 (tokens/s)120-150180-220首token延迟 (ms)50-8040-70显存占用 (GB)18-2010-124.3 高级功能实现流式输出from sseclient import SSEClient messages [ {role: user, content: 用300字介绍量子计算的基本原理} ] url http://localhost:8000/v1/chat/completions headers { Content-Type: application/json, Accept: text/event-stream } data { model: /app/model, messages: messages, stream: True, temperature: 0.7 } client SSEClient(requests.post(url, headersheaders, jsondata, streamTrue)) for event in client.events(): print(event.data, end, flushTrue)批量推理from vllm import SamplingParams prompts [ 解释深度学习中的注意力机制, 用Python实现快速排序, 如何学习机器学习 ] sampling_params SamplingParams(temperature0.8, top_p0.95) outputs llm.generate(prompts, sampling_params) for output in outputs: print(fPrompt: {output.prompt}) print(fGenerated text: {output.outputs[0].text}\n)5. 生产环境优化技巧5.1 显存优化策略针对RTX 4090的24GB显存推荐以下组合量化方案选择量化类型精度损失显存节省适用场景FP16无0%最高质量AWQ5%40-50%最佳平衡GPTQ5-10%50-60%极限省显存分页注意力配置在启动参数中添加--block-size 32 \ --max-num-seqs 256 \ --max-paddings 1285.2 持久化部署方案使用Docker Compose实现自动重启和日志管理version: 3.8 services: vllm: image: vllm/vllm-openai:latest deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu] ports: - 8000:8000 volumes: - ./models/deepseek-7b:/app/model - ./logs:/var/log/vllm command: [ --model, /app/model, --gpu-memory-utilization, 0.92, --quantization, awq, --max-num-batched-tokens, 4096, --log-file, /var/log/vllm/server.log ] restart: unless-stopped启动服务docker compose up -d5.3 安全防护措施API密钥保护docker run ... --api-key your-complex-password-here请求限流 使用Nginx作为反向代理limit_req_zone $binary_remote_addr zonevllm_limit:10m rate10r/s; server { listen 80; location /v1 { limit_req zonevllm_limit burst20; proxy_pass http://localhost:8000; } }模型保护chmod -R 750 ./models sudo chown -R root:docker ./models6. 故障排查与调试6.1 常见问题解决问题1CUDA out of memory解决方案降低--gpu-memory-utilization值建议每次减少0.05添加--swap-space 8启用CPU内存交换减少--max-num-batched-tokens问题2模型加载失败检查步骤# 验证模型完整性 python -c from transformers import AutoModel; AutoModel.from_pretrained(/app/model) # 检查文件权限 ls -lha /app/model问题3生成质量下降优化方法调整temperature0.3-0.7为推荐值设置top_p0.9添加repetition_penalty1.16.2 日志分析技巧关键日志信息解析[INFO] Loading model weights... # 模型加载阶段 [WARNING] Using padding with max_length4096 # 长文本警告 [ERROR] CUDA error 700 # 显存不足错误启用详细日志docker run ... --log-level debug6.3 性能瓶颈定位使用Nsight Systems进行深度分析# 安装Nsight sudo apt install -y nsight-systems # 采集数据需在宿主机执行 nsys profile -w true -t cuda,nvtx,osrt,cudnn,cublas -o vllm_report \ docker exec -it container_id python -m vllm.entrypoints.api_server ...分析生成的vllm_report.qdrep文件重点关注GPU利用率波动内存拷贝耗时核函数执行时间7. 扩展应用场景7.1 多模型热切换利用vLLM的模型并行功能docker run ... \ --model /app/model1 /app/model2 \ --worker-use-ray \ --num-gpu-blocks 0.5 0.5通过API指定模型response openai.ChatCompletion.create( model/app/model1, # 指定模型路径 messages[...] )7.2 函数调用集成扩展vLLM支持工具调用from vllm import LLM, SamplingParams llm LLM(model/app/model) tools [ { name: get_current_weather, description: 获取当前天气, parameters: {...} } ] response llm.generate( 北京现在天气如何, toolstools, tool_choiceauto )7.3 多模态扩展结合CLIP等视觉模型from PIL import Image import torch from transformers import CLIPProcessor, CLIPModel # 加载视觉模型 clip_model CLIPModel.from_pretrained(openai/clip-vit-base-patch32) processor CLIPProcessor.from_pretrained(openai/clip-vit-base-patch32) # 图像编码 image Image.open(example.jpg) inputs processor(imagesimage, return_tensorspt) image_features clip_model.get_image_features(**inputs) # 将特征注入LLM llm_inputs { input_ids: text_ids, image_features: image_features } outputs llm.generate(**llm_inputs)8. 性能对比与选型建议8.1 RTX 4090 vs 专业显卡指标RTX 4090A100 40GB备注FP16算力82.6 TFLOPS78 TFLOPS理论峰值显存带宽1008 GB/s1555 GB/s影响吞吐量价格$1600$10000市场均价能效比高中等每瓦性能稳定性良好优秀7x24运行8.2 模型规模推荐基于RTX 4090的显存容量模型参数量化方式显存占用适用场景7BFP1614-16GB最佳平衡13BAWQ12-14GB性能优先20BGPTQ10-12GB极限压缩70B不推荐超出容量需多卡8.3 框架选择建议框架优势适用场景vLLM高吞吐量API服务、批量推理TextGen易用性快速原型开发Triton低延迟实时推理ONNX跨平台边缘部署9. 成本优化方案9.1 电力消耗控制RTX 4090功耗管理技巧# 设置功率限制需安装nvidia-smi sudo nvidia-smi -pl 300 # 限制到300W # 查看当前功耗 nvidia-smi -q -d POWER典型功耗场景负载程度平均功耗温度空闲30-50W40℃中等负载200-250W60℃满负载350-450W75℃9.2 模型缓存优化利用RAMDisk加速模型加载# 创建16GB的内存盘 sudo mkdir /mnt/ramdisk sudo mount -t tmpfs -o size16G tmpfs /mnt/ramdisk # 复制模型到内存盘 cp -r ./models/deepseek-7b /mnt/ramdisk/ # 启动时挂载内存盘路径 docker run ... -v /mnt/ramdisk/deepseek-7b:/app/model9.3 混合精度计算在启动参数中指定--dtype auto \ # 自动选择最佳精度 --enforce-eager \ --mixed-precision bf16 # 支持Ampere架构精度对比精度模式速度显存占用质量FP32慢100%最佳FP16快50%优BF16快50%优INT8最快25%良10. 前沿技术展望10.1 FlashAttention-2集成在启动参数中启用--use-flash-attn \ --flash-attn-version 2 \ --flash-attn-block-size 64性能提升预期序列长度原始速度FlashAttn-2加速512100%120%1024100%150%2048100%200%10.2 持续批处理优化动态批处理配置--max-num-seqs 256 \ --max-paddings 128 \ --batch-prefill 3210.3 新型量化技术尝试GPTQ新特性--quantization gptq \ --gptq-bits 4 \ --gptq-group-size 128
Ubuntu 22.04 + RTX 4090 极速部署vLLM：从驱动安装到DeepSeek模型推理全流程
发布时间：2026/7/16 2:02:27
Ubuntu 22.04 RTX 4090 极速部署vLLM从驱动安装到DeepSeek模型推理全流程当RTX 4090遇上vLLM会碰撞出怎样的性能火花本文将带你体验在Ubuntu 22.04环境下如何充分发挥消费级旗舰显卡的潜力快速搭建高性能大语言模型推理服务。不同于传统的Kubernetes集群方案我们聚焦单机Docker部署特别针对桌面级GPU的显存优化和性能调优提供实用技巧。1. 硬件准备与环境配置1.1 系统基础优化在开始之前建议对Ubuntu系统进行基础优化# 更新系统并安装基础工具链 sudo apt update sudo apt upgrade -y sudo apt install -y build-essential git curl wget tmux htop # 禁用不必要的服务可选 sudo systemctl disable bluetooth.service sudo systemctl mask sleep.target suspend.target hibernate.target hybrid-sleep.target对于RTX 4090这类高功耗显卡建议在BIOS中做以下设置启用Above 4G Decoding设置Resizable BAR为Auto或EnabledPCIe插槽选择Gen4模式1.2 NVIDIA驱动安装RTX 40系显卡推荐使用535版本的驱动# 添加官方PPA源 sudo add-apt-repository ppa:graphics-drivers/ppa -y sudo apt update # 安装驱动和CUDA工具包会自动安装匹配版本 sudo apt install -y nvidia-driver-535 nvidia-dkms-535 # 验证安装 nvidia-smi预期输出应显示GPU型号、驱动版本和CUDA版本信息。如果遇到问题可以尝试# 常见问题排查 sudo ubuntu-drivers autoinstall sudo apt install -y nvidia-prime prime-select query # 应返回nvidia2. 容器化环境搭建2.1 Docker与NVIDIA容器工具包使用官方脚本安装Docker# 安装Docker curl -fsSL https://get.docker.com | sh sudo usermod -aG docker $USER newgrp docker # 安装NVIDIA容器工具包 distribution$(. /etc/os-release;echo $ID$VERSION_ID) \ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \ curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/nvidia-container-toolkit.list | \ sed s#deb https://#deb [signed-by/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g | \ sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt update sudo apt install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtimedocker sudo systemctl restart docker验证GPU容器支持docker run --rm --gpus all nvidia/cuda:12.2.0-base-ubuntu22.04 nvidia-smi2.2 vLLM容器选择针对RTX 4090推荐使用以下镜像镜像名称特点适用场景vllm/vllm-openai:latest官方镜像兼容OpenAI API快速部署ghcr.io/huggingface/text-generation-inference:latestHuggingFace优化版生产环境自定义镜像灵活控制依赖版本特殊需求拉取官方镜像docker pull vllm/vllm-openai:latest3. DeepSeek模型部署实战3.1 模型下载与准备DeepSeek-R1 7B模型下载建议# 使用国内镜像加速 export HF_ENDPOINThttps://hf-mirror.com # 下载模型约14GB git lfs install git clone https://hf-mirror.com/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B ./models/deepseek-7b模型目录结构应包含├── config.json ├── generation_config.json ├── model-00001-of-00002.safetensors ├── model-00002-of-00002.safetensors ├── model.safetensors.index.json ├── special_tokens_map.json ├── tokenizer.json └── tokenizer_config.json3.2 启动推理服务使用以下命令启动优化后的vLLM服务docker run -d --gpus all \ -p 8000:8000 \ -v $(pwd)/models/deepseek-7b:/app/model \ vllm/vllm-openai:latest \ --model /app/model \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.92 \ --max-num-batched-tokens 4096 \ --quantization awq \ --enforce-eager \ --disable-log-requests关键参数说明--gpu-memory-utilization 0.92RTX 4090的24GB显存利用率设置为92%留出安全余量--quantization awq启用AWQ量化显存占用减少约40%--enforce-eager禁用图优化提高小批量推理稳定性3.3 性能监控与优化使用nvtop实时监控GPU状态sudo apt install -y nvtop nvtop针对RTX 4090的特别优化建议功率限制调整需root权限sudo nvidia-smi -pl 300 # 将TDP限制在300W默认450W显存超频可选sudo nvidia-settings -a [gpu:0]/GPUMemoryTransferRateOffset[3]1000PCIe带宽验证nvidia-smi -q | grep -i Link Width4. 推理API使用与测试4.1 基础API调用vLLM兼容OpenAI API格式import openai openai.api_base http://localhost:8000/v1 openai.api_key no-key-required response openai.ChatCompletion.create( model/app/model, messages[ {role: system, content: 你是一个专业的AI助手}, {role: user, content: 如何优化RTX 4090上的LLM推理性能} ], temperature0.7, max_tokens512 ) print(response[choices][0][message][content])4.2 性能基准测试使用ab进行压力测试# 安装Apache Bench sudo apt install -y apache2-utils # 执行测试100个请求10个并发 ab -n 100 -c 10 -p test.json -T application/json \ http://localhost:8000/v1/chat/completions其中test.json内容为{ model: /app/model, messages: [{role: user, content: 简要回答AI是什么}], max_tokens: 50 }RTX 4090典型性能指标指标FP16精度AWQ量化吞吐量 (tokens/s)120-150180-220首token延迟 (ms)50-8040-70显存占用 (GB)18-2010-124.3 高级功能实现流式输出from sseclient import SSEClient messages [ {role: user, content: 用300字介绍量子计算的基本原理} ] url http://localhost:8000/v1/chat/completions headers { Content-Type: application/json, Accept: text/event-stream } data { model: /app/model, messages: messages, stream: True, temperature: 0.7 } client SSEClient(requests.post(url, headersheaders, jsondata, streamTrue)) for event in client.events(): print(event.data, end, flushTrue)批量推理from vllm import SamplingParams prompts [ 解释深度学习中的注意力机制, 用Python实现快速排序, 如何学习机器学习 ] sampling_params SamplingParams(temperature0.8, top_p0.95) outputs llm.generate(prompts, sampling_params) for output in outputs: print(fPrompt: {output.prompt}) print(fGenerated text: {output.outputs[0].text}\n)5. 生产环境优化技巧5.1 显存优化策略针对RTX 4090的24GB显存推荐以下组合量化方案选择量化类型精度损失显存节省适用场景FP16无0%最高质量AWQ5%40-50%最佳平衡GPTQ5-10%50-60%极限省显存分页注意力配置在启动参数中添加--block-size 32 \ --max-num-seqs 256 \ --max-paddings 1285.2 持久化部署方案使用Docker Compose实现自动重启和日志管理version: 3.8 services: vllm: image: vllm/vllm-openai:latest deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu] ports: - 8000:8000 volumes: - ./models/deepseek-7b:/app/model - ./logs:/var/log/vllm command: [ --model, /app/model, --gpu-memory-utilization, 0.92, --quantization, awq, --max-num-batched-tokens, 4096, --log-file, /var/log/vllm/server.log ] restart: unless-stopped启动服务docker compose up -d5.3 安全防护措施API密钥保护docker run ... --api-key your-complex-password-here请求限流 使用Nginx作为反向代理limit_req_zone $binary_remote_addr zonevllm_limit:10m rate10r/s; server { listen 80; location /v1 { limit_req zonevllm_limit burst20; proxy_pass http://localhost:8000; } }模型保护chmod -R 750 ./models sudo chown -R root:docker ./models6. 故障排查与调试6.1 常见问题解决问题1CUDA out of memory解决方案降低--gpu-memory-utilization值建议每次减少0.05添加--swap-space 8启用CPU内存交换减少--max-num-batched-tokens问题2模型加载失败检查步骤# 验证模型完整性 python -c from transformers import AutoModel; AutoModel.from_pretrained(/app/model) # 检查文件权限 ls -lha /app/model问题3生成质量下降优化方法调整temperature0.3-0.7为推荐值设置top_p0.9添加repetition_penalty1.16.2 日志分析技巧关键日志信息解析[INFO] Loading model weights... # 模型加载阶段 [WARNING] Using padding with max_length4096 # 长文本警告 [ERROR] CUDA error 700 # 显存不足错误启用详细日志docker run ... --log-level debug6.3 性能瓶颈定位使用Nsight Systems进行深度分析# 安装Nsight sudo apt install -y nsight-systems # 采集数据需在宿主机执行 nsys profile -w true -t cuda,nvtx,osrt,cudnn,cublas -o vllm_report \ docker exec -it container_id python -m vllm.entrypoints.api_server ...分析生成的vllm_report.qdrep文件重点关注GPU利用率波动内存拷贝耗时核函数执行时间7. 扩展应用场景7.1 多模型热切换利用vLLM的模型并行功能docker run ... \ --model /app/model1 /app/model2 \ --worker-use-ray \ --num-gpu-blocks 0.5 0.5通过API指定模型response openai.ChatCompletion.create( model/app/model1, # 指定模型路径 messages[...] )7.2 函数调用集成扩展vLLM支持工具调用from vllm import LLM, SamplingParams llm LLM(model/app/model) tools [ { name: get_current_weather, description: 获取当前天气, parameters: {...} } ] response llm.generate( 北京现在天气如何, toolstools, tool_choiceauto )7.3 多模态扩展结合CLIP等视觉模型from PIL import Image import torch from transformers import CLIPProcessor, CLIPModel # 加载视觉模型 clip_model CLIPModel.from_pretrained(openai/clip-vit-base-patch32) processor CLIPProcessor.from_pretrained(openai/clip-vit-base-patch32) # 图像编码 image Image.open(example.jpg) inputs processor(imagesimage, return_tensorspt) image_features clip_model.get_image_features(**inputs) # 将特征注入LLM llm_inputs { input_ids: text_ids, image_features: image_features } outputs llm.generate(**llm_inputs)8. 性能对比与选型建议8.1 RTX 4090 vs 专业显卡指标RTX 4090A100 40GB备注FP16算力82.6 TFLOPS78 TFLOPS理论峰值显存带宽1008 GB/s1555 GB/s影响吞吐量价格$1600$10000市场均价能效比高中等每瓦性能稳定性良好优秀7x24运行8.2 模型规模推荐基于RTX 4090的显存容量模型参数量化方式显存占用适用场景7BFP1614-16GB最佳平衡13BAWQ12-14GB性能优先20BGPTQ10-12GB极限压缩70B不推荐超出容量需多卡8.3 框架选择建议框架优势适用场景vLLM高吞吐量API服务、批量推理TextGen易用性快速原型开发Triton低延迟实时推理ONNX跨平台边缘部署9. 成本优化方案9.1 电力消耗控制RTX 4090功耗管理技巧# 设置功率限制需安装nvidia-smi sudo nvidia-smi -pl 300 # 限制到300W # 查看当前功耗 nvidia-smi -q -d POWER典型功耗场景负载程度平均功耗温度空闲30-50W40℃中等负载200-250W60℃满负载350-450W75℃9.2 模型缓存优化利用RAMDisk加速模型加载# 创建16GB的内存盘 sudo mkdir /mnt/ramdisk sudo mount -t tmpfs -o size16G tmpfs /mnt/ramdisk # 复制模型到内存盘 cp -r ./models/deepseek-7b /mnt/ramdisk/ # 启动时挂载内存盘路径 docker run ... -v /mnt/ramdisk/deepseek-7b:/app/model9.3 混合精度计算在启动参数中指定--dtype auto \ # 自动选择最佳精度 --enforce-eager \ --mixed-precision bf16 # 支持Ampere架构精度对比精度模式速度显存占用质量FP32慢100%最佳FP16快50%优BF16快50%优INT8最快25%良10. 前沿技术展望10.1 FlashAttention-2集成在启动参数中启用--use-flash-attn \ --flash-attn-version 2 \ --flash-attn-block-size 64性能提升预期序列长度原始速度FlashAttn-2加速512100%120%1024100%150%2048100%200%10.2 持续批处理优化动态批处理配置--max-num-seqs 256 \ --max-paddings 128 \ --batch-prefill 3210.3 新型量化技术尝试GPTQ新特性--quantization gptq \ --gptq-bits 4 \ --gptq-group-size 128
