多模态大模型实战4

第4章 VLM架构设计——从LLaVA到Qwen2.5-VL学习目标掌握拼接式VLM的标准架构（视觉编码器 + 投影层 + LLM）理解LLaVA的两阶段训练流程了解主流VLM的架构差异和设计选择实战：用LLaVA推理完成多模态任务4.1 VLM标准架构拼接式VLM的标准架构由三个模块组成：┌─────────────┐ ┌──────────────┐ ┌─────────────┐ │ 视觉编码器 │────→│ 投影层 │────→│ LLM │ │ (CLIP ViT) │ │ (MLP/Q-Former)│ │ (Mistral等) │ └─────────────┘ └──────────────┘ └─────────────┘视觉编码器提取图像特征，几乎都用CLIP的ViT变体。编码器参数量分辨率视觉Token数CLIP ViT-L/14304M