前言LLaVA (Large Language-and-Vision Assistant) 作为多模态领域的标杆作品其简洁高效的架构备受开发者追捧。很多同学在看源码时会被上千行的train.py吓到但其实只要抓住了其四大核心区域和图文缝合逻辑整个框架便如庖丁解牛般清晰。今天我们就来深度拆解 LLaVA 的源码世界。一、 LLaVA 源码四大核心区兵工厂、炼丹炉、考场与前台核心模块源码路径职能描述核心架构区llava/model/整个大模型的“肉身”。包含CLIP眼睛、Projector翻译官和LLaMA大脑的定义。炼丹炉训练区llava/train/核心脚本train.py所在地。负责数据加载、Tokenization 以及调用 HuggingFace Trainer 进行参数更新。考场评估区llava/eval/官方评测集POPE、ScienceQA等的运行脚本验证模型是否会产生“幻觉”或智力下降。前台接待交互区llava/serve/包含 CLI 命令行交互和基于 Gradio 的精美网页 Demo 界面。二、 深度拆解数据加载管道train.py在训练区你只需要盯住一个核心类LazySupervisedDataset。当大模型“张嘴吃饭”时它负责在后台执行三步精密的手术1. 找图与“视觉洗菜” (Image Processing)代码读取 JSON 里的图片路径调用 CLIP 的image_processor。手术内容无论原图比例如何强行裁剪、缩放并标准化为固定的三维矩阵如[3, 336, 336]。术语这个矩阵在代码里被称为pixel_values。2. 文本格式化 (Conversation Formatting)原始 JSON 里只有human和gpt的对话LLaMA 并不认识。手术内容套用对话模板。加工后USER: image\n请分析情感倾向...\nASSISTANT: ...3. 偷天换日与“分词” (Tokenization)机器只认识数字。核心操作将文字转为 IDToken ID。最关键的是代码会寻找特殊的image占位符将其替换为一个预留的数字 ID通常是-200代表IMAGE_TOKEN_INDEX。产出input_ids。三、 手术台llava_llama.py的“移花接木”这是 LLaVA 最绝妙的地方位于prepare_inputs_labels_for_multimodal函数中。它完成了从“图片矩阵”到“语言特征”的华丽转身第一步大模型“开天眼”将[3, 336, 336]的图片矩阵砸进CLIP 视觉编码器。出来时图片变成了 576 个高维向量视觉积木块代表了图片的各个区域特征。第二步黑市翻译官 (Projector)这 576 个视觉积木块被送进mm_projector两层 MLP 网络。奇迹时刻图像特征被强行“翻译”成了和文字词向量Word Embedding一模一样的维度和形状第三步特征拼接 (The Surgery)代码在文字数字序列中精准定位到image的坑位然后像做外科手术一样切开文字序列。把刚才翻译好的 576 个“伪文字向量”硬生生地塞进断层里缝合。现在对于 LLaMA 大脑来说它看到的不再是图片而是一串特殊的“长单词”。四、 自动化监工LLaVATrainer与成品打包1. 训练监工在训练末尾LLaVATrainer接管一切。它负责计算误差 (Loss)如果模型预测错了情感倾向监工就通过反向传播去微调参数。防止走火入魔控制学习率Learning Rate和显存优化DeepSpeed。2. 出库保存LLaVA 在保存模型时非常克制尤其是 LoRA 微调不存7B 的庞大 LLaMA 原身。不存视觉编码器 CLIP。只存两样东西你在书上贴的**“LoRA 便利贴”以及被你疯狂训练过的“黑市翻译官” (Projector)**。 总结理解了 LLaVA你就理解了当前主流多模态大模型的“缝合方案”。想改模型架构去llava/model/。想适配自己的数据集去llava/train/研究__getitem__。想发顶会论文去llava/eval/增加你专属的测试指标
【深度解析】LLaVA 源码四大核心：从数据处理到图文融合的“外科手术”全过程
发布时间：2026/5/21 0:26:24
前言LLaVA (Large Language-and-Vision Assistant) 作为多模态领域的标杆作品其简洁高效的架构备受开发者追捧。很多同学在看源码时会被上千行的train.py吓到但其实只要抓住了其四大核心区域和图文缝合逻辑整个框架便如庖丁解牛般清晰。今天我们就来深度拆解 LLaVA 的源码世界。一、 LLaVA 源码四大核心区兵工厂、炼丹炉、考场与前台核心模块源码路径职能描述核心架构区llava/model/整个大模型的“肉身”。包含CLIP眼睛、Projector翻译官和LLaMA大脑的定义。炼丹炉训练区llava/train/核心脚本train.py所在地。负责数据加载、Tokenization 以及调用 HuggingFace Trainer 进行参数更新。考场评估区llava/eval/官方评测集POPE、ScienceQA等的运行脚本验证模型是否会产生“幻觉”或智力下降。前台接待交互区llava/serve/包含 CLI 命令行交互和基于 Gradio 的精美网页 Demo 界面。二、 深度拆解数据加载管道train.py在训练区你只需要盯住一个核心类LazySupervisedDataset。当大模型“张嘴吃饭”时它负责在后台执行三步精密的手术1. 找图与“视觉洗菜” (Image Processing)代码读取 JSON 里的图片路径调用 CLIP 的image_processor。手术内容无论原图比例如何强行裁剪、缩放并标准化为固定的三维矩阵如[3, 336, 336]。术语这个矩阵在代码里被称为pixel_values。2. 文本格式化 (Conversation Formatting)原始 JSON 里只有human和gpt的对话LLaMA 并不认识。手术内容套用对话模板。加工后USER: image\n请分析情感倾向...\nASSISTANT: ...3. 偷天换日与“分词” (Tokenization)机器只认识数字。核心操作将文字转为 IDToken ID。最关键的是代码会寻找特殊的image占位符将其替换为一个预留的数字 ID通常是-200代表IMAGE_TOKEN_INDEX。产出input_ids。三、 手术台llava_llama.py的“移花接木”这是 LLaVA 最绝妙的地方位于prepare_inputs_labels_for_multimodal函数中。它完成了从“图片矩阵”到“语言特征”的华丽转身第一步大模型“开天眼”将[3, 336, 336]的图片矩阵砸进CLIP 视觉编码器。出来时图片变成了 576 个高维向量视觉积木块代表了图片的各个区域特征。第二步黑市翻译官 (Projector)这 576 个视觉积木块被送进mm_projector两层 MLP 网络。奇迹时刻图像特征被强行“翻译”成了和文字词向量Word Embedding一模一样的维度和形状第三步特征拼接 (The Surgery)代码在文字数字序列中精准定位到image的坑位然后像做外科手术一样切开文字序列。把刚才翻译好的 576 个“伪文字向量”硬生生地塞进断层里缝合。现在对于 LLaMA 大脑来说它看到的不再是图片而是一串特殊的“长单词”。四、 自动化监工LLaVATrainer与成品打包1. 训练监工在训练末尾LLaVATrainer接管一切。它负责计算误差 (Loss)如果模型预测错了情感倾向监工就通过反向传播去微调参数。防止走火入魔控制学习率Learning Rate和显存优化DeepSpeed。2. 出库保存LLaVA 在保存模型时非常克制尤其是 LoRA 微调不存7B 的庞大 LLaMA 原身。不存视觉编码器 CLIP。只存两样东西你在书上贴的**“LoRA 便利贴”以及被你疯狂训练过的“黑市翻译官” (Projector)**。 总结理解了 LLaVA你就理解了当前主流多模态大模型的“缝合方案”。想改模型架构去llava/model/。想适配自己的数据集去llava/train/研究__getitem__。想发顶会论文去llava/eval/增加你专属的测试指标
