多模态coca/clip模型训练效果判断指标等

# 欠拟合欠拟合就是能学的更好通常是差的数据训练集和测试集都呈现一样的差学习率过高为什么通常容易导致欠拟合认知神经学类比模型角度机制最终结果学太快、基础不扎实学习率过高→参数步幅过大→跳过最优解无法掌握核心特征拟合不足囫囵吞枣、记不住重点、成绩稳定性差梯度震荡→参数波动大→无法形成稳定权重训练集表现差跨类别严重混淆注意力不集中、漏学关键知识点收敛失败→提前停止学习→特征学习不充分模型容量闲置对新数据适配差解决方案观察 Loss 曲线训练集 Loss 是否长期处于高位、且无下降趋势或剧烈波动降低学习率重训将学习率调小比如从 1e-1 降到 1e-3、1e-4如果模型 Loss 快速下降、准确率显著提升说明之前确实是学习率过高导致的欠拟合。对比收敛速度高学习率往往伴随 “前期震荡大后期无法收敛”低学习率则是 “前期慢但后期能稳定收敛到最优解”。2. 数据少应该提高学习率还是降低这里和认知神经学相反因为模型是全参数化更新而无法像人类一样模块化、智能化更新由于噪声的少量数据集更容易方法模型容易某些类过拟合某些类欠拟合数据少的关键不是 “提速学”而是 “稳着学”低学习率 正则化 / 数据增强 / 预训练3、 粗粒度描述变成细粒度描述语义变难怎么学粗粒度变成细粒度特征需要学习的维度变多学习率可以稍微下降一定比例语义变难时如果语义模型并不强大学习率可以下调更多