1. 理解FLOPs与Params的核心概念第一次接触FLOPs和Params这两个指标时我也被它们相似的拼写搞晕过。后来在实际项目中才发现这两个看似简单的指标对模型优化至关重要。FLOPs注意s小写全称是floating point operations表示浮点运算次数它直接反映了模型的计算复杂度。而Params则是模型参数量的简称决定了模型的空间复杂度。举个生活中的例子FLOPs就像是你做一道菜需要翻炒的次数而Params则是你厨房里准备的调料种类数量。翻炒次数越多FLOPs越大做菜时间越长调料种类越多Params越大需要的储物空间就越大。在深度学习领域FLOPs决定了模型推理速度Params则影响模型内存占用。这里要特别注意区分FLOPs和FLOPS全大写。后者是floating point operations per second的缩写表示每秒浮点运算次数是用来衡量硬件计算性能的指标。比如NVIDIA A100显卡的峰值性能是312 TFLOPS表示它每秒能进行312万亿次浮点运算。2. PyTorch中计算Params的三种方法在实际项目中我经常需要快速评估模型的参数量。PyTorch提供了多种计算Params的方法每种适用于不同场景。最基础的方法是遍历模型的parameters()import torch from torchvision.models import resnet18 import numpy as np model resnet18() total_params sum(np.prod(p.size()) for p in model.parameters()) print(fTotal params: {total_params/1e6:.2f}M)这个方法简单直接但有时我们需要区分可训练参数和冻结参数。比如在迁移学习场景下trainable_params sum(p.numel() for p in model.parameters() if p.requires_grad) frozen_params total_params - trainable_params print(fTrainable params: {trainable_params/1e6:.2f}M) print(fFrozen params: {frozen_params/1e6:.2f}M)对于更细致的分析我推荐使用named_parameters()查看每层参数for name, param in model.named_parameters(): print(f{name}: {param.numel()} params)这种方法在调试模型时特别有用可以快速定位参数量异常的层。比如发现某个卷积层的参数量突然激增可能是kernel size或channel数设置不合理。3. 手动计算FLOPs的原理与方法理解FLOPs的手动计算方法对模型设计很有帮助。以卷积层为例其FLOPs计算公式为FLOPs 2 × C_in × K² × H_out × W_out × C_out其中C_in是输入通道数K是卷积核大小H_out和W_out是输出特征图尺寸C_out是输出通道数。这个公式的推导过程很有意思每个输出像素需要C_in×K²次乘法和C_in×K²-1次加法考虑到MAC乘加操作算作两次浮点运算所以系数为2。全连接层的FLOPs计算更简单FLOPs (2 × I - 1) × OI是输入神经元数量O是输出神经元数量。在实际项目中我发现很多人会忽略bias的影响。当不考虑bias时公式中的-1不能省略如果考虑bias则应该去掉-1。为了验证这些公式我曾在VGG16上做过实验def conv_flops(c_in, c_out, k, h_out, w_out, biasTrue): return 2 * c_in * k**2 * h_out * w_out * c_out (h_out * w_out * c_out if bias else 0) # 示例计算VGG第一个卷积层的FLOPs flops conv_flops(3, 64, 3, 224, 224) print(fFirst conv FLOPs: {flops/1e9:.2f}G)手动计算虽然精确但在复杂模型上很容易出错。后来我发现了一些更高效的工具...4. 使用thop库快速评估模型效率经过多次手动计算的痛苦经历我发现了thop这个神器。安装非常简单pip install thop使用示例from torchvision.models import resnet50 from thop import profile model resnet50() input torch.randn(1, 3, 224, 224) flops, params profile(model, inputs(input,)) print(fFLOPs: {flops/1e9:.2f}G) print(fParams: {params/1e6:.2f}M)thop的一个强大之处在于它能自动识别各种层类型。我测试过它支持几乎所有PyTorch原生层包括卷积层(Conv2d)全连接层(Linear)池化层各种归一化层注意力机制层不过在使用过程中也发现几个需要注意的地方输入尺寸会影响FLOPs计算结果特别是对包含自适应池化的模型自定义层需要手动注册FLOPs计算函数某些复杂操作可能不会被准确统计对于自定义层可以这样扩展def my_layer_flops(layer, x, y): flops x.size(1) * y.size(1) * 10 # 自定义计算逻辑 return flops from thop.vision.basic_hooks import register_hook register_hook(MyCustomLayer, my_layer_flops)5. 模型优化实战技巧掌握了FLOPs和Params的计算方法后我在多个项目中应用这些指标来优化模型。以下是一些实用技巧技巧1瓶颈分析使用逐层FLOPs统计找出计算热点from thop import clever_format def analyze_model(model, input_size): model.eval() flops_dict {} handles [] def hook(module, input, output): flops thop.profile(module, inputs(input,), verboseFalse)[0] flops_dict[module.__class__.__name__] flops for module in model.modules(): if len(list(module.children())) 0: # 只统计叶子模块 handles.append(module.register_forward_hook(hook)) _ model(torch.rand(input_size)) [h.remove() for h in handles] total_flops sum(flops_dict.values()) for name, flops in flops_dict.items(): print(f{name}: {flops/total_flops:.1%})技巧2轻量化设计在保持准确率的前提下我通常会用深度可分离卷积替代常规卷积在适当位置使用1×1卷积降维控制全连接层的参数量例如这样设计一个轻量级块class LiteBlock(nn.Module): def __init__(self, c_in, c_out): super().__init__() self.conv1 nn.Conv2d(c_in, c_in, 3, groupsc_in) # 深度卷积 self.conv2 nn.Conv2d(c_in, c_out, 1) # 点卷积 def forward(self, x): return self.conv2(self.conv1(x))技巧3量化评估在考虑模型量化时FLOPs和Params的比值很有参考价值。我通常用这个指标筛选适合量化的模型def evaluate_quant(model, input_size): flops, params profile(model, inputs(torch.rand(input_size),)) return flops / params # 比值越大量化收益通常越高6. 常见问题与解决方案在实际应用中我遇到过不少关于FLOPs和Params的坑这里分享几个典型案例问题1FLOPs计算值与实测推理时间不符有一次发现模型的FLOPs降低了30%但实际推理时间只减少了10%。经过排查发现内存访问开销成为了瓶颈某些操作如reshape、concat没有被计入FLOPs并行计算效率差异解决方案是结合PyTorch Profiler进行更全面的分析with torch.profiler.profile( activities[torch.profiler.ProfilerActivity.CPU], scheduletorch.profiler.schedule(wait1, warmup1, active3), ) as prof: for _ in range(5): model(inputs) prof.step() print(prof.key_averages().table())问题2模型参数量异常增大在实现Transformer时突然发现Params比预期大了很多。原因是忘记共享embedding层的权重位置编码实现方式不当LayerNorm参数重复计算通过逐层检查发现了问题for name, param in model.named_parameters(): if param.numel() 1e6: # 打印超过100万的参数层 print(fLarge layer: {name} - {param.numel()/1e6:.2f}M)问题3thop计算结果不准确在使用自定义注意力机制时发现thop统计的FLOPs明显偏小。这是因为thop默认不统计softmax等操作的FLOPs。解决方法是为自定义操作注册hookdef attention_flops(module, input, output): # input: [B, N, C] q, k, v input[0], input[1], input[2] flops q.size(0) * q.size(1) * k.size(1) * q.size(2) * 2 # QK^T flops q.size(0) * q.size(1) * k.size(1) * 3 # softmax return flops register_hook(MyAttention, attention_flops)7. 进阶应用与性能调优当模型部署到实际生产环境时仅看FLOPs和Params还不够。我总结了一些进阶优化方法方法1计算密度优化计算密度 FLOPs / (参数量 × 数据量)。高计算密度意味着更好的硬件利用率。可以通过以下方式提升增加卷积核尺寸的均匀性调整特征图尺寸使能被32整除使用更规整的通道数如128的倍数def compute_density(model, input_size): input torch.rand(input_size) flops, _ profile(model, inputs(input,)) params sum(p.numel() for p in model.parameters()) data_size input.numel() * 4 # 假设float32 return flops / (params * data_size)方法2内存访问优化有时减少FLOPs反而会降低性能因为增加了内存访问次数。我常用这个经验公式评估def memory_access_cost(model, input_size): input torch.rand(input_size) _, params profile(model, inputs(input,)) # 假设每次内存访问需要10个时钟周期 return params * 10 / 1e9 # 转换为秒方法3硬件感知设计不同硬件对操作类型的优化程度不同。例如在GPU上大卷积核效率高在NPU上特定尺寸的矩阵乘法有加速在CPU上小批量的深度卷积效率低我通常会为不同硬件设计不同的模型变体def create_model_for_hardware(device_type): if device_type gpu: return BigKernelModel() elif device_type npu: return MatrixFriendlyModel() else: return LightweightModel()8. 工具链整合与自动化评估在大规模模型开发中手动评估每个模型的效率很不现实。我建立了自动化评估流程方案1CI集成在代码提交时自动运行评估# .github/workflows/model_check.yml - name: Evaluate Model run: | python -c import torch; from thop import profile model torch.hub.load(our_repo, model) flops, params profile(model, inputs(torch.rand(1,3,224,224),)) print(f::set-output nameflops::{flops}) print(f::set-output nameparams::{params}) 方案2可视化监控使用TensorBoard记录模型效率变化from torch.utils.tensorboard import SummaryWriter writer SummaryWriter() for epoch in range(epochs): # 训练代码... writer.add_scalar(Efficiency/FLOPs, calculate_flops(model), epoch) writer.add_scalar(Efficiency/Params, calculate_params(model), epoch)方案3自动化报告生成结合Pandas生成模型卡def generate_model_card(models): data [] for name, model in models.items(): flops, params profile(model, inputs(torch.rand(1,3,224,224),)) data.append([name, flops/1e9, params/1e6]) df pd.DataFrame(data, columns[Model, FLOPs(G), Params(M)]) df.to_markdown(MODEL_CARD.md)在实际项目中这套自动化系统帮我们节省了大量手动评估时间特别是在模型架构搜索阶段。
深度学习模型效率评估：FLOPs与Params在PyTorch中的实战解析
发布时间：2026/5/19 22:55:46
1. 理解FLOPs与Params的核心概念第一次接触FLOPs和Params这两个指标时我也被它们相似的拼写搞晕过。后来在实际项目中才发现这两个看似简单的指标对模型优化至关重要。FLOPs注意s小写全称是floating point operations表示浮点运算次数它直接反映了模型的计算复杂度。而Params则是模型参数量的简称决定了模型的空间复杂度。举个生活中的例子FLOPs就像是你做一道菜需要翻炒的次数而Params则是你厨房里准备的调料种类数量。翻炒次数越多FLOPs越大做菜时间越长调料种类越多Params越大需要的储物空间就越大。在深度学习领域FLOPs决定了模型推理速度Params则影响模型内存占用。这里要特别注意区分FLOPs和FLOPS全大写。后者是floating point operations per second的缩写表示每秒浮点运算次数是用来衡量硬件计算性能的指标。比如NVIDIA A100显卡的峰值性能是312 TFLOPS表示它每秒能进行312万亿次浮点运算。2. PyTorch中计算Params的三种方法在实际项目中我经常需要快速评估模型的参数量。PyTorch提供了多种计算Params的方法每种适用于不同场景。最基础的方法是遍历模型的parameters()import torch from torchvision.models import resnet18 import numpy as np model resnet18() total_params sum(np.prod(p.size()) for p in model.parameters()) print(fTotal params: {total_params/1e6:.2f}M)这个方法简单直接但有时我们需要区分可训练参数和冻结参数。比如在迁移学习场景下trainable_params sum(p.numel() for p in model.parameters() if p.requires_grad) frozen_params total_params - trainable_params print(fTrainable params: {trainable_params/1e6:.2f}M) print(fFrozen params: {frozen_params/1e6:.2f}M)对于更细致的分析我推荐使用named_parameters()查看每层参数for name, param in model.named_parameters(): print(f{name}: {param.numel()} params)这种方法在调试模型时特别有用可以快速定位参数量异常的层。比如发现某个卷积层的参数量突然激增可能是kernel size或channel数设置不合理。3. 手动计算FLOPs的原理与方法理解FLOPs的手动计算方法对模型设计很有帮助。以卷积层为例其FLOPs计算公式为FLOPs 2 × C_in × K² × H_out × W_out × C_out其中C_in是输入通道数K是卷积核大小H_out和W_out是输出特征图尺寸C_out是输出通道数。这个公式的推导过程很有意思每个输出像素需要C_in×K²次乘法和C_in×K²-1次加法考虑到MAC乘加操作算作两次浮点运算所以系数为2。全连接层的FLOPs计算更简单FLOPs (2 × I - 1) × OI是输入神经元数量O是输出神经元数量。在实际项目中我发现很多人会忽略bias的影响。当不考虑bias时公式中的-1不能省略如果考虑bias则应该去掉-1。为了验证这些公式我曾在VGG16上做过实验def conv_flops(c_in, c_out, k, h_out, w_out, biasTrue): return 2 * c_in * k**2 * h_out * w_out * c_out (h_out * w_out * c_out if bias else 0) # 示例计算VGG第一个卷积层的FLOPs flops conv_flops(3, 64, 3, 224, 224) print(fFirst conv FLOPs: {flops/1e9:.2f}G)手动计算虽然精确但在复杂模型上很容易出错。后来我发现了一些更高效的工具...4. 使用thop库快速评估模型效率经过多次手动计算的痛苦经历我发现了thop这个神器。安装非常简单pip install thop使用示例from torchvision.models import resnet50 from thop import profile model resnet50() input torch.randn(1, 3, 224, 224) flops, params profile(model, inputs(input,)) print(fFLOPs: {flops/1e9:.2f}G) print(fParams: {params/1e6:.2f}M)thop的一个强大之处在于它能自动识别各种层类型。我测试过它支持几乎所有PyTorch原生层包括卷积层(Conv2d)全连接层(Linear)池化层各种归一化层注意力机制层不过在使用过程中也发现几个需要注意的地方输入尺寸会影响FLOPs计算结果特别是对包含自适应池化的模型自定义层需要手动注册FLOPs计算函数某些复杂操作可能不会被准确统计对于自定义层可以这样扩展def my_layer_flops(layer, x, y): flops x.size(1) * y.size(1) * 10 # 自定义计算逻辑 return flops from thop.vision.basic_hooks import register_hook register_hook(MyCustomLayer, my_layer_flops)5. 模型优化实战技巧掌握了FLOPs和Params的计算方法后我在多个项目中应用这些指标来优化模型。以下是一些实用技巧技巧1瓶颈分析使用逐层FLOPs统计找出计算热点from thop import clever_format def analyze_model(model, input_size): model.eval() flops_dict {} handles [] def hook(module, input, output): flops thop.profile(module, inputs(input,), verboseFalse)[0] flops_dict[module.__class__.__name__] flops for module in model.modules(): if len(list(module.children())) 0: # 只统计叶子模块 handles.append(module.register_forward_hook(hook)) _ model(torch.rand(input_size)) [h.remove() for h in handles] total_flops sum(flops_dict.values()) for name, flops in flops_dict.items(): print(f{name}: {flops/total_flops:.1%})技巧2轻量化设计在保持准确率的前提下我通常会用深度可分离卷积替代常规卷积在适当位置使用1×1卷积降维控制全连接层的参数量例如这样设计一个轻量级块class LiteBlock(nn.Module): def __init__(self, c_in, c_out): super().__init__() self.conv1 nn.Conv2d(c_in, c_in, 3, groupsc_in) # 深度卷积 self.conv2 nn.Conv2d(c_in, c_out, 1) # 点卷积 def forward(self, x): return self.conv2(self.conv1(x))技巧3量化评估在考虑模型量化时FLOPs和Params的比值很有参考价值。我通常用这个指标筛选适合量化的模型def evaluate_quant(model, input_size): flops, params profile(model, inputs(torch.rand(input_size),)) return flops / params # 比值越大量化收益通常越高6. 常见问题与解决方案在实际应用中我遇到过不少关于FLOPs和Params的坑这里分享几个典型案例问题1FLOPs计算值与实测推理时间不符有一次发现模型的FLOPs降低了30%但实际推理时间只减少了10%。经过排查发现内存访问开销成为了瓶颈某些操作如reshape、concat没有被计入FLOPs并行计算效率差异解决方案是结合PyTorch Profiler进行更全面的分析with torch.profiler.profile( activities[torch.profiler.ProfilerActivity.CPU], scheduletorch.profiler.schedule(wait1, warmup1, active3), ) as prof: for _ in range(5): model(inputs) prof.step() print(prof.key_averages().table())问题2模型参数量异常增大在实现Transformer时突然发现Params比预期大了很多。原因是忘记共享embedding层的权重位置编码实现方式不当LayerNorm参数重复计算通过逐层检查发现了问题for name, param in model.named_parameters(): if param.numel() 1e6: # 打印超过100万的参数层 print(fLarge layer: {name} - {param.numel()/1e6:.2f}M)问题3thop计算结果不准确在使用自定义注意力机制时发现thop统计的FLOPs明显偏小。这是因为thop默认不统计softmax等操作的FLOPs。解决方法是为自定义操作注册hookdef attention_flops(module, input, output): # input: [B, N, C] q, k, v input[0], input[1], input[2] flops q.size(0) * q.size(1) * k.size(1) * q.size(2) * 2 # QK^T flops q.size(0) * q.size(1) * k.size(1) * 3 # softmax return flops register_hook(MyAttention, attention_flops)7. 进阶应用与性能调优当模型部署到实际生产环境时仅看FLOPs和Params还不够。我总结了一些进阶优化方法方法1计算密度优化计算密度 FLOPs / (参数量 × 数据量)。高计算密度意味着更好的硬件利用率。可以通过以下方式提升增加卷积核尺寸的均匀性调整特征图尺寸使能被32整除使用更规整的通道数如128的倍数def compute_density(model, input_size): input torch.rand(input_size) flops, _ profile(model, inputs(input,)) params sum(p.numel() for p in model.parameters()) data_size input.numel() * 4 # 假设float32 return flops / (params * data_size)方法2内存访问优化有时减少FLOPs反而会降低性能因为增加了内存访问次数。我常用这个经验公式评估def memory_access_cost(model, input_size): input torch.rand(input_size) _, params profile(model, inputs(input,)) # 假设每次内存访问需要10个时钟周期 return params * 10 / 1e9 # 转换为秒方法3硬件感知设计不同硬件对操作类型的优化程度不同。例如在GPU上大卷积核效率高在NPU上特定尺寸的矩阵乘法有加速在CPU上小批量的深度卷积效率低我通常会为不同硬件设计不同的模型变体def create_model_for_hardware(device_type): if device_type gpu: return BigKernelModel() elif device_type npu: return MatrixFriendlyModel() else: return LightweightModel()8. 工具链整合与自动化评估在大规模模型开发中手动评估每个模型的效率很不现实。我建立了自动化评估流程方案1CI集成在代码提交时自动运行评估# .github/workflows/model_check.yml - name: Evaluate Model run: | python -c import torch; from thop import profile model torch.hub.load(our_repo, model) flops, params profile(model, inputs(torch.rand(1,3,224,224),)) print(f::set-output nameflops::{flops}) print(f::set-output nameparams::{params}) 方案2可视化监控使用TensorBoard记录模型效率变化from torch.utils.tensorboard import SummaryWriter writer SummaryWriter() for epoch in range(epochs): # 训练代码... writer.add_scalar(Efficiency/FLOPs, calculate_flops(model), epoch) writer.add_scalar(Efficiency/Params, calculate_params(model), epoch)方案3自动化报告生成结合Pandas生成模型卡def generate_model_card(models): data [] for name, model in models.items(): flops, params profile(model, inputs(torch.rand(1,3,224,224),)) data.append([name, flops/1e9, params/1e6]) df pd.DataFrame(data, columns[Model, FLOPs(G), Params(M)]) df.to_markdown(MODEL_CARD.md)在实际项目中这套自动化系统帮我们节省了大量手动评估时间特别是在模型架构搜索阶段。
![[STM32U3] 【STM32U385RG 测评】04+在STOP低功耗模式下，使用按键唤醒STM32U385实验](http://pic.xiahunao.cn/yaotu/[STM32U3] 【STM32U385RG 测评】04+在STOP低功耗模式下，使用按键唤醒STM32U385实验)
