PyTorch实战（35）——使用PyTorch Profiler分析模型推理性能

PyTorch实战（35）——使用PyTorch Profiler分析模型推理性能0. 前言1. 使用 PyTorch Profiler 分析模型推理性能2. 分析模型在 CPU 上的推理性能3. 分析模型在 GPU 上的推理性能4. 可视化模型性能分析结果小结系列链接0. 前言我们已经介绍了PyTorch深度学习原型库 fastai 和 PyTorch Lightning，虽然这些库能极大提升开发效率，但其抽象化设计会隐藏底层实现细节。当涉及定制化研究流程时(例如需要实现原型库未内置的自定义损失函数)，仍需调整底层代码。在本节中，我们将通过剖析PyTorch模型推理代码，实时监控硬件资源(包括CPU/GPU算力及内存)的消耗情况。1. 使用 PyTorch Profiler 分析模型推理性能代码性能分析是指通过评估程序的时间复杂度和空间复杂度(内存占用)，统计代码中各子模块或函数的执行时间和内存消耗情况。当运行PyTorch深度学习模型推理时，系统会通过一系列函数调用从输入 (X) 生成输出 (y)。本节将介绍如何运用PyTorch Profiler工具进行模型推理分析。我们将分析两个场景下的MNIST手写数字识别模型：