108、VSRT 视频超分：Transformer 在时序建模中的突破与应用从一次“鬼影”调试说起去年夏天，我在处理一段监控视频的超分任务时，遇到了一个让人抓狂的问题：单帧超分效果明明不错，但一旦把连续帧串起来做视频超分，画面就开始“鬼影”闪烁——前一秒的纹理突然跳到下一秒的位置，像极了老电视信号不好时的重影。我花了整整两周排查，最后发现罪魁祸首是时序建模模块对长距离依赖的捕捉能力不足。传统的卷积LSTM和3D卷积在处理超过10帧的序列时，梯度要么爆炸要么消失，模型根本学不到帧与帧之间的运动规律。这个坑让我彻底转向了Transformer。VSRT（Video Super-Resolution Transformer）就是在这个背景下被提出的——它把Transformer从图像领域搬到了视频时序建模中，解决了传统方法“记不住、学不动”的顽疾。为什么传统时序建模搞不定视频超分？先别急着上代码，我们得先理解视频超分和单帧超分的本质区别。单帧超分只需要在空间域做特征提取和重建，而视频超分必须利用时序信息——比如前一帧的细节纹理可以补充当前帧的模糊区域，多帧之间的亚像素位移能提供更高的采样密度。传统做法无非三种路子：光流法：先估计帧间运动，再对齐后融合。但光流估计本身就有误差，尤其在快速运动或遮挡区域，误差会直接传递到超分结果中。我试过用RAFT做光流再对齐，结果运动边界处全是伪影。3D卷积
108、VSRT 视频超分：Transformer 在时序建模中的突破与应用
发布时间：2026/7/11 9:16:59
108、VSRT 视频超分：Transformer 在时序建模中的突破与应用从一次“鬼影”调试说起去年夏天，我在处理一段监控视频的超分任务时，遇到了一个让人抓狂的问题：单帧超分效果明明不错，但一旦把连续帧串起来做视频超分，画面就开始“鬼影”闪烁——前一秒的纹理突然跳到下一秒的位置，像极了老电视信号不好时的重影。我花了整整两周排查，最后发现罪魁祸首是时序建模模块对长距离依赖的捕捉能力不足。传统的卷积LSTM和3D卷积在处理超过10帧的序列时，梯度要么爆炸要么消失，模型根本学不到帧与帧之间的运动规律。这个坑让我彻底转向了Transformer。VSRT（Video Super-Resolution Transformer）就是在这个背景下被提出的——它把Transformer从图像领域搬到了视频时序建模中，解决了传统方法“记不住、学不动”的顽疾。为什么传统时序建模搞不定视频超分？先别急着上代码，我们得先理解视频超分和单帧超分的本质区别。单帧超分只需要在空间域做特征提取和重建，而视频超分必须利用时序信息——比如前一帧的细节纹理可以补充当前帧的模糊区域，多帧之间的亚像素位移能提供更高的采样密度。传统做法无非三种路子：光流法：先估计帧间运动，再对齐后融合。但光流估计本身就有误差，尤其在快速运动或遮挡区域，误差会直接传递到超分结果中。我试过用RAFT做光流再对齐，结果运动边界处全是伪影。3D卷积
)
