High Dynamic Range Image Tone Mapping 综述学习笔记论文Xueyu Han, Ishtiaq Rasool Khan, Susanto Rahardja,High Dynamic Range Image Tone Mapping: Literature review and performance benchmark,Digital Signal Processing, Volume 137, 15 June 2023, 104015. DOI: 10.1016/j.dsp.2023.1040151. 这篇论文解决什么问题这是一篇HDR 图像 Tone Mapping OperatorTMO综述 benchmark 论文。它的目标不是提出一个新算法而是把近三十年 HDR image tone mapping 的方法重新分类并用公开 HDR 数据集和客观质量指标做统一比较。论文强调的背景是真实世界或 HDR 采集内容的亮度范围远大于普通显示设备若直接显示会发生高光/暗部裁剪因此需要通过非线性映射把 HDR 内容压缩到 LDR 显示范围同时尽量保留自然观感、局部细节和颜色一致性。对 ISP 学习来说这篇论文的价值在于帮你把 GTM/LTM 从“调曲线”提升到“动态范围压缩 感知保真 伪影控制”的框架。给出 TMO 方法的分类维度处理通道、全局/局部、HVS/统计/聚类/深度学习。提醒 benchmark 不能只靠一两张图因为数据集、指标和主观观感都会影响结论。2. HDR、LDR 与 Tone Mapping论文引用 MPEG 2015 的动态范围划分类型动态范围LDR小于等于 10 f-stopsEDR大于 10 且小于等于 16 f-stopsHDR大于 16 f-stops其中 1 f-stop 对应 2:1 的亮度比。Tone Mapping 的核心任务可以概括为HDR luminance / color signal ↓ 非线性压缩 LDR displayable image ↓ 视觉评价 自然、细节足、无明显 halo、无明显色偏这里要注意论文讨论的是 HDR image tone mapping不完全等同于手机 ISP 里的某一个固定硬件模块。ISP 中的 GTM/LTM 更强调实时、功耗、定点化、视频稳定和与 AE/AWB/denoise/sharpen 的协同。3. TMO 方法分类3.1 按处理通道分类论文指出很多传统 TMO 会在亮度通道上做全局或局部 tone curve。这样做的好处是符合“压缩亮度动态范围”的直觉也避免直接分别处理 RGB 三通道导致色相变化。但只处理亮度通道也有风险高饱和区域可能发生颜色失真。亮度压缩后若 chroma 不匹配可能出现不自然的饱和度变化。局部方法若边缘保护不够会在亮暗交界处出现 halo。面试表达可以这样说Tone mapping 通常围绕亮度分量做动态范围压缩但工程实现不一定固定在 YUV 域。ISP 中常见做法是在 RAW merge 后的线性 RGB/亮度域估计映射再按比例回灌 RGB以尽量保持色相。3.2 按作用范围分类类型思路优点风险Global TMO全图共用一条映射曲线简单、稳定、易硬件化局部细节保留弱Local TMO不同位置使用不同映射暗部/高光细节更好halo、噪声放大、计算量高Hybrid TMO全局压缩 局部增强折中效果好参数和模块协同更复杂ISP 里的 LTM 可以理解为 Local/Hybrid TMO 的工程化版本通常会做局部统计、base/detail 分解、tile/grid LUT 或局部曲线插值。3.3 按模型机制分类论文把方法按采用的模型机制做总结典型路线包括HVS 感知模型模拟人眼亮度适应、对比敏感度、视觉掩蔽等。直方图/统计模型利用亮度分布、概率模型或直方图调整设计曲线。聚类模型按场景亮度/颜色特征分组针对不同区域或类别映射。深度学习模型用 CNN/GAN/半监督学习等方式直接学习 HDR 到 LDR 的映射。对面试来说传统方法和深度方法的对比很关键维度传统 TMO深度学习 TMO可解释性强弱到中等部署成本低取决于模型大小泛化风险参数敏感数据分布敏感伪影控制依赖滤波/曲线设计依赖训练目标和数据ISP 落地易定点化需考虑 NPU/ISP 协同4. Benchmark 设计论文的 benchmark 有几个关键信息评估了过去 20 年内的 14 个 HDR image TMO。其中包含 6 个传统方法和 8 个近年方法近年方法里有 2 个深度学习方法。传统 TMO 使用 Banterle HDR Toolbox 实现近年方法尽量收集作者源码。使用两个大规模 HDR 数据集和 17 个图像质量评价指标。除客观指标外还做了主观视觉测试。这个设计给我的启发是评价 Tone Mapping 不能只看“亮不亮”或“细节多不多”因为一个算法可能在某个指标上好但主观上不自然也可能在某类场景上好在另一类场景上出现 halo 或色偏。5. 论文中值得记住的 benchmark 结论根据 ScienceDirect 可公开预览内容论文提到在 LVZ-HDR 数据集上部分排名靠前的方法包括传统方法中Reinhard TMO、Durand TMO、Kuang TMO。近年方法中Khan TMO、Liang TMO、Khan TMO。这里不要机械理解成“这些方法永远最好”。更合理的读法是Reinhard、Durand 这类经典方法仍然是强 baseline。新方法需要在统一数据集和统一指标上证明收益。客观指标排序需要和主观测试一起看。6. 和 ISP Tone Mapping 的关系这篇论文的语境更偏 HDR image rendering/display reproduction而 ISP 中的 TM 模块更偏成像链路实时处理。两者共享目标但工程约束不同。论文 TMO 视角ISP TM 视角输入多为 HDR 图像输入可能是 RAW HDR merge 后数据、linear RGB 或 YUV关注重现 HDR 场景观感关注预览/拍照/视频链路的实时画质可以使用复杂算法做离线 benchmark需要低功耗、低延迟、低内存带宽静态图像评价为主视频还要关注 temporal consistency指标包括 TMQI、FSITM、HDR-VDP 等还要看 AE 联动、噪声、肤色、高光、饱和度ISP 面试中可以把论文知识转成这样的回答从 HDR TMO 综述看Tone Mapping 的本质是显示受限条件下的动态范围压缩。ISP 落地时通常不会直接照搬复杂 TMO而是用全局曲线加局部统计/局部 LUT 的方式实现在亮度压缩、局部对比、色彩保持、halo 控制、实时性之间做折中。7. 重要质量指标论文综述了用于评价 tone-mapped images 的客观指标。实际学习时可以优先理解这些指标关注点备注TMQI结构保真 统计自然度Tone mapping 领域常见核心指标FSITM特征相似性面向 tone-mapped image 的相似性评价HDR-VDP 系列人眼可见差异更偏感知模型NIQE/BRISQUE 等无参考自然图像质量可辅助但不能单独决定 TMO 好坏SSIM/MS-SSIM结构相似性对 HDR→LDR 的感知适配有限我的理解指标最好分三类看。保真类输出是否保留 HDR 输入中的结构和可见细节。自然度类输出是否像真实 LDR 照片而不是灰、脏、过饱和。感知类人眼是否能接受局部对比、亮度层次和颜色表现。8. 常见伪影与原因伪影常见原因ISP 中的处理思路Halo局部 base/detail 分解边缘保护不足bilateral/guided filter、边缘权重、限制局部增益色偏亮度和色度处理不一致亮度映射后按比例恢复 RGB保护肤色和高饱和区域暗部噪声放大暗部局部增益过高与 denoise 联动限制 shadow gain高光发灰高亮压缩过强设计 shoulder 曲线保留 specular highlight 层次画面闪烁每帧曲线/局部统计变化过大temporal smoothing、场景切换检测、AE 联动9. 推荐阅读顺序如果目标是 ISP 算法面试可以按这个顺序学Reinhard 2002理解 photographic tone reproduction 和全局/局部映射。Durand 2002理解 bilateral filter 做 base/detail 分解。Mantiuk 2006理解感知对比和 HVS 视角。Han et al. 2023 这篇综述建立 TMO 分类和 benchmark 观念。HDRNet 2017理解学习式局部增强如何做实时部署。AI-ISP/HDR pipeline 论文把 TMO 放回 RAW/HDR/denoise/color pipeline。10. 面试复盘问题建议你读完这篇后能回答Tone Mapping 和 Gamma Correction 有什么区别为什么 Tone Mapping 常围绕亮度通道做而不是 RGB 三通道独立做GTM 和 LTM 的核心差异是什么LTM 为什么容易出现 halo暗部增强为什么会放大噪声为什么客观指标不能完全代替主观视觉测试传统 TMO 和深度学习 TMO 在 ISP 落地上各有什么优缺点如果让你设计手机 HDR LTM你会如何考虑实时性、色彩和 temporal stability11. 一句话总结这篇论文最值得带走的不是某个具体算法排名而是一个评估框架Tone Mapping 是动态范围压缩、视觉自然度、结构细节、颜色保持和工程可实现性之间的折中问题任何 TMO 都必须放到数据集、指标、场景类型和主观观感中一起判断。参考链接论文页面ScienceDirectDOI10.1016/j.dsp.2023.104015Banterle HDR ToolboxMATLAB CentralLVZ-HDR 数据集说明Kaggle
High Dynamic Range Image Tone Mapping学习笔记
发布时间：2026/5/20 1:50:07
High Dynamic Range Image Tone Mapping 综述学习笔记论文Xueyu Han, Ishtiaq Rasool Khan, Susanto Rahardja,High Dynamic Range Image Tone Mapping: Literature review and performance benchmark,Digital Signal Processing, Volume 137, 15 June 2023, 104015. DOI: 10.1016/j.dsp.2023.1040151. 这篇论文解决什么问题这是一篇HDR 图像 Tone Mapping OperatorTMO综述 benchmark 论文。它的目标不是提出一个新算法而是把近三十年 HDR image tone mapping 的方法重新分类并用公开 HDR 数据集和客观质量指标做统一比较。论文强调的背景是真实世界或 HDR 采集内容的亮度范围远大于普通显示设备若直接显示会发生高光/暗部裁剪因此需要通过非线性映射把 HDR 内容压缩到 LDR 显示范围同时尽量保留自然观感、局部细节和颜色一致性。对 ISP 学习来说这篇论文的价值在于帮你把 GTM/LTM 从“调曲线”提升到“动态范围压缩 感知保真 伪影控制”的框架。给出 TMO 方法的分类维度处理通道、全局/局部、HVS/统计/聚类/深度学习。提醒 benchmark 不能只靠一两张图因为数据集、指标和主观观感都会影响结论。2. HDR、LDR 与 Tone Mapping论文引用 MPEG 2015 的动态范围划分类型动态范围LDR小于等于 10 f-stopsEDR大于 10 且小于等于 16 f-stopsHDR大于 16 f-stops其中 1 f-stop 对应 2:1 的亮度比。Tone Mapping 的核心任务可以概括为HDR luminance / color signal ↓ 非线性压缩 LDR displayable image ↓ 视觉评价 自然、细节足、无明显 halo、无明显色偏这里要注意论文讨论的是 HDR image tone mapping不完全等同于手机 ISP 里的某一个固定硬件模块。ISP 中的 GTM/LTM 更强调实时、功耗、定点化、视频稳定和与 AE/AWB/denoise/sharpen 的协同。3. TMO 方法分类3.1 按处理通道分类论文指出很多传统 TMO 会在亮度通道上做全局或局部 tone curve。这样做的好处是符合“压缩亮度动态范围”的直觉也避免直接分别处理 RGB 三通道导致色相变化。但只处理亮度通道也有风险高饱和区域可能发生颜色失真。亮度压缩后若 chroma 不匹配可能出现不自然的饱和度变化。局部方法若边缘保护不够会在亮暗交界处出现 halo。面试表达可以这样说Tone mapping 通常围绕亮度分量做动态范围压缩但工程实现不一定固定在 YUV 域。ISP 中常见做法是在 RAW merge 后的线性 RGB/亮度域估计映射再按比例回灌 RGB以尽量保持色相。3.2 按作用范围分类类型思路优点风险Global TMO全图共用一条映射曲线简单、稳定、易硬件化局部细节保留弱Local TMO不同位置使用不同映射暗部/高光细节更好halo、噪声放大、计算量高Hybrid TMO全局压缩 局部增强折中效果好参数和模块协同更复杂ISP 里的 LTM 可以理解为 Local/Hybrid TMO 的工程化版本通常会做局部统计、base/detail 分解、tile/grid LUT 或局部曲线插值。3.3 按模型机制分类论文把方法按采用的模型机制做总结典型路线包括HVS 感知模型模拟人眼亮度适应、对比敏感度、视觉掩蔽等。直方图/统计模型利用亮度分布、概率模型或直方图调整设计曲线。聚类模型按场景亮度/颜色特征分组针对不同区域或类别映射。深度学习模型用 CNN/GAN/半监督学习等方式直接学习 HDR 到 LDR 的映射。对面试来说传统方法和深度方法的对比很关键维度传统 TMO深度学习 TMO可解释性强弱到中等部署成本低取决于模型大小泛化风险参数敏感数据分布敏感伪影控制依赖滤波/曲线设计依赖训练目标和数据ISP 落地易定点化需考虑 NPU/ISP 协同4. Benchmark 设计论文的 benchmark 有几个关键信息评估了过去 20 年内的 14 个 HDR image TMO。其中包含 6 个传统方法和 8 个近年方法近年方法里有 2 个深度学习方法。传统 TMO 使用 Banterle HDR Toolbox 实现近年方法尽量收集作者源码。使用两个大规模 HDR 数据集和 17 个图像质量评价指标。除客观指标外还做了主观视觉测试。这个设计给我的启发是评价 Tone Mapping 不能只看“亮不亮”或“细节多不多”因为一个算法可能在某个指标上好但主观上不自然也可能在某类场景上好在另一类场景上出现 halo 或色偏。5. 论文中值得记住的 benchmark 结论根据 ScienceDirect 可公开预览内容论文提到在 LVZ-HDR 数据集上部分排名靠前的方法包括传统方法中Reinhard TMO、Durand TMO、Kuang TMO。近年方法中Khan TMO、Liang TMO、Khan TMO。这里不要机械理解成“这些方法永远最好”。更合理的读法是Reinhard、Durand 这类经典方法仍然是强 baseline。新方法需要在统一数据集和统一指标上证明收益。客观指标排序需要和主观测试一起看。6. 和 ISP Tone Mapping 的关系这篇论文的语境更偏 HDR image rendering/display reproduction而 ISP 中的 TM 模块更偏成像链路实时处理。两者共享目标但工程约束不同。论文 TMO 视角ISP TM 视角输入多为 HDR 图像输入可能是 RAW HDR merge 后数据、linear RGB 或 YUV关注重现 HDR 场景观感关注预览/拍照/视频链路的实时画质可以使用复杂算法做离线 benchmark需要低功耗、低延迟、低内存带宽静态图像评价为主视频还要关注 temporal consistency指标包括 TMQI、FSITM、HDR-VDP 等还要看 AE 联动、噪声、肤色、高光、饱和度ISP 面试中可以把论文知识转成这样的回答从 HDR TMO 综述看Tone Mapping 的本质是显示受限条件下的动态范围压缩。ISP 落地时通常不会直接照搬复杂 TMO而是用全局曲线加局部统计/局部 LUT 的方式实现在亮度压缩、局部对比、色彩保持、halo 控制、实时性之间做折中。7. 重要质量指标论文综述了用于评价 tone-mapped images 的客观指标。实际学习时可以优先理解这些指标关注点备注TMQI结构保真 统计自然度Tone mapping 领域常见核心指标FSITM特征相似性面向 tone-mapped image 的相似性评价HDR-VDP 系列人眼可见差异更偏感知模型NIQE/BRISQUE 等无参考自然图像质量可辅助但不能单独决定 TMO 好坏SSIM/MS-SSIM结构相似性对 HDR→LDR 的感知适配有限我的理解指标最好分三类看。保真类输出是否保留 HDR 输入中的结构和可见细节。自然度类输出是否像真实 LDR 照片而不是灰、脏、过饱和。感知类人眼是否能接受局部对比、亮度层次和颜色表现。8. 常见伪影与原因伪影常见原因ISP 中的处理思路Halo局部 base/detail 分解边缘保护不足bilateral/guided filter、边缘权重、限制局部增益色偏亮度和色度处理不一致亮度映射后按比例恢复 RGB保护肤色和高饱和区域暗部噪声放大暗部局部增益过高与 denoise 联动限制 shadow gain高光发灰高亮压缩过强设计 shoulder 曲线保留 specular highlight 层次画面闪烁每帧曲线/局部统计变化过大temporal smoothing、场景切换检测、AE 联动9. 推荐阅读顺序如果目标是 ISP 算法面试可以按这个顺序学Reinhard 2002理解 photographic tone reproduction 和全局/局部映射。Durand 2002理解 bilateral filter 做 base/detail 分解。Mantiuk 2006理解感知对比和 HVS 视角。Han et al. 2023 这篇综述建立 TMO 分类和 benchmark 观念。HDRNet 2017理解学习式局部增强如何做实时部署。AI-ISP/HDR pipeline 论文把 TMO 放回 RAW/HDR/denoise/color pipeline。10. 面试复盘问题建议你读完这篇后能回答Tone Mapping 和 Gamma Correction 有什么区别为什么 Tone Mapping 常围绕亮度通道做而不是 RGB 三通道独立做GTM 和 LTM 的核心差异是什么LTM 为什么容易出现 halo暗部增强为什么会放大噪声为什么客观指标不能完全代替主观视觉测试传统 TMO 和深度学习 TMO 在 ISP 落地上各有什么优缺点如果让你设计手机 HDR LTM你会如何考虑实时性、色彩和 temporal stability11. 一句话总结这篇论文最值得带走的不是某个具体算法排名而是一个评估框架Tone Mapping 是动态范围压缩、视觉自然度、结构细节、颜色保持和工程可实现性之间的折中问题任何 TMO 都必须放到数据集、指标、场景类型和主观观感中一起判断。参考链接论文页面ScienceDirectDOI10.1016/j.dsp.2023.104015Banterle HDR ToolboxMATLAB CentralLVZ-HDR 数据集说明Kaggle
)
