067、DOL-HDR与staggered HDR对比：时序设计、读出模式与信噪比优化

067、DOL-HDR与staggered HDR对比时序设计、读出模式与信噪比优化去年在调试某款车载前视模组时遇到一个让人头疼的问题夜间行车场景对面来车的大灯把整个画面打爆但暗区的车牌却黑成一片。当时用的是DOL-HDR模式理论上动态范围能到120dB可实际效果还不如普通线性模式。拆开log一看读出时序里出现了明显的帧间运动伪影而且暗部信噪比比预期低了将近6dB。后来换成staggered HDR重新调参问题才基本解决。这个坑让我花了整整两周时间也让我对这两种HDR方案有了刻骨铭心的理解。两种HDR方案的底层逻辑差异DOL-HDRDigital Overlap HDR和staggered HDR也叫sequential HDR或multi-exposure HDR本质上是两种不同的多帧合成策略。DOL-HDR的核心思路是“同时曝光分时读出”——同一帧时间内sensor的不同行或不同区域用不同曝光时间同时积分然后错开时间读出。staggered HDR则是“分时曝光连续读出”——连续几帧分别用短、中、长曝光然后合成一帧HDR。这里有个关键点很多人容易搞混DOL-HDR的“同时”是伪同时。以典型的三曝光DOL为例长曝光行和短曝光行在同一个frame时间内开始积分但结束时间不同。长曝光行可能占了整个frame时间的80%短曝光行只占10%。读出时长曝光行先读短曝光行后读中间有overlap区域。这种设计的好处是帧率损失小但代价是不同曝光行之间存在时间差运动物体在行与行之间会出现“撕裂”效果。staggered HDR就直白得多先拍一帧短曝光再拍一帧中曝光再拍一帧长曝光三帧连续读出然后在ISP里做motion alignment和合成。每帧都是完整的图像没有行间时间差问题但帧率会直接除以3如果是三曝光或者通过binning等方式折中。读出模式谁在偷你的信噪比DOL-HDR的读出模式有个致命弱点读出噪声会被放大。以SONY IMX490这类DOL sensor为例它的读出架构是“先读长曝光行再读短曝光行”。长曝光行读完后短曝光行还在积分这时候sensor的读出电路处于空闲状态但像素的浮动扩散节点FD一直在漏电。等短曝光行读出时FD上的暗电流噪声已经累积了一段时间导致短曝光帧的读出噪声比理论值高出不少。我在调试某款安防模组时实测过DOL模式下短曝光帧的读出噪声比staggered模式高了约40%。这直接导致合成后的HDR图像在暗部区域出现明显的颗粒感尤其是天空渐变区域噪声像撒了一把沙子。staggered HDR的读出模式就干净得多。每帧都是独立读出读出电路在帧间有足够时间复位FD上的暗电流不会累积。而且staggered模式可以灵活调整每帧的增益和曝光时间不像DOL那样受限于行间时间差。比如短曝光帧可以用高增益来补偿曝光不足长曝光帧用低增益来避免饱和信噪比分配更灵活。但staggered HDR也有自己的问题帧间运动。三帧之间有时间差运动物体在合成时会出现鬼影。虽然现在有motion compensation算法但算法复杂度高而且对快速运动的物体效果有限。DOL-HDR虽然行间有运动伪影但至少是同一帧内的运动时间差只有几行扫描的时间对于大部分场景来说运动伪影比staggered的鬼影更容易通过算法修复。时序设计一个参数毁掉整张图DOL-HDR的时序设计是门玄学。关键参数是“overlap ratio”——长曝光和短曝光在时间上的重叠比例。这个值设大了运动伪影会更严重设小了动态范围会缩水。我见过有人把overlap ratio设成50%结果运动物体在画面里像被刀切过一样一半亮一半暗。更坑的是DOL-HDR的曝光时间不能独立调整。长曝光和短曝光的时间是耦合的长曝光时间 短曝光时间 overlap时间。这意味着如果你想提高动态范围必须拉长overlap时间但运动伪影也会随之增加。这是个死循环。staggered HDR的时序设计就简单得多三帧的曝光时间可以完全独立设置。比如短曝光设为1ms中曝光8ms长曝光32ms互不干扰。但代价是帧率降低。以30fps为例staggered三曝光后实际帧率只有10fps对于车载场景来说这个帧率根本不够用。所以staggered HDR通常用在静态场景或低帧率要求的安防领域或者通过binning来提升帧率。这里有个调试技巧staggered HDR的帧间间隔不能太小。我踩过坑把帧间间隔设成0结果三帧之间出现了严重的电荷转移串扰——长曝光帧的电荷还没来得及完全读出短曝光帧就开始积分了导致画面出现奇怪的条纹。后来查手册才知道sensor需要至少几微秒的“blanking time”来确保电荷完全转移。别这样写代码一定要留够余量。信噪比优化谁才是暗部之王信噪比是HDR方案的核心指标。DOL-HDR在暗部信噪比上天然吃亏原因前面说了短曝光帧的读出噪声大。但更隐蔽的问题是“合成权重分配”。DOL-HDR的合成算法通常基于像素的亮度值做权重混合亮区用短曝光暗区用长曝光。但长曝光帧的暗部噪声本身就不低再加上短曝光帧的噪声合成后的暗部信噪比很难看。我做过一组对比实验在0.1lux照度下DOL-HDR的暗部信噪比约为28dBstaggered HDR能达到34dB。这6dB的差距在图像上非常明显——DOL的暗部像蒙了一层雾staggered的暗部清晰干净。但staggered HDR也有信噪比陷阱长曝光帧的饱和问题。如果场景中有高亮区域长曝光帧会饱和饱和像素的噪声模型会突变导致合成后出现“光晕”或“色偏”。我调试某款手机模组时发现staggered HDR在逆光人像场景下人脸边缘会出现一圈紫色光晕就是因为长曝光帧的饱和像素在合成时权重没处理好。优化信噪比的关键在于“噪声匹配”。无论哪种HDR方案合成前都要做噪声校准。DOL-HDR需要针对不同曝光行做独立的噪声模型因为每行的读出噪声不同。staggered HDR则需要对每帧做噪声模型但帧间噪声一致性更好。我习惯在调试时先抓一组暗帧盖上镜头盖分析每帧或每行的噪声分布然后根据噪声特性调整合成算法的权重和阈值。实际场景选择别被参数忽悠回到开头的车载案例。为什么DOL-HDR在夜间车灯场景下表现差因为车灯是快速运动的强光源DOL的行间时间差导致车灯在画面中变成了一条条“光带”——长曝光行和短曝光行对车灯的响应不同合成后车灯边缘出现锯齿状伪影。而且车灯区域的动态范围极高DOL的overlap设计导致亮区和暗区的过渡不自然。换成staggered HDR后虽然帧率从30fps降到了10fps但车载场景对帧率要求没那么苛刻前视通常15fps就够了而且staggered的帧间运动可以通过算法补偿。更重要的是staggered可以独立调整每帧的曝光和增益针对车灯场景我把短曝光帧的增益降到最低长曝光帧的增益适当提高暗部信噪比明显改善。但staggered HDR在快速运动场景下就露怯了。比如拍飞驰的汽车三帧之间的时间差会导致车轮变成椭圆形车身出现重影。这时候DOL-HDR反而更合适因为它的运动伪影只发生在行间时间差只有几毫秒视觉上更接近“运动模糊”反而显得自然。个人经验性建议如果你在选型我的建议是不要只看动态范围参数。120dB的DOL-HDR在实验室里很漂亮但实际场景下可能连90dB都达不到。关键要看你的应用场景对运动伪影和帧率的容忍度。对于车载前视我推荐staggered HDR motion compensation帧率控制在15fps以上配合全局快门sensor效果更好。对于安防监控DOL-HDR更合适因为场景相对静态而且帧率要求高通常30fps。对于手机拍照现在主流是staggered HDR 多帧合成因为手机场景复杂需要灵活调整曝光参数。调试时记住一个原则先解决噪声再解决动态范围。很多工程师一上来就追求高动态范围结果噪声爆炸图像根本不能用。先把噪声压下去再慢慢拉动态范围这样调出来的HDR才实用。最后说个玄学问题DOL-HDR的“行间一致性”很难调。不同行的暗电流、读出噪声、增益响应都有差异需要做行级校准。我见过有人调了三个月都没调好最后发现是sensor的row-wise noise calibration table没加载。别犯这种低级错误先确认底层校准数据是否正确。