目录cmos sensor1. 定义2. 理论基础3. 功能4. Camera 中的作用成像一、定义二、核心概念三、理论知识1. 单像素4T CDS信号怎么来2. 阵列读出电荷如何变成一帧图3. 像素阵列分区有效区不是全部四、一句话串起来卷帘曝光一、定义二、理论知识1. 某一时刻阵列上有几类行对应左图中间色块2. 时序Sensor Line vs Time对应右图斜带3. 帘幕类比4. 和全局快门对比三、常见现象开发/调参要知道四、和前面成像知识的衔接五、一句话总结帧结构一、定义二、时间层级P_clock → Tline → Tframe1. Pixel Clock像素时钟P_clock2. Line Time行时间Tline3. Frame Time帧时间Tframe三、消隐水平消隐与垂直消隐1. 水平消隐H-blank / Line Blanking2. 垂直消隐V-blank / Frame Blanking3. 曝光与行时间的关系四、空间帧结构以 IMX689 类为例五、和卷帘曝光的衔接六、一句话总结曝光和噪声一、曝光时间定义二、曝光 vs 运动模糊三、场景经验与曝光取舍四、噪声定义与三类核心噪声五、噪声从哪来读出链路六、噪声随信号怎么变七、曝光和噪声怎么连起来八、一句话cmos sensor1. 定义CMOS Sensor相机核心元件位于 镜头与 ISP 之间把镜头汇聚的 光信号 转成 ISP 可处理的 电信号 / 数字信号。2. 理论基础信号变换主线光子 → 像元电荷 → 模拟电压 → 列放大 → ADC → 数字图像 → ISP像素阵列完成光电转换行驱动 时序决定读哪一行、何时读列放大 列 ADC列并行读出并数字化现代 CMOS 常见结构时钟 / 偏置保证电路稳定工作3. 功能模块作用像敏单元阵列感光行驱动器按行选通列模拟读出取出并放大模拟信号时序控制逻辑曝光与读出节拍AD 转换器模拟 → 数字数据输出接口向 ISP 送图控制接口配置曝光、增益、mode4. Camera 中的作用光线 → Lens → CMOS → ISP → HAL/App成像数据源提供原始数字图多为 RAW3A 执行端曝光 / 增益等最终落到 Sensor 寄存器规格边界分辨率、帧率、噪声、动态范围等受 Sensor 能力约束成像一、定义成像Imaging把场景中的光信息转换成后续系统可用的数字图像信号的过程。在 Camera 链路里成像的核心发生在 Sensor光子 → 电荷 → 电压 →放大→ 数字码值 → 输出 RAW/数字图像下雨接水——雨水是光子桶是像素接水过程是曝光接完后量水深读出、倒空复位再接下一次。二、核心概念概念含义像素 Pixel最小感光单元对应阵列中的一个点PPDPinned Photodiode钉扎光电二极管感光并积累电荷暗电流更低曝光 ExposurePPD 积累光生电荷的时间FDFloating Diffusion浮置扩散节点电荷在此转成电压4T四管像素TG / RST / SF / SEL现代 CIS 主流CDS相关双采样先采Vrst再采Vsig差分得有效信号行选 / 列选先选行接到列线再经增益与 ADC 数字化Active / Dummy / OPB有效区 / 哑元区 / 光学黑区职责不同BLC黑电平校正用 OB 估计“无光基线”并扣除三、理论知识1. 单像素4T CDS信号怎么来典型步骤与课件一致PPD 复位RST、TG 打开清掉 PPD 残荷开始曝光TG 关闭PPD 积分光生电荷采样复位电压Vrst经 SF、SEL 读 FD曝光结束并转移TG 打开电荷转入 FD电压下降采样信号电压Vsig有效信号VsignalVrst−VsigVsignalVrst−Vsig公开理论补充TG 把 积分 与 读出节点 分开才能做真正的 CDS压低复位噪声kTCPPD 把电荷阱远离硅表面有利于降暗电流、改善蓝光响应电荷需尽量 完全转移否则会出现残像lag物理叠层大致为微透镜 → 彩色滤光片 → 晶体管区 → 光电二极管 → 硅衬底。2. 阵列读出电荷如何变成一帧图像素内 电荷/电压转换CVC行选该行各像素接到各自列线列选 可编程增益选出列信号并放大增益控制ADC模拟 → 数字经接口如 MIPI输出部分处理可在 Sensor 片内或后续 ISP 完成现代手机更多是 列并行 ADC每列一路转换与“逐列开关扫一遍”是同一思想的高速实现。3. 像素阵列分区有效区不是全部区域作用Active真正成像如 8000×6000 ≈ 48MOpened Dummy保证边缘工艺一致性给 demosaic/滤波提供邻域OPBOptical Black遮光只反映暗电流与电路偏置供 BLC补充理论暗电流随 温度、曝光、增益、位置 变化ISP 常按增益/温度用不同黑电平Bayer 常按 R/Gr/Gb/B 分别估 OB黑电平不准会出现发灰、发黑不够、色偏、动态范围被吃掉等问题四、一句话串起来成像 像素桶接光子曝光→ 4T 转移并 CDS 得干净电压 → 行列读出放大 ADC 成数字 → 结合 Dummy/OPB 做边缘与黑电平支撑最终输出可供 ISP 使用的图像数据。卷帘曝光一、定义卷帘曝光Rolling Shutter 是 CMOS 传感器最常见的电子快门方式不是整幅图同时曝光而是按行依次复位、依次读出。某一行的 曝光时间 该行 Reset 到 Read 之间的时间间隔。两路控制信号信号作用Reset复位清掉该行电荷标记 开始曝光Read读出读出该行已积累电荷标记 结束曝光空间上看Reset 行与 Read 行始终隔开固定行数像两道帘幕从上往下滚。时间上看每一行曝光时长相同但 开始/结束时刻逐行错开。二、理论知识1. 某一时刻阵列上有几类行对应左图中间色块从上到下大致是已读取、自由曝光白本帧已读完读出行红当前正在读受曝光控制黄正在为本帧积分复位行绿正在清电荷、开始新曝光未读取、自由曝光白还没轮到Reset 和 Read 像两把“扫描刷”保持固定间距往下扫。2. 时序Sensor Line vs Time对应右图斜带纵轴行号 0 → N−1横轴时间一条斜带各行开始曝光Reset平行的另一条斜带各行结束曝光Read同一行上两斜带的水平距离 曝光时间各行一样首行与末行的时间差 ≈ 整帧读出时间readout / scan time例若每行读出 10 μs、共 2048 行则顶到底大约晚 2 ms。运动畸变主要取决于 读出时间不只取决于曝光时间。3. 帘幕类比高速快门时如 1/1000 s“前帘Reset”和“后帘Read”形成一条很窄的缝整幅从未同时全开。这就是机械焦平面快门的电子版也是闪光同步难、高速运动会变形的原因。4. 和全局快门对比卷帘 Rolling全局 Global曝光逐行开始、逐行结束所有像素同时开始、同时结束一帧时刻顶底不是同一瞬间整幅同一瞬间运动易斜切、果冻、拉伸几何更稳闪光/频闪易出现条带半幅亮整幅可同步代价电路简单、功耗/噪声常更好、手机主流像素更复杂、成本更高还有一种 Global Reset全部同时开始积分但仍逐行结束读出——畸变减轻但可能出现 上暗下亮后面的行积分更久。三、常见现象开发/调参要知道Skew 斜切快摇镜头时竖线变斜Jello 果冻手抖/振动时画面像果冻晃Smear 拉伸高速物体被拉长Banding 条带闪光灯、PWM 灯只照亮部分行Flash 同步难高速时没有“全开”瞬间静止场景几乎看不出高速、振动、闪光时才会明显。四、和前面成像知识的衔接4T 像素讲的是 单行怎么积分、怎么 CDS 读出卷帘讲的是 这些行在时间上怎么排队单像素Reset → 曝光积分 → 转移/CDS 读出整阵列第 0 行先 Reset/先读 → 第 1 行稍晚 → … → 最后一行最晚所以曝光时间由 Reset–Read 间隔 决定果冻由 行与行之间的读出延迟 决定。五、一句话总结卷帘曝光 CMOS 用 Reset/Read 两道扫描帘按行开关曝光每行曝光时长相同但时刻逐行错开因而高速运动会产生果冻/斜切闪光也难整幅同步。帧结构一、定义帧结构Frame StructureCMOS 完成 一帧图像采集与输出 时在时间和空间上如何组织数据。它包含两层含义时间结构像素时钟 → 行时间 → 帧时间再叠加消隐空间/数据布局一帧里不只是有效像素还有嵌入行、PDAF、统计/陀螺等 metadata以及行消隐、帧消隐一句话一帧 按 Pixel Clock 吐出的若干行每行有有效数据 行消隐整帧有有效行 元数据行 垂直消隐。Hsync 管行Vsync 管帧。二、时间层级P_clock → Tline → Tframe时间层级1. Pixel Clock像素时钟P_clockADC 读出 一个像素 所需时间是 Sensor 时序的最小节拍TP1/P_clockTP1/P_clock2. Line Time行时间Tline完成 一行 的复位、曝光相关操作、电荷转移、读出等所需时间TlineN×(1/P_clock)TlineN×(1/P_clock)NN 在调校/mode 配置时确定对应 datasheet 里的LINE_LENGTH_PCK一行内部有 TX / RST / SEL 等脉冲两次 TX 之间可对应最小积分Min_int课件中一行可有多种搭配Reset M Read D、Reset D Read M、Reset N Read N、Reset M Read NDummy 行与有效行交错服务卷帘与 CDS3. Frame Time帧时间TframeTframeH×TlineTframeH×TlineHH 是一帧总行数有效行 消隐行等对应FRAME_LENGTH_LINES帧率 FPS≈1/TframeFPS≈1/Tframe对应同步信号Hsync一行一个脉冲周期 ≈TlineVsync一帧一个周期中间包含很多 Hsync末尾常有V_blank三、消隐水平消隐与垂直消隐消隐1. 水平消隐H-blank / Line Blanking一行有效像素吐完后到下一行开始前的空闲段给内部逻辑用复位/读出相位切换等拉长行周期Tline→ 每行曝光粒度变化也会 间接改帧率2. 垂直消隐V-blank / Frame Blanking一帧有效行结束后给下一帧做准备最短通常 ≥ 1 × Tline拉长 V_blank 是调 FPS 的常用手段总行数变多Tframe变长帧率下降3. 曝光与行时间的关系卷帘下曝光常按 行时间的整数倍 配置TexpX×TlineTexpX×Tline这与上一节「Reset 行与 Read 行隔开固定行数」是同一件事隔了 XX 行曝光就是 XX 个Tline。四、空间帧结构以 IMX689 类为例空间帧结构一帧在输出流里通常是一张「大表」区域作用Embedded Data帧头嵌入信息寄存器/状态等Active Pixel真正成像的 RAWBayerPDAF 行相位对焦像素数据User DefinedGYRO / FLICKER / AEHIST 等统计与辅助数据Line Blanking每行右侧的水平消隐Frame Blanking帧底垂直消隐寄存器侧两个关键尺寸横向总长LINE_LENGTH_PCK含有效像素 行消隐纵向总长FRAME_LENGTH_LINES含有效行 嵌入/统计行 帧消隐同步Vsync帧单位FSFrame Start/ FEFrame EndHsync行单位一帧内有很多个 Hsync脉宽、极性通常可配VSYNC_WID/HSYNC_WID软件解析 RAW 时必须按这个布局 把有效像素和 metadata 拆开不能把嵌入行、GYRO、直方图当成画面。五、和卷帘曝光的衔接P_clock 决定“吐一个像素多快”Tline 决定“扫完一行含消隐要多久”行间距 X 决定“曝光 X × Tline”Tframe 决定“一帧多久 → FPS”Reset/Read 逐行错开 → 卷帘所以改曝光多半改 行间隔 / 积分行数改帧率多半改 FRAME_LENGTHV_blank或 LINE_LENGTHH_blank并受 MIPI 带宽约束。六、一句话总结帧结构 用 P_clock 拼出行、用行拼出帧消隐用来做内部操作并调节曝光/帧率输出的一帧里既有画面 RAW也有 PDAF/统计/嵌入数据由 Hsync/Vsync 划界。曝光和噪声一、曝光时间定义曝光时间Exposure Time像素收集光子、进行积分的时长。在卷帘里它等于该行 Reset → Read 的间隔常写成 X×TlineX×Tline。物理含义时间越长桶里接的“雨水”光子越多画面越亮同时若物体在动光斑会扫过更多像素。二、曝光 vs 运动模糊曝光与运动模糊相对运动时曝光窗口内同一物体的像会落在不同像素上形成 运动模糊拖影。物体越快、曝光越长拖得越厉害。快门典型效果1/2000 ~ 1/250 s冻结动作轮廓清楚1/30 ~ 1/15 s边缘开始糊1/8 ~ 1/3 s严重拖影主体难辨风车、弹琴的手都是同一原理的直观例子。三、场景经验与曝光取舍场景与取舍课件里的经验值道路监控 ITS通常 1/60 s避免车糊成条飞鸟大约 ≤ 1/125 s约 10 ms 才容易冻住翅膀子弹/超高速到 μs ~ ns 量级夜景车灯则是反向用法1/13 s → 0.5 s → 2 s → 10 s轨迹越来越长静止景物仍相对清晰。和噪声绑在一起的取舍曝光加长进光多、更亮易糊暗电流/热噪声随时间累积曝光缩短动作冻住更暗往往要 加增益读出噪声被一起放大手机 AE 本质就是在 糊、亮、噪 三者里找平衡。四、噪声定义与三类核心噪声噪声链路与组成噪声器件在处理过程中自己产生的、与目标景物无关 的扰动。课件强调的三类符号名称含义σR读出噪声 Readout Noise电路读出引入设计决定对应“改变 ADC 1 bit 大约要多少电子”的下限σS光子散粒噪声 Photon Shot光子到达是随机的服从泊松统计随信号增大而增大σD暗电流散粒噪声 Dark Shot无光时硅中热激发电子形成暗电流仍有统计涨落有效噪声不相关项平方和开根σeffσD2σR2σS2σeffσD2σR2σS2五、噪声从哪来读出链路按信号流各段都会“加噪”环节常见噪声复位 ResetFPN、复位噪声kTCCDS 可压传感器感光光子散粒、暗电流散粒、FPN、PRNU像素内放大热噪声、1/f、FPN列电路热噪声、1/f、FPN、复位噪声片上放大热噪声、1/fADC量化噪声FPN固定图案噪声帧间位置较稳。PRNU像素响应不均匀强光下更明显。1/f低频闪烁噪声。六、噪声随信号怎么变在“平均信号 vs 噪声”的 log 图上大致三段低信号 / 暗部读出噪声托底曲线接近水平中等信号光子噪声主导大约 ∝S∝S高信号接近满阱PRNU 一类乘性不均匀开始显眼所以暗处噪主要看 读出噪声 暗电流亮处噪主要看 光子统计 PRNU。加增益会把暗部读出噪声抬高。课件中 IMX689/766/789 一类指标会给 Read Noise、DR、SNR夜景/Qbin 模式往往读出噪声更低、DR/SNR 更好。七、曝光和噪声怎么连起来曝光↑ → 光子↑ → 信号↑ → 光子噪声↑但 SNR 通常变好暗电流↑运动模糊↑曝光↓ → 更暗 → 常加 Gain → 读出噪声被放大动作更清晰和前面知识的接口曝光时长落在帧结构的 X×TlineX×Tline暗电流校正要靠阵列里的 OPB BLC4T CDS 主要打掉 复位噪声八、一句话总结曝光是“接光多久”短则曝光短但易暗、易加增益变噪长则更亮但易糊、暗电流升。噪声是链路各段叠加上的无关扰动暗部看读出/暗电流亮部看光子散粒和 PRNU。 图像传感器基础知识介绍
目录cmos sensor1. 定义2. 理论基础3. 功能4. Camera 中的作用成像一、定义二、核心概念三、理论知识1. 单像素4T CDS信号怎么来2. 阵列读出电荷如何变成一帧图3. 像素阵列分区有效区不是全部四、一句话串起来卷帘曝光一、定义二、理论知识1. 某一时刻阵列上有几类行对应左图中间色块2. 时序Sensor Line vs Time对应右图斜带3. 帘幕类比4. 和全局快门对比三、常见现象开发/调参要知道四、和前面成像知识的衔接五、一句话总结帧结构一、定义二、时间层级P_clock → Tline → Tframe1. Pixel Clock像素时钟P_clock2. Line Time行时间Tline3. Frame Time帧时间Tframe三、消隐水平消隐与垂直消隐1. 水平消隐H-blank / Line Blanking2. 垂直消隐V-blank / Frame Blanking3. 曝光与行时间的关系四、空间帧结构以 IMX689 类为例五、和卷帘曝光的衔接六、一句话总结曝光和噪声一、曝光时间定义二、曝光 vs 运动模糊三、场景经验与曝光取舍四、噪声定义与三类核心噪声五、噪声从哪来读出链路六、噪声随信号怎么变七、曝光和噪声怎么连起来八、一句话cmos sensor1. 定义CMOS Sensor相机核心元件位于 镜头与 ISP 之间把镜头汇聚的 光信号 转成 ISP 可处理的 电信号 / 数字信号。2. 理论基础信号变换主线光子 → 像元电荷 → 模拟电压 → 列放大 → ADC → 数字图像 → ISP像素阵列完成光电转换行驱动 时序决定读哪一行、何时读列放大 列 ADC列并行读出并数字化现代 CMOS 常见结构时钟 / 偏置保证电路稳定工作3. 功能模块作用像敏单元阵列感光行驱动器按行选通列模拟读出取出并放大模拟信号时序控制逻辑曝光与读出节拍AD 转换器模拟 → 数字数据输出接口向 ISP 送图控制接口配置曝光、增益、mode4. Camera 中的作用光线 → Lens → CMOS → ISP → HAL/App成像数据源提供原始数字图多为 RAW3A 执行端曝光 / 增益等最终落到 Sensor 寄存器规格边界分辨率、帧率、噪声、动态范围等受 Sensor 能力约束成像一、定义成像Imaging把场景中的光信息转换成后续系统可用的数字图像信号的过程。在 Camera 链路里成像的核心发生在 Sensor光子 → 电荷 → 电压 →放大→ 数字码值 → 输出 RAW/数字图像下雨接水——雨水是光子桶是像素接水过程是曝光接完后量水深读出、倒空复位再接下一次。二、核心概念概念含义像素 Pixel最小感光单元对应阵列中的一个点PPDPinned Photodiode钉扎光电二极管感光并积累电荷暗电流更低曝光 ExposurePPD 积累光生电荷的时间FDFloating Diffusion浮置扩散节点电荷在此转成电压4T四管像素TG / RST / SF / SEL现代 CIS 主流CDS相关双采样先采Vrst再采Vsig差分得有效信号行选 / 列选先选行接到列线再经增益与 ADC 数字化Active / Dummy / OPB有效区 / 哑元区 / 光学黑区职责不同BLC黑电平校正用 OB 估计“无光基线”并扣除三、理论知识1. 单像素4T CDS信号怎么来典型步骤与课件一致PPD 复位RST、TG 打开清掉 PPD 残荷开始曝光TG 关闭PPD 积分光生电荷采样复位电压Vrst经 SF、SEL 读 FD曝光结束并转移TG 打开电荷转入 FD电压下降采样信号电压Vsig有效信号VsignalVrst−VsigVsignalVrst−Vsig公开理论补充TG 把 积分 与 读出节点 分开才能做真正的 CDS压低复位噪声kTCPPD 把电荷阱远离硅表面有利于降暗电流、改善蓝光响应电荷需尽量 完全转移否则会出现残像lag物理叠层大致为微透镜 → 彩色滤光片 → 晶体管区 → 光电二极管 → 硅衬底。2. 阵列读出电荷如何变成一帧图像素内 电荷/电压转换CVC行选该行各像素接到各自列线列选 可编程增益选出列信号并放大增益控制ADC模拟 → 数字经接口如 MIPI输出部分处理可在 Sensor 片内或后续 ISP 完成现代手机更多是 列并行 ADC每列一路转换与“逐列开关扫一遍”是同一思想的高速实现。3. 像素阵列分区有效区不是全部区域作用Active真正成像如 8000×6000 ≈ 48MOpened Dummy保证边缘工艺一致性给 demosaic/滤波提供邻域OPBOptical Black遮光只反映暗电流与电路偏置供 BLC补充理论暗电流随 温度、曝光、增益、位置 变化ISP 常按增益/温度用不同黑电平Bayer 常按 R/Gr/Gb/B 分别估 OB黑电平不准会出现发灰、发黑不够、色偏、动态范围被吃掉等问题四、一句话串起来成像 像素桶接光子曝光→ 4T 转移并 CDS 得干净电压 → 行列读出放大 ADC 成数字 → 结合 Dummy/OPB 做边缘与黑电平支撑最终输出可供 ISP 使用的图像数据。卷帘曝光一、定义卷帘曝光Rolling Shutter 是 CMOS 传感器最常见的电子快门方式不是整幅图同时曝光而是按行依次复位、依次读出。某一行的 曝光时间 该行 Reset 到 Read 之间的时间间隔。两路控制信号信号作用Reset复位清掉该行电荷标记 开始曝光Read读出读出该行已积累电荷标记 结束曝光空间上看Reset 行与 Read 行始终隔开固定行数像两道帘幕从上往下滚。时间上看每一行曝光时长相同但 开始/结束时刻逐行错开。二、理论知识1. 某一时刻阵列上有几类行对应左图中间色块从上到下大致是已读取、自由曝光白本帧已读完读出行红当前正在读受曝光控制黄正在为本帧积分复位行绿正在清电荷、开始新曝光未读取、自由曝光白还没轮到Reset 和 Read 像两把“扫描刷”保持固定间距往下扫。2. 时序Sensor Line vs Time对应右图斜带纵轴行号 0 → N−1横轴时间一条斜带各行开始曝光Reset平行的另一条斜带各行结束曝光Read同一行上两斜带的水平距离 曝光时间各行一样首行与末行的时间差 ≈ 整帧读出时间readout / scan time例若每行读出 10 μs、共 2048 行则顶到底大约晚 2 ms。运动畸变主要取决于 读出时间不只取决于曝光时间。3. 帘幕类比高速快门时如 1/1000 s“前帘Reset”和“后帘Read”形成一条很窄的缝整幅从未同时全开。这就是机械焦平面快门的电子版也是闪光同步难、高速运动会变形的原因。4. 和全局快门对比卷帘 Rolling全局 Global曝光逐行开始、逐行结束所有像素同时开始、同时结束一帧时刻顶底不是同一瞬间整幅同一瞬间运动易斜切、果冻、拉伸几何更稳闪光/频闪易出现条带半幅亮整幅可同步代价电路简单、功耗/噪声常更好、手机主流像素更复杂、成本更高还有一种 Global Reset全部同时开始积分但仍逐行结束读出——畸变减轻但可能出现 上暗下亮后面的行积分更久。三、常见现象开发/调参要知道Skew 斜切快摇镜头时竖线变斜Jello 果冻手抖/振动时画面像果冻晃Smear 拉伸高速物体被拉长Banding 条带闪光灯、PWM 灯只照亮部分行Flash 同步难高速时没有“全开”瞬间静止场景几乎看不出高速、振动、闪光时才会明显。四、和前面成像知识的衔接4T 像素讲的是 单行怎么积分、怎么 CDS 读出卷帘讲的是 这些行在时间上怎么排队单像素Reset → 曝光积分 → 转移/CDS 读出整阵列第 0 行先 Reset/先读 → 第 1 行稍晚 → … → 最后一行最晚所以曝光时间由 Reset–Read 间隔 决定果冻由 行与行之间的读出延迟 决定。五、一句话总结卷帘曝光 CMOS 用 Reset/Read 两道扫描帘按行开关曝光每行曝光时长相同但时刻逐行错开因而高速运动会产生果冻/斜切闪光也难整幅同步。帧结构一、定义帧结构Frame StructureCMOS 完成 一帧图像采集与输出 时在时间和空间上如何组织数据。它包含两层含义时间结构像素时钟 → 行时间 → 帧时间再叠加消隐空间/数据布局一帧里不只是有效像素还有嵌入行、PDAF、统计/陀螺等 metadata以及行消隐、帧消隐一句话一帧 按 Pixel Clock 吐出的若干行每行有有效数据 行消隐整帧有有效行 元数据行 垂直消隐。Hsync 管行Vsync 管帧。二、时间层级P_clock → Tline → Tframe时间层级1. Pixel Clock像素时钟P_clockADC 读出 一个像素 所需时间是 Sensor 时序的最小节拍TP1/P_clockTP1/P_clock2. Line Time行时间Tline完成 一行 的复位、曝光相关操作、电荷转移、读出等所需时间TlineN×(1/P_clock)TlineN×(1/P_clock)NN 在调校/mode 配置时确定对应 datasheet 里的LINE_LENGTH_PCK一行内部有 TX / RST / SEL 等脉冲两次 TX 之间可对应最小积分Min_int课件中一行可有多种搭配Reset M Read D、Reset D Read M、Reset N Read N、Reset M Read NDummy 行与有效行交错服务卷帘与 CDS3. Frame Time帧时间TframeTframeH×TlineTframeH×TlineHH 是一帧总行数有效行 消隐行等对应FRAME_LENGTH_LINES帧率 FPS≈1/TframeFPS≈1/Tframe对应同步信号Hsync一行一个脉冲周期 ≈TlineVsync一帧一个周期中间包含很多 Hsync末尾常有V_blank三、消隐水平消隐与垂直消隐消隐1. 水平消隐H-blank / Line Blanking一行有效像素吐完后到下一行开始前的空闲段给内部逻辑用复位/读出相位切换等拉长行周期Tline→ 每行曝光粒度变化也会 间接改帧率2. 垂直消隐V-blank / Frame Blanking一帧有效行结束后给下一帧做准备最短通常 ≥ 1 × Tline拉长 V_blank 是调 FPS 的常用手段总行数变多Tframe变长帧率下降3. 曝光与行时间的关系卷帘下曝光常按 行时间的整数倍 配置TexpX×TlineTexpX×Tline这与上一节「Reset 行与 Read 行隔开固定行数」是同一件事隔了 XX 行曝光就是 XX 个Tline。四、空间帧结构以 IMX689 类为例空间帧结构一帧在输出流里通常是一张「大表」区域作用Embedded Data帧头嵌入信息寄存器/状态等Active Pixel真正成像的 RAWBayerPDAF 行相位对焦像素数据User DefinedGYRO / FLICKER / AEHIST 等统计与辅助数据Line Blanking每行右侧的水平消隐Frame Blanking帧底垂直消隐寄存器侧两个关键尺寸横向总长LINE_LENGTH_PCK含有效像素 行消隐纵向总长FRAME_LENGTH_LINES含有效行 嵌入/统计行 帧消隐同步Vsync帧单位FSFrame Start/ FEFrame EndHsync行单位一帧内有很多个 Hsync脉宽、极性通常可配VSYNC_WID/HSYNC_WID软件解析 RAW 时必须按这个布局 把有效像素和 metadata 拆开不能把嵌入行、GYRO、直方图当成画面。五、和卷帘曝光的衔接P_clock 决定“吐一个像素多快”Tline 决定“扫完一行含消隐要多久”行间距 X 决定“曝光 X × Tline”Tframe 决定“一帧多久 → FPS”Reset/Read 逐行错开 → 卷帘所以改曝光多半改 行间隔 / 积分行数改帧率多半改 FRAME_LENGTHV_blank或 LINE_LENGTHH_blank并受 MIPI 带宽约束。六、一句话总结帧结构 用 P_clock 拼出行、用行拼出帧消隐用来做内部操作并调节曝光/帧率输出的一帧里既有画面 RAW也有 PDAF/统计/嵌入数据由 Hsync/Vsync 划界。曝光和噪声一、曝光时间定义曝光时间Exposure Time像素收集光子、进行积分的时长。在卷帘里它等于该行 Reset → Read 的间隔常写成 X×TlineX×Tline。物理含义时间越长桶里接的“雨水”光子越多画面越亮同时若物体在动光斑会扫过更多像素。二、曝光 vs 运动模糊曝光与运动模糊相对运动时曝光窗口内同一物体的像会落在不同像素上形成 运动模糊拖影。物体越快、曝光越长拖得越厉害。快门典型效果1/2000 ~ 1/250 s冻结动作轮廓清楚1/30 ~ 1/15 s边缘开始糊1/8 ~ 1/3 s严重拖影主体难辨风车、弹琴的手都是同一原理的直观例子。三、场景经验与曝光取舍场景与取舍课件里的经验值道路监控 ITS通常 1/60 s避免车糊成条飞鸟大约 ≤ 1/125 s约 10 ms 才容易冻住翅膀子弹/超高速到 μs ~ ns 量级夜景车灯则是反向用法1/13 s → 0.5 s → 2 s → 10 s轨迹越来越长静止景物仍相对清晰。和噪声绑在一起的取舍曝光加长进光多、更亮易糊暗电流/热噪声随时间累积曝光缩短动作冻住更暗往往要 加增益读出噪声被一起放大手机 AE 本质就是在 糊、亮、噪 三者里找平衡。四、噪声定义与三类核心噪声噪声链路与组成噪声器件在处理过程中自己产生的、与目标景物无关 的扰动。课件强调的三类符号名称含义σR读出噪声 Readout Noise电路读出引入设计决定对应“改变 ADC 1 bit 大约要多少电子”的下限σS光子散粒噪声 Photon Shot光子到达是随机的服从泊松统计随信号增大而增大σD暗电流散粒噪声 Dark Shot无光时硅中热激发电子形成暗电流仍有统计涨落有效噪声不相关项平方和开根σeffσD2σR2σS2σeffσD2σR2σS2五、噪声从哪来读出链路按信号流各段都会“加噪”环节常见噪声复位 ResetFPN、复位噪声kTCCDS 可压传感器感光光子散粒、暗电流散粒、FPN、PRNU像素内放大热噪声、1/f、FPN列电路热噪声、1/f、FPN、复位噪声片上放大热噪声、1/fADC量化噪声FPN固定图案噪声帧间位置较稳。PRNU像素响应不均匀强光下更明显。1/f低频闪烁噪声。六、噪声随信号怎么变在“平均信号 vs 噪声”的 log 图上大致三段低信号 / 暗部读出噪声托底曲线接近水平中等信号光子噪声主导大约 ∝S∝S高信号接近满阱PRNU 一类乘性不均匀开始显眼所以暗处噪主要看 读出噪声 暗电流亮处噪主要看 光子统计 PRNU。加增益会把暗部读出噪声抬高。课件中 IMX689/766/789 一类指标会给 Read Noise、DR、SNR夜景/Qbin 模式往往读出噪声更低、DR/SNR 更好。七、曝光和噪声怎么连起来曝光↑ → 光子↑ → 信号↑ → 光子噪声↑但 SNR 通常变好暗电流↑运动模糊↑曝光↓ → 更暗 → 常加 Gain → 读出噪声被放大动作更清晰和前面知识的接口曝光时长落在帧结构的 X×TlineX×Tline暗电流校正要靠阵列里的 OPB BLC4T CDS 主要打掉 复位噪声八、一句话总结曝光是“接光多久”短则曝光短但易暗、易加增益变噪长则更亮但易糊、暗电流升。噪声是链路各段叠加上的无关扰动暗部看读出/暗电流亮部看光子散粒和 PRNU。