热成像模组的视频输出链路从像素到屏幕这篇讲热成像模组的一条完整链路传感器采到一个温度值到上位机看到一张图像中间的数据怎么流转、格式怎么选、传输怎么接。围绕一条主线 —— 温度、颜色、格式、接收四个环节如何衔接。通用工程视角不涉及具体芯片寄存器与厂商细节。1. 链路总览一条数据从传感器到上位机穿过几种物理实体。处理像素是硬件固件只配参数、下寄存器、调度传输不逐像素搬运。下图把每个环节标到对应章节。传感器 · RAWISP 流水线温度语义 ⇒ 双路径§2Y16 · 16bit 测温伪彩 → NV12/YU16SOUT 出口§3桥片转 USB§6直连主机 V4L2§5·§6VC 模式 格式协商§4温度路径保留位深 · 显示路径上色后再出格式 · 两路在 SOUT 汇合后各自传输传感器出 RAW热成像下即温度值ISP 按语义分流测温保 Y16显示走伪彩SOUT 是格式出口决定最终出什么格式传输环节的格式协商决定上位机能否解出图2. 温度为什么用 Y16而不是彩色格式热成像和普通 CMOS 相机最大的区别在数据语义每个像素是一个温度值不是一种颜色。测温要位深。温度精度要落到 14/16 bit 才留得住0.1℃ 的量级可能对应上万灰度级。彩色格式的亮度分量只有 8 bit256 级量化后精度直接崩NV12 还会对色度做 4:2:0 降采样对温度数据是纯信息破坏。两条路径各有独立出口互不干扰路径A 测温传感器→ISP→Y16→上传/分析保留完整位深路径B 显示传感器→ISP→伪彩→NV12/YU16→预览给人看8bit 够用·一句话温度需要位深所以用 Y16NV12/YU16 只服务给人看的显示路径。3. 伪彩与 SOUT颜色和格式从哪来3.1 伪彩温度经查表变成颜色温度本身无色裸看是灰度。伪彩Pseudo-color用查表把温度区间映射成彩色方便人眼分辨高低。注意查表有两种类型落地了不同的调节方式Y16 温度值每像素一个温度伪彩查表温度 → 颜色表分YUV/RGB色彩调节YUV亮度/对比/饱和 · RGB矩阵偏置NV12/YU16两种伪彩表类型YUV 表调节亮度 / 对比度 / 饱和度参数直观常用RGB 表3×3 颜色矩阵 三分量偏置适合逐分量精确调色伪彩之后数据才变三通道彩色才需要 NV12/YU16。温度阶段没有颜色没必要上彩色格式。3.2 SOUT格式出口SOUTStream Out是流程出口做三件事按目标格式重新打包、按输出宽高裁剪可叠附加信息行如测温标定数据、DMA 搬运到内存缓冲供下游取走。DMA 缓冲常用三缓冲写帧和读帧互不阻塞避免撕裂缓冲 0SOUT 当前写入缓冲 1显示接口正读取缓冲 2空待写每帧轮转写 → 供读 → 回空读写并行不撕裂一个容易忽略的约束NV12 这类 4:2:0 格式要求宽高都是 4 的倍数配置不对直接报错。4. 出图失败的典型根因格式声明与负载不一致排查出图问题最常见的一个根因是虚拟通道VC模式与格式声明没对齐。动 VC 却没同步改格式接收端就不认。默认不出图VC 模式 双通道图像 温度分走两路输出格式 Y16单通道灰度Y16 非标准显示类型 → 接收端无法解析切单通道图片模式出图VC 模式 单通道发送类型 YUV422标准接收端按 YUV422 解析 → 出图正常切单通道模式能出图是伪装格式——发送类型声明为 YUV422实际负载是 NV12。能跑通但留隐患下游若真按 YUV422 解析NV12 是 Y 平面 UV 交错平面的布局颜色会错位甚至花屏。根治办法让格式声明和实际负载一致声明什么就发什么这是协议级的一致性问题越早规范越好。5. MIPI 直连主机走 V4L2模组不经桥片、MIPI 直连主机Linux SoC时主机端一般用 V4L2Video4Linux2接收。CSI-2 信号经主机端 MIPI RX 控制器、内核驱动进 V4L2 子系统的/dev/video0。SDK 的调用序列固定打开设备 → 设置格式 → 申请 DMA 缓冲 → 缓冲入队 → 开流 → 循环取帧/归还 → 停流。格式协商是成败关键。V4L2 用VIDIOC_S_FMT设格式四字符码NV12/YUYV/Y16必须和模组 TX 实际发出的一致。不一致的后果很隐蔽数据能收到但被错误解读成乱码或错色。排查先核对两端格式码往往比翻驱动省时间。6. 除了 V4L2还有哪些接收方式能不能替代 V4L2取决于替换哪一层内核/驱动层才是真替代裸机 / RTOS 直接配寄存器 DMAFPGA 全硬件接收厂商私有驱动用户态 API 层底层多数仍是 V4L2libcamera、GStreamer / FFmpeg、NVIDIA Argus、Android HAL3硬件转换层主机不碰 MIPIMIPI→USB3 / HDMI / PCIe / GigE 桥片MIPI TXMIPI→USB3 桥片UVC → PC 免驱演示V4L2Linux SoC 量产裸机DMA / FPGA无 OS、低延迟硬实时或高带宽选型看主机形态主机是 Linux 且有 MIPI RX 硬件默认 V4L2生态最成熟主机是 PC / Windows用桥片转标准接口更现实。7. 选型实践与小结按四条建议落地先定数据语义。测温还是显示测温按 Y16 保留位深别过早转彩色损失精度。再定传输接口。PC 端桥片转 USB嵌入式集成 MIPI V4L2高带宽或纯硬件走 FPGA。统一格式声明与负载。别伪装格式让声明和实际布局一致杜绝下游错位。核对格式约束。宽高对齐4:2:0 要 4 的倍数、附加信息行、三缓冲配置前先核对。这条链路的两个支点显示即伪彩、测温即位深。单一格式很难同时照顾人眼可视与温度精度这是它区别于普通相机的原因而配置驱动、硬件执行则是高分辨率下仍能实时出图的前提。 热成像模组的视频输出链路：从像素到屏幕
热成像模组的视频输出链路从像素到屏幕这篇讲热成像模组的一条完整链路传感器采到一个温度值到上位机看到一张图像中间的数据怎么流转、格式怎么选、传输怎么接。围绕一条主线 —— 温度、颜色、格式、接收四个环节如何衔接。通用工程视角不涉及具体芯片寄存器与厂商细节。1. 链路总览一条数据从传感器到上位机穿过几种物理实体。处理像素是硬件固件只配参数、下寄存器、调度传输不逐像素搬运。下图把每个环节标到对应章节。传感器 · RAWISP 流水线温度语义 ⇒ 双路径§2Y16 · 16bit 测温伪彩 → NV12/YU16SOUT 出口§3桥片转 USB§6直连主机 V4L2§5·§6VC 模式 格式协商§4温度路径保留位深 · 显示路径上色后再出格式 · 两路在 SOUT 汇合后各自传输传感器出 RAW热成像下即温度值ISP 按语义分流测温保 Y16显示走伪彩SOUT 是格式出口决定最终出什么格式传输环节的格式协商决定上位机能否解出图2. 温度为什么用 Y16而不是彩色格式热成像和普通 CMOS 相机最大的区别在数据语义每个像素是一个温度值不是一种颜色。测温要位深。温度精度要落到 14/16 bit 才留得住0.1℃ 的量级可能对应上万灰度级。彩色格式的亮度分量只有 8 bit256 级量化后精度直接崩NV12 还会对色度做 4:2:0 降采样对温度数据是纯信息破坏。两条路径各有独立出口互不干扰路径A 测温传感器→ISP→Y16→上传/分析保留完整位深路径B 显示传感器→ISP→伪彩→NV12/YU16→预览给人看8bit 够用·一句话温度需要位深所以用 Y16NV12/YU16 只服务给人看的显示路径。3. 伪彩与 SOUT颜色和格式从哪来3.1 伪彩温度经查表变成颜色温度本身无色裸看是灰度。伪彩Pseudo-color用查表把温度区间映射成彩色方便人眼分辨高低。注意查表有两种类型落地了不同的调节方式Y16 温度值每像素一个温度伪彩查表温度 → 颜色表分YUV/RGB色彩调节YUV亮度/对比/饱和 · RGB矩阵偏置NV12/YU16两种伪彩表类型YUV 表调节亮度 / 对比度 / 饱和度参数直观常用RGB 表3×3 颜色矩阵 三分量偏置适合逐分量精确调色伪彩之后数据才变三通道彩色才需要 NV12/YU16。温度阶段没有颜色没必要上彩色格式。3.2 SOUT格式出口SOUTStream Out是流程出口做三件事按目标格式重新打包、按输出宽高裁剪可叠附加信息行如测温标定数据、DMA 搬运到内存缓冲供下游取走。DMA 缓冲常用三缓冲写帧和读帧互不阻塞避免撕裂缓冲 0SOUT 当前写入缓冲 1显示接口正读取缓冲 2空待写每帧轮转写 → 供读 → 回空读写并行不撕裂一个容易忽略的约束NV12 这类 4:2:0 格式要求宽高都是 4 的倍数配置不对直接报错。4. 出图失败的典型根因格式声明与负载不一致排查出图问题最常见的一个根因是虚拟通道VC模式与格式声明没对齐。动 VC 却没同步改格式接收端就不认。默认不出图VC 模式 双通道图像 温度分走两路输出格式 Y16单通道灰度Y16 非标准显示类型 → 接收端无法解析切单通道图片模式出图VC 模式 单通道发送类型 YUV422标准接收端按 YUV422 解析 → 出图正常切单通道模式能出图是伪装格式——发送类型声明为 YUV422实际负载是 NV12。能跑通但留隐患下游若真按 YUV422 解析NV12 是 Y 平面 UV 交错平面的布局颜色会错位甚至花屏。根治办法让格式声明和实际负载一致声明什么就发什么这是协议级的一致性问题越早规范越好。5. MIPI 直连主机走 V4L2模组不经桥片、MIPI 直连主机Linux SoC时主机端一般用 V4L2Video4Linux2接收。CSI-2 信号经主机端 MIPI RX 控制器、内核驱动进 V4L2 子系统的/dev/video0。SDK 的调用序列固定打开设备 → 设置格式 → 申请 DMA 缓冲 → 缓冲入队 → 开流 → 循环取帧/归还 → 停流。格式协商是成败关键。V4L2 用VIDIOC_S_FMT设格式四字符码NV12/YUYV/Y16必须和模组 TX 实际发出的一致。不一致的后果很隐蔽数据能收到但被错误解读成乱码或错色。排查先核对两端格式码往往比翻驱动省时间。6. 除了 V4L2还有哪些接收方式能不能替代 V4L2取决于替换哪一层内核/驱动层才是真替代裸机 / RTOS 直接配寄存器 DMAFPGA 全硬件接收厂商私有驱动用户态 API 层底层多数仍是 V4L2libcamera、GStreamer / FFmpeg、NVIDIA Argus、Android HAL3硬件转换层主机不碰 MIPIMIPI→USB3 / HDMI / PCIe / GigE 桥片MIPI TXMIPI→USB3 桥片UVC → PC 免驱演示V4L2Linux SoC 量产裸机DMA / FPGA无 OS、低延迟硬实时或高带宽选型看主机形态主机是 Linux 且有 MIPI RX 硬件默认 V4L2生态最成熟主机是 PC / Windows用桥片转标准接口更现实。7. 选型实践与小结按四条建议落地先定数据语义。测温还是显示测温按 Y16 保留位深别过早转彩色损失精度。再定传输接口。PC 端桥片转 USB嵌入式集成 MIPI V4L2高带宽或纯硬件走 FPGA。统一格式声明与负载。别伪装格式让声明和实际布局一致杜绝下游错位。核对格式约束。宽高对齐4:2:0 要 4 的倍数、附加信息行、三缓冲配置前先核对。这条链路的两个支点显示即伪彩、测温即位深。单一格式很难同时照顾人眼可视与温度精度这是它区别于普通相机的原因而配置驱动、硬件执行则是高分辨率下仍能实时出图的前提。