别再只调参了用PythonOpenCV从零实现一个多模态图像融合小工具附代码图像处理领域的研究者常常陷入一个怪圈沉迷于调整模型参数却忽略了底层技术的实际实现。今天我们将打破这个循环用不到200行Python代码从零构建一个能实际运行的多模态图像融合工具。这个工具将教会你如何将可见光图像和红外图像的优势结合起来创造出信息更丰富的视觉输出。1. 环境准备与数据获取在开始编码之前我们需要确保开发环境配置正确。推荐使用Python 3.8或更高版本这是大多数计算机视觉库兼容性最好的版本范围。首先安装必要的依赖库pip install opencv-python numpy matplotlib对于这个项目我们需要准备一对配准好的可见光(RGB)和红外(IR)图像。你可以从以下公开数据集中获取FLIR ADAS数据集包含大量配准的可见光和热红外图像对TNO Image Fusion Dataset专门用于图像融合研究的经典数据集KAIST多光谱行人数据集适用于行人检测任务的多模态数据如果你只是想快速测试这里有一段代码可以生成简单的测试图像import numpy as np import cv2 # 生成模拟的可见光图像 (512x512) rgb_img np.zeros((512, 512, 3), dtypenp.uint8) cv2.circle(rgb_img, (256, 256), 100, (0, 255, 0), -1) # 生成模拟的红外图像 (512x512) ir_img np.zeros((512, 512), dtypenp.uint8) cv2.rectangle(ir_img, (200, 200), (312, 312), 255, -1)2. 基础融合方法实现2.1 简单的加权平均融合最直接的融合方法是对两幅图像进行加权平均。这种方法计算简单适合作为基准方法。def weighted_average_fusion(rgb_img, ir_img, alpha0.5): 加权平均融合 :param rgb_img: 可见光图像 (BGR格式) :param ir_img: 红外图像 (单通道) :param alpha: 权重参数 (0-1) :return: 融合后的图像 # 将红外图像转换为三通道 ir_img_colored cv2.cvtColor(ir_img, cv2.COLOR_GRAY2BGR) # 加权融合 fused_img cv2.addWeighted(rgb_img, alpha, ir_img_colored, 1-alpha, 0) return fused_img这个方法虽然简单但有几个关键点需要注意权重参数α的选择直接影响融合效果红外图像需要先转换为三通道才能与RGB图像相加两幅图像必须具有相同的尺寸2.2 基于金字塔的融合方法拉普拉斯金字塔融合是一种更高级的技术能够在不同尺度上保留图像的细节特征。def laplacian_pyramid_fusion(rgb_img, ir_img, levels4): 拉普拉斯金字塔融合 :param rgb_img: 可见光图像 (BGR格式) :param ir_img: 红外图像 (单通道) :param levels: 金字塔层数 :return: 融合后的图像 # 将红外图像转换为三通道 ir_img cv2.cvtColor(ir_img, cv2.COLOR_GRAY2BGR) # 生成RGB图像的高斯金字塔 g_rgb [rgb_img.copy()] for i in range(levels): rgb_img cv2.pyrDown(rgb_img) g_rgb.append(rgb_img) # 生成红外图像的高斯金字塔 g_ir [ir_img.copy()] for i in range(levels): ir_img cv2.pyrDown(ir_img) g_ir.append(ir_img) # 生成RGB图像的拉普拉斯金字塔 l_rgb [g_rgb[levels-1]] for i in range(levels-1, 0, -1): size (g_rgb[i-1].shape[1], g_rgb[i-1].shape[0]) expanded cv2.pyrUp(g_rgb[i], dstsizesize) laplacian cv2.subtract(g_rgb[i-1], expanded) l_rgb.append(laplacian) # 生成红外图像的拉普拉斯金字塔 l_ir [g_ir[levels-1]] for i in range(levels-1, 0, -1): size (g_ir[i-1].shape[1], g_ir[i-1].shape[0]) expanded cv2.pyrUp(g_ir[i], dstsizesize) laplacian cv2.subtract(g_ir[i-1], expanded) l_ir.append(laplacian) # 融合拉普拉斯金字塔 fused_pyramid [] for rgb_lap, ir_lap in zip(l_rgb, l_ir): fused np.zeros_like(rgb_lap) for c in range(3): # 对每个通道单独处理 rgb_energy cv2.pow(rgb_lap[:,:,c], 2) ir_energy cv2.pow(ir_lap[:,:,c], 2) mask rgb_energy ir_energy fused[:,:,c] np.where(mask, rgb_lap[:,:,c], ir_lap[:,:,c]) fused_pyramid.append(fused) # 重建融合图像 fused_img fused_pyramid[0] for i in range(1, levels): size (fused_pyramid[i].shape[1], fused_pyramid[i].shape[0]) fused_img cv2.pyrUp(fused_img, dstsizesize) fused_img cv2.add(fused_img, fused_pyramid[i]) return fused_img这种方法的关键优势在于能够在不同尺度上选择信息量更大的区域更好地保留边缘和细节信息对图像配准误差有一定的容忍度3. 高级融合技术实现3.1 基于离散小波变换的融合小波变换是图像融合中常用的多尺度分析方法能够同时在空间和频率域处理图像。def wavelet_fusion(rgb_img, ir_img, waveletdb1, level3): 基于小波变换的图像融合 :param rgb_img: 可见光图像 (BGR格式) :param ir_img: 红外图像 (单通道) :param wavelet: 小波基类型 :param level: 分解层数 :return: 融合后的图像 import pywt # 将RGB图像转换为YCrCb色彩空间 ycrcb cv2.cvtColor(rgb_img, cv2.COLOR_BGR2YCrCb) y_channel ycrcb[:,:,0].astype(np.float32) # 对Y通道和红外图像进行小波分解 coeffs_rgb pywt.wavedec2(y_channel, wavelet, levellevel) coeffs_ir pywt.wavedec2(ir_img.astype(np.float32), wavelet, levellevel) # 融合规则低频取平均高频取绝对值最大 fused_coeffs [] for (cA_rgb, (cH_rgb, cV_rgb, cD_rgb)), (cA_ir, (cH_ir, cV_ir, cD_ir)) in zip(coeffs_rgb, coeffs_ir): # 低频系数取平均 cA (cA_rgb cA_ir) / 2 # 高频系数取绝对值大的 cH np.where(np.abs(cH_rgb) np.abs(cH_ir), cH_rgb, cH_ir) cV np.where(np.abs(cV_rgb) np.abs(cV_ir), cV_rgb, cV_ir) cD np.where(np.abs(cD_rgb) np.abs(cD_ir), cD_rgb, cD_ir) fused_coeffs.append((cA, (cH, cV, cD))) # 小波重构 fused_y pywt.waverec2(fused_coeffs, wavelet) # 将融合后的Y通道与原始CrCb通道合并 ycrcb[:,:,0] np.clip(fused_y, 0, 255).astype(np.uint8) fused_img cv2.cvtColor(ycrcb, cv2.COLOR_YCrCb2BGR) return fused_img小波融合的关键参数选择参数可选值推荐值影响小波基haar, db1-db20, sym2-sym20db4影响分解的稀疏性和计算效率分解层数1-53层数越多计算量越大但能捕捉更多尺度特征融合规则平均、最大、区域能量等最大绝对值直接影响融合质量和特征保留3.2 基于深度学习的融合方法虽然本文主要关注传统方法但了解深度学习在图像融合中的应用也很重要。以下是使用预训练模型的简化示例def deep_learning_fusion(rgb_img, ir_img, model_pathfusion_model.h5): 基于深度学习的图像融合 (简化示例) :param rgb_img: 可见光图像 (BGR格式) :param ir_img: 红外图像 (单通道) :param model_path: 预训练模型路径 :return: 融合后的图像 from tensorflow.keras.models import load_model # 预处理输入图像 rgb_input cv2.resize(rgb_img, (256, 256)) / 255.0 ir_input cv2.resize(ir_img, (256, 256)) ir_input np.expand_dims(ir_input, axis-1) / 255.0 # 加载预训练模型 model load_model(model_path) # 预测融合图像 fused model.predict([np.expand_dims(rgb_input, 0), np.expand_dims(ir_input, 0)]) # 后处理 fused_img (fused[0] * 255).astype(np.uint8) fused_img cv2.resize(fused_img, (rgb_img.shape[1], rgb_img.shape[0])) return fused_img深度学习方法的优势与挑战优势能够自动学习复杂的融合规则对图像配准误差有更好的鲁棒性可以端到端优化特定任务的融合效果挑战需要大量训练数据计算资源需求较高模型可解释性较差4. 结果可视化与性能评估4.1 可视化对比为了直观比较不同融合方法的效果我们可以使用以下代码生成对比图def visualize_comparison(original_rgb, original_ir, fused_images, titles): 可视化原始图像和融合结果 :param original_rgb: 原始可见光图像 :param original_ir: 原始红外图像 :param fused_images: 融合结果列表 :param titles: 各融合方法的标题列表 import matplotlib.pyplot as plt plt.figure(figsize(15, 10)) # 显示原始图像 plt.subplot(2, 2, 1) plt.imshow(cv2.cvtColor(original_rgb, cv2.COLOR_BGR2RGB)) plt.title(Visible Image) plt.axis(off) plt.subplot(2, 2, 2) plt.imshow(original_ir, cmapgray) plt.title(Infrared Image) plt.axis(off) # 显示融合结果 for i, (img, title) in enumerate(zip(fused_images, titles), 3): plt.subplot(2, 2, i) plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB)) plt.title(title) plt.axis(off) plt.tight_layout() plt.show()4.2 客观评价指标除了主观视觉评估我们还可以计算一些客观指标来量化融合质量def evaluate_fusion(original_rgb, original_ir, fused_img): 计算融合图像的评价指标 :param original_rgb: 原始可见光图像 :param original_ir: 原始红外图像 :param fused_img: 融合图像 :return: 评价指标字典 # 将图像转换为灰度 gray_rgb cv2.cvtColor(original_rgb, cv2.COLOR_BGR2GRAY) gray_fused cv2.cvtColor(fused_img, cv2.COLOR_BGR2GRAY) # 计算互信息(MI) def mutual_info(hgram): pxy hgram / float(np.sum(hgram)) px np.sum(pxy, axis1) py np.sum(pxy, axis0) px_py px[:, None] * py[None, :] nzs pxy 0 return np.sum(pxy[nzs] * np.log(pxy[nzs] / px_py[nzs])) hist_2d_rgb, _, _ np.histogram2d(gray_rgb.ravel(), gray_fused.ravel(), bins20) mi_rgb mutual_info(hist_2d_rgb) hist_2d_ir, _, _ np.histogram2d(original_ir.ravel(), gray_fused.ravel(), bins20) mi_ir mutual_info(hist_2d_ir) mi_total mi_rgb mi_ir # 计算结构相似性(SSIM) from skimage.metrics import structural_similarity as ssim ssim_rgb ssim(gray_rgb, gray_fused, data_range255) ssim_ir ssim(original_ir, gray_fused, data_range255) # 计算边缘保持度(EPI) def calculate_epi(original, fused): sobel_original cv2.Sobel(original, cv2.CV_64F, 1, 1, ksize3) sobel_fused cv2.Sobel(fused, cv2.CV_64F, 1, 1, ksize3) return np.sum(sobel_fused * sobel_original) / np.sum(sobel_original**2) epi_rgb calculate_epi(gray_rgb, gray_fused) epi_ir calculate_epi(original_ir, gray_fused) return { Mutual_Information: mi_total, SSIM_RGB: ssim_rgb, SSIM_IR: ssim_ir, EPI_RGB: epi_rgb, EPI_IR: epi_ir }常见评价指标的含义指标名称计算方式理想值物理意义互信息(MI)衡量两幅图像间的统计依赖性越大越好反映融合图像从源图像中保留的信息量结构相似性(SSIM)比较图像结构信息相似度1为最佳评估融合图像与源图像的结构相似性边缘保持度(EPI)计算边缘信息的保留程度1为最佳反映融合图像对源图像边缘特征的保持能力5. 工具封装与实用技巧5.1 将融合工具封装为类为了更方便地使用这些融合方法我们可以将它们封装成一个Python类class ImageFusionTool: def __init__(self): self.methods { weighted_average: self.weighted_average_fusion, laplacian_pyramid: self.laplacian_pyramid_fusion, wavelet: self.wavelet_fusion } def fuse(self, rgb_img, ir_img, methodlaplacian_pyramid, **kwargs): 图像融合入口函数 :param rgb_img: 可见光图像路径或numpy数组 :param ir_img: 红外图像路径或numpy数组 :param method: 融合方法名称 :param kwargs: 各融合方法的参数 :return: 融合后的图像 # 加载图像 if isinstance(rgb_img, str): rgb_img cv2.imread(rgb_img) if isinstance(ir_img, str): ir_img cv2.imread(ir_img, cv2.IMREAD_GRAYSCALE) # 检查图像尺寸 assert rgb_img.shape[:2] ir_img.shape[:2], 图像尺寸不匹配 # 执行融合 if method not in self.methods: raise ValueError(f不支持的融合方法可选: {list(self.methods.keys())}) return self.methods[method](rgb_img, ir_img, **kwargs) # 之前实现的各种融合方法可以作为类方法放在这里...5.2 实用技巧与优化建议在实际应用中有几个技巧可以显著提升融合效果图像预处理对红外图像进行直方图均衡化可以增强热对比度对可见光图像进行去噪处理可以减少融合噪声def preprocess_images(rgb_img, ir_img): # 可见光图像去噪 rgb_processed cv2.fastNlMeansDenoisingColored(rgb_img, None, 10, 10, 7, 21) # 红外图像直方图均衡化 ir_processed cv2.equalizeHist(ir_img) return rgb_processed, ir_processed参数自动优化 可以编写一个简单的参数搜索函数自动寻找最佳融合参数def optimize_fusion_params(rgb_img, ir_img, methodweighted_average): best_score -1 best_params {} best_result None if method weighted_average: for alpha in np.linspace(0.1, 0.9, 9): fused weighted_average_fusion(rgb_img, ir_img, alphaalpha) metrics evaluate_fusion(rgb_img, ir_img, fused) score metrics[Mutual_Information] if score best_score: best_score score best_params {alpha: alpha} best_result fused # 其他方法的参数优化可以类似实现 return best_result, best_params, best_score批处理与性能优化 当需要处理大量图像时可以考虑以下优化使用多线程/多进程并行处理将图像调整为适当大小平衡速度和质量对OpenCV操作使用UMat加速from concurrent.futures import ThreadPoolExecutor def batch_fusion(rgb_paths, ir_paths, methodlaplacian_pyramid, workers4): 批量图像融合 :param rgb_paths: 可见光图像路径列表 :param ir_paths: 红外图像路径列表 :param method: 融合方法 :param workers: 线程数 :return: 融合结果列表 tool ImageFusionTool() def process_pair(rgb_path, ir_path): return tool.fuse(rgb_path, ir_path, methodmethod) with ThreadPoolExecutor(max_workersworkers) as executor: results list(executor.map(process_pair, rgb_paths, ir_paths)) return results
别再只调参了！用Python+OpenCV从零实现一个多模态图像融合小工具（附代码）
发布时间：2026/6/13 22:50:06
别再只调参了用PythonOpenCV从零实现一个多模态图像融合小工具附代码图像处理领域的研究者常常陷入一个怪圈沉迷于调整模型参数却忽略了底层技术的实际实现。今天我们将打破这个循环用不到200行Python代码从零构建一个能实际运行的多模态图像融合工具。这个工具将教会你如何将可见光图像和红外图像的优势结合起来创造出信息更丰富的视觉输出。1. 环境准备与数据获取在开始编码之前我们需要确保开发环境配置正确。推荐使用Python 3.8或更高版本这是大多数计算机视觉库兼容性最好的版本范围。首先安装必要的依赖库pip install opencv-python numpy matplotlib对于这个项目我们需要准备一对配准好的可见光(RGB)和红外(IR)图像。你可以从以下公开数据集中获取FLIR ADAS数据集包含大量配准的可见光和热红外图像对TNO Image Fusion Dataset专门用于图像融合研究的经典数据集KAIST多光谱行人数据集适用于行人检测任务的多模态数据如果你只是想快速测试这里有一段代码可以生成简单的测试图像import numpy as np import cv2 # 生成模拟的可见光图像 (512x512) rgb_img np.zeros((512, 512, 3), dtypenp.uint8) cv2.circle(rgb_img, (256, 256), 100, (0, 255, 0), -1) # 生成模拟的红外图像 (512x512) ir_img np.zeros((512, 512), dtypenp.uint8) cv2.rectangle(ir_img, (200, 200), (312, 312), 255, -1)2. 基础融合方法实现2.1 简单的加权平均融合最直接的融合方法是对两幅图像进行加权平均。这种方法计算简单适合作为基准方法。def weighted_average_fusion(rgb_img, ir_img, alpha0.5): 加权平均融合 :param rgb_img: 可见光图像 (BGR格式) :param ir_img: 红外图像 (单通道) :param alpha: 权重参数 (0-1) :return: 融合后的图像 # 将红外图像转换为三通道 ir_img_colored cv2.cvtColor(ir_img, cv2.COLOR_GRAY2BGR) # 加权融合 fused_img cv2.addWeighted(rgb_img, alpha, ir_img_colored, 1-alpha, 0) return fused_img这个方法虽然简单但有几个关键点需要注意权重参数α的选择直接影响融合效果红外图像需要先转换为三通道才能与RGB图像相加两幅图像必须具有相同的尺寸2.2 基于金字塔的融合方法拉普拉斯金字塔融合是一种更高级的技术能够在不同尺度上保留图像的细节特征。def laplacian_pyramid_fusion(rgb_img, ir_img, levels4): 拉普拉斯金字塔融合 :param rgb_img: 可见光图像 (BGR格式) :param ir_img: 红外图像 (单通道) :param levels: 金字塔层数 :return: 融合后的图像 # 将红外图像转换为三通道 ir_img cv2.cvtColor(ir_img, cv2.COLOR_GRAY2BGR) # 生成RGB图像的高斯金字塔 g_rgb [rgb_img.copy()] for i in range(levels): rgb_img cv2.pyrDown(rgb_img) g_rgb.append(rgb_img) # 生成红外图像的高斯金字塔 g_ir [ir_img.copy()] for i in range(levels): ir_img cv2.pyrDown(ir_img) g_ir.append(ir_img) # 生成RGB图像的拉普拉斯金字塔 l_rgb [g_rgb[levels-1]] for i in range(levels-1, 0, -1): size (g_rgb[i-1].shape[1], g_rgb[i-1].shape[0]) expanded cv2.pyrUp(g_rgb[i], dstsizesize) laplacian cv2.subtract(g_rgb[i-1], expanded) l_rgb.append(laplacian) # 生成红外图像的拉普拉斯金字塔 l_ir [g_ir[levels-1]] for i in range(levels-1, 0, -1): size (g_ir[i-1].shape[1], g_ir[i-1].shape[0]) expanded cv2.pyrUp(g_ir[i], dstsizesize) laplacian cv2.subtract(g_ir[i-1], expanded) l_ir.append(laplacian) # 融合拉普拉斯金字塔 fused_pyramid [] for rgb_lap, ir_lap in zip(l_rgb, l_ir): fused np.zeros_like(rgb_lap) for c in range(3): # 对每个通道单独处理 rgb_energy cv2.pow(rgb_lap[:,:,c], 2) ir_energy cv2.pow(ir_lap[:,:,c], 2) mask rgb_energy ir_energy fused[:,:,c] np.where(mask, rgb_lap[:,:,c], ir_lap[:,:,c]) fused_pyramid.append(fused) # 重建融合图像 fused_img fused_pyramid[0] for i in range(1, levels): size (fused_pyramid[i].shape[1], fused_pyramid[i].shape[0]) fused_img cv2.pyrUp(fused_img, dstsizesize) fused_img cv2.add(fused_img, fused_pyramid[i]) return fused_img这种方法的关键优势在于能够在不同尺度上选择信息量更大的区域更好地保留边缘和细节信息对图像配准误差有一定的容忍度3. 高级融合技术实现3.1 基于离散小波变换的融合小波变换是图像融合中常用的多尺度分析方法能够同时在空间和频率域处理图像。def wavelet_fusion(rgb_img, ir_img, waveletdb1, level3): 基于小波变换的图像融合 :param rgb_img: 可见光图像 (BGR格式) :param ir_img: 红外图像 (单通道) :param wavelet: 小波基类型 :param level: 分解层数 :return: 融合后的图像 import pywt # 将RGB图像转换为YCrCb色彩空间 ycrcb cv2.cvtColor(rgb_img, cv2.COLOR_BGR2YCrCb) y_channel ycrcb[:,:,0].astype(np.float32) # 对Y通道和红外图像进行小波分解 coeffs_rgb pywt.wavedec2(y_channel, wavelet, levellevel) coeffs_ir pywt.wavedec2(ir_img.astype(np.float32), wavelet, levellevel) # 融合规则低频取平均高频取绝对值最大 fused_coeffs [] for (cA_rgb, (cH_rgb, cV_rgb, cD_rgb)), (cA_ir, (cH_ir, cV_ir, cD_ir)) in zip(coeffs_rgb, coeffs_ir): # 低频系数取平均 cA (cA_rgb cA_ir) / 2 # 高频系数取绝对值大的 cH np.where(np.abs(cH_rgb) np.abs(cH_ir), cH_rgb, cH_ir) cV np.where(np.abs(cV_rgb) np.abs(cV_ir), cV_rgb, cV_ir) cD np.where(np.abs(cD_rgb) np.abs(cD_ir), cD_rgb, cD_ir) fused_coeffs.append((cA, (cH, cV, cD))) # 小波重构 fused_y pywt.waverec2(fused_coeffs, wavelet) # 将融合后的Y通道与原始CrCb通道合并 ycrcb[:,:,0] np.clip(fused_y, 0, 255).astype(np.uint8) fused_img cv2.cvtColor(ycrcb, cv2.COLOR_YCrCb2BGR) return fused_img小波融合的关键参数选择参数可选值推荐值影响小波基haar, db1-db20, sym2-sym20db4影响分解的稀疏性和计算效率分解层数1-53层数越多计算量越大但能捕捉更多尺度特征融合规则平均、最大、区域能量等最大绝对值直接影响融合质量和特征保留3.2 基于深度学习的融合方法虽然本文主要关注传统方法但了解深度学习在图像融合中的应用也很重要。以下是使用预训练模型的简化示例def deep_learning_fusion(rgb_img, ir_img, model_pathfusion_model.h5): 基于深度学习的图像融合 (简化示例) :param rgb_img: 可见光图像 (BGR格式) :param ir_img: 红外图像 (单通道) :param model_path: 预训练模型路径 :return: 融合后的图像 from tensorflow.keras.models import load_model # 预处理输入图像 rgb_input cv2.resize(rgb_img, (256, 256)) / 255.0 ir_input cv2.resize(ir_img, (256, 256)) ir_input np.expand_dims(ir_input, axis-1) / 255.0 # 加载预训练模型 model load_model(model_path) # 预测融合图像 fused model.predict([np.expand_dims(rgb_input, 0), np.expand_dims(ir_input, 0)]) # 后处理 fused_img (fused[0] * 255).astype(np.uint8) fused_img cv2.resize(fused_img, (rgb_img.shape[1], rgb_img.shape[0])) return fused_img深度学习方法的优势与挑战优势能够自动学习复杂的融合规则对图像配准误差有更好的鲁棒性可以端到端优化特定任务的融合效果挑战需要大量训练数据计算资源需求较高模型可解释性较差4. 结果可视化与性能评估4.1 可视化对比为了直观比较不同融合方法的效果我们可以使用以下代码生成对比图def visualize_comparison(original_rgb, original_ir, fused_images, titles): 可视化原始图像和融合结果 :param original_rgb: 原始可见光图像 :param original_ir: 原始红外图像 :param fused_images: 融合结果列表 :param titles: 各融合方法的标题列表 import matplotlib.pyplot as plt plt.figure(figsize(15, 10)) # 显示原始图像 plt.subplot(2, 2, 1) plt.imshow(cv2.cvtColor(original_rgb, cv2.COLOR_BGR2RGB)) plt.title(Visible Image) plt.axis(off) plt.subplot(2, 2, 2) plt.imshow(original_ir, cmapgray) plt.title(Infrared Image) plt.axis(off) # 显示融合结果 for i, (img, title) in enumerate(zip(fused_images, titles), 3): plt.subplot(2, 2, i) plt.imshow(cv2.cvtColor(img, cv2.COLOR_BGR2RGB)) plt.title(title) plt.axis(off) plt.tight_layout() plt.show()4.2 客观评价指标除了主观视觉评估我们还可以计算一些客观指标来量化融合质量def evaluate_fusion(original_rgb, original_ir, fused_img): 计算融合图像的评价指标 :param original_rgb: 原始可见光图像 :param original_ir: 原始红外图像 :param fused_img: 融合图像 :return: 评价指标字典 # 将图像转换为灰度 gray_rgb cv2.cvtColor(original_rgb, cv2.COLOR_BGR2GRAY) gray_fused cv2.cvtColor(fused_img, cv2.COLOR_BGR2GRAY) # 计算互信息(MI) def mutual_info(hgram): pxy hgram / float(np.sum(hgram)) px np.sum(pxy, axis1) py np.sum(pxy, axis0) px_py px[:, None] * py[None, :] nzs pxy 0 return np.sum(pxy[nzs] * np.log(pxy[nzs] / px_py[nzs])) hist_2d_rgb, _, _ np.histogram2d(gray_rgb.ravel(), gray_fused.ravel(), bins20) mi_rgb mutual_info(hist_2d_rgb) hist_2d_ir, _, _ np.histogram2d(original_ir.ravel(), gray_fused.ravel(), bins20) mi_ir mutual_info(hist_2d_ir) mi_total mi_rgb mi_ir # 计算结构相似性(SSIM) from skimage.metrics import structural_similarity as ssim ssim_rgb ssim(gray_rgb, gray_fused, data_range255) ssim_ir ssim(original_ir, gray_fused, data_range255) # 计算边缘保持度(EPI) def calculate_epi(original, fused): sobel_original cv2.Sobel(original, cv2.CV_64F, 1, 1, ksize3) sobel_fused cv2.Sobel(fused, cv2.CV_64F, 1, 1, ksize3) return np.sum(sobel_fused * sobel_original) / np.sum(sobel_original**2) epi_rgb calculate_epi(gray_rgb, gray_fused) epi_ir calculate_epi(original_ir, gray_fused) return { Mutual_Information: mi_total, SSIM_RGB: ssim_rgb, SSIM_IR: ssim_ir, EPI_RGB: epi_rgb, EPI_IR: epi_ir }常见评价指标的含义指标名称计算方式理想值物理意义互信息(MI)衡量两幅图像间的统计依赖性越大越好反映融合图像从源图像中保留的信息量结构相似性(SSIM)比较图像结构信息相似度1为最佳评估融合图像与源图像的结构相似性边缘保持度(EPI)计算边缘信息的保留程度1为最佳反映融合图像对源图像边缘特征的保持能力5. 工具封装与实用技巧5.1 将融合工具封装为类为了更方便地使用这些融合方法我们可以将它们封装成一个Python类class ImageFusionTool: def __init__(self): self.methods { weighted_average: self.weighted_average_fusion, laplacian_pyramid: self.laplacian_pyramid_fusion, wavelet: self.wavelet_fusion } def fuse(self, rgb_img, ir_img, methodlaplacian_pyramid, **kwargs): 图像融合入口函数 :param rgb_img: 可见光图像路径或numpy数组 :param ir_img: 红外图像路径或numpy数组 :param method: 融合方法名称 :param kwargs: 各融合方法的参数 :return: 融合后的图像 # 加载图像 if isinstance(rgb_img, str): rgb_img cv2.imread(rgb_img) if isinstance(ir_img, str): ir_img cv2.imread(ir_img, cv2.IMREAD_GRAYSCALE) # 检查图像尺寸 assert rgb_img.shape[:2] ir_img.shape[:2], 图像尺寸不匹配 # 执行融合 if method not in self.methods: raise ValueError(f不支持的融合方法可选: {list(self.methods.keys())}) return self.methods[method](rgb_img, ir_img, **kwargs) # 之前实现的各种融合方法可以作为类方法放在这里...5.2 实用技巧与优化建议在实际应用中有几个技巧可以显著提升融合效果图像预处理对红外图像进行直方图均衡化可以增强热对比度对可见光图像进行去噪处理可以减少融合噪声def preprocess_images(rgb_img, ir_img): # 可见光图像去噪 rgb_processed cv2.fastNlMeansDenoisingColored(rgb_img, None, 10, 10, 7, 21) # 红外图像直方图均衡化 ir_processed cv2.equalizeHist(ir_img) return rgb_processed, ir_processed参数自动优化 可以编写一个简单的参数搜索函数自动寻找最佳融合参数def optimize_fusion_params(rgb_img, ir_img, methodweighted_average): best_score -1 best_params {} best_result None if method weighted_average: for alpha in np.linspace(0.1, 0.9, 9): fused weighted_average_fusion(rgb_img, ir_img, alphaalpha) metrics evaluate_fusion(rgb_img, ir_img, fused) score metrics[Mutual_Information] if score best_score: best_score score best_params {alpha: alpha} best_result fused # 其他方法的参数优化可以类似实现 return best_result, best_params, best_score批处理与性能优化 当需要处理大量图像时可以考虑以下优化使用多线程/多进程并行处理将图像调整为适当大小平衡速度和质量对OpenCV操作使用UMat加速from concurrent.futures import ThreadPoolExecutor def batch_fusion(rgb_paths, ir_paths, methodlaplacian_pyramid, workers4): 批量图像融合 :param rgb_paths: 可见光图像路径列表 :param ir_paths: 红外图像路径列表 :param method: 融合方法 :param workers: 线程数 :return: 融合结果列表 tool ImageFusionTool() def process_pair(rgb_path, ir_path): return tool.fuse(rgb_path, ir_path, methodmethod) with ThreadPoolExecutor(max_workersworkers) as executor: results list(executor.map(process_pair, rgb_paths, ir_paths)) return results
