BJTU计算机视觉期末突击3天搞定必考12大核心考点附高频错题解析计算机视觉作为人工智能领域的重要分支在BJTU的课程体系中占据着关键位置。面对期末考试的紧迫时间如何高效掌握核心知识点成为每位学生的首要任务。本文将聚焦12个最高频考点通过概念解析典型错题实战技巧的三维模式帮助你在短时间内构建完整的知识框架。1. 图像滤波的三种定义方式解析图像滤波作为计算机视觉的基础操作其三种定义方式——相关、卷积和内积——常被混淆。理解它们的本质差异是解决后续问题的关键。相关运算的实质是模板匹配过程。当我们在图像上滑动滤波器时每个位置的输出值反映了滤波器与局部图像区域的相似程度。具体计算时滤波器与对应图像区域逐元素相乘后求和。这种操作在目标检测中尤为重要例如在Haar特征检测中就用到了类似原理。常见误区误认为相关运算需要考虑滤波器翻转忽略了边界处理对结果的影响混淆了相关与卷积的数学表达形式卷积运算在数学定义上需要先将滤波器旋转180度再进行相关操作。但在实际图像处理中我们通常直接设计好最终需要的滤波器因此很少显式进行旋转步骤。这一点在理解卷积神经网络(CNN)的卷积层时尤为重要。记忆口诀相关直接乘卷积先翻转内积变向量结果标量见内积运算将二维矩阵展开为一维向量后进行点积操作。这种视角在理解全连接层时特别有用。例如当我们将卷积层的输出展平后送入全连接层时本质上就是在进行一系列内积运算。三种运算的对比运算类型数学表达是否需要翻转输出形式典型应用场景相关∑(F·I)否矩阵模板匹配卷积F*I是矩阵特征提取内积F·I否标量相似度计算2. 图像滤波的三大应用场景实战图像滤波不仅仅是理论概念在实际应用中展现出强大威力。深入理解其应用场景能帮助我们在解题时快速定位解决方法。2.1 模板匹配的工程实践模板匹配的核心思想是通过滑动窗口比较找到与模板最相似的区域。在实际考试中常出现关于匹配指标选择的问题# 模板匹配的典型实现 import cv2 import numpy as np def template_matching(image, template): # 转换为灰度图像 gray_img cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) gray_tpl cv2.cvtColor(template, cv2.COLOR_BGR2GRAY) # 执行模板匹配 result cv2.matchTemplate(gray_img, gray_tpl, cv2.TM_CCOEFF_NORMED) # 获取最佳匹配位置 min_val, max_val, min_loc, max_loc cv2.minMaxLoc(result) return max_loc, max_val高频错题解析题目要求比较不同匹配方法的优缺点很多同学只列出方法名称而忽略了关键点TM_SQDIFF平方差匹配法最佳匹配结果为0TM_CCORR相关匹配法数值越大匹配越好TM_CCOEFF相关系数匹配法对光照变化鲁棒2.2 图像增强的技术细节图像增强包含平滑和锐化两个对立面考试中常要求设计特定效果的滤波器。高斯平滑滤波器的参数设置是关键考点σ决定平滑程度σ越大平滑效果越强核尺寸通常取6σ1保证覆盖主要能量区域分离性可分解为两个一维卷积提升计算效率边缘锐化的典型错题是混淆一阶和二阶微分算子一阶算子如Sobel对噪声敏感但边缘较粗二阶算子如Laplacian对噪声更敏感但边缘更细组合方法LoG先高斯平滑再Laplacian平衡噪声和边缘检测2.3 特征提取的算法选择不同特征需要不同的滤波策略这是考试中的高频分析题边缘特征使用高斯偏导核一阶偏导检测边缘位置二阶偏导确定边缘极性角点特征使用Harris算子基于自相关矩阵的特征值分析对旋转具有不变性斑点特征使用LoG滤波器通过尺度选择检测不同大小斑点3. 高斯滤波器的参数设计与尺度空间高斯滤波器是计算机视觉中的核心工具其参数设置直接影响处理效果。考试中常出现理论推导和实际应用结合的题目。3.1 高斯核的数学本质高斯核服从正态分布其3σ原则决定了有效支撑区域。当σ相同时增大核尺寸对结果影响有限因为数学上高斯平滑相当于加权平均超出3σ的区域贡献可以忽略积分结果在6σ时已趋于稳定典型计算题给定σ1.5计算合适的滤波器尺寸滤波器宽度 2 × ceil(3σ) 1 2 × ceil(4.5) 1 2 × 5 1 113.2 高斯偏导核的设计原理高斯偏导核巧妙结合了平滑和微分操作去噪阶段高斯核平滑图像抑制噪声边缘提取偏导操作突出灰度变化区域计算优势利用导数定理合并为单一卷积数学表达式G_x(x,y) (∂/∂x)G(x,y) (-x/σ²)G(x,y)考试技巧当题目要求解释为什么高斯偏导核能同时去噪和检测边缘时应从卷积结合律和导数定理两个角度回答。4. Canny边缘检测的完整流程Canny算法作为边缘检测的金标准其每个步骤都可能是考点。理解设计原理比记忆步骤更重要。4.1 非极大值抑制的实现细节非极大值抑制(NMS)是保证边缘单像素宽度的关键步骤考试中常要求比较不同实现方法方法优点缺点适用场景角度量化实现简单计算快精度较低实时系统线性插值结果更精确计算复杂度较高高精度要求的场合代码实现片段def non_max_suppression(grad_mag, grad_dir): rows, cols grad_mag.shape result np.zeros_like(grad_mag) for i in range(1, rows-1): for j in range(1, cols-1): angle grad_dir[i,j] # 角度量化到0,45,90,135度 if (0 angle 22.5) or (157.5 angle 180): neighbors [grad_mag[i,j-1], grad_mag[i,j1]] elif 22.5 angle 67.5: neighbors [grad_mag[i-1,j1], grad_mag[i1,j-1]] elif 67.5 angle 112.5: neighbors [grad_mag[i-1,j], grad_mag[i1,j]] else: neighbors [grad_mag[i-1,j-1], grad_mag[i1,j1]] if grad_mag[i,j] max(neighbors): result[i,j] grad_mag[i,j] return result4.2 双阈值设计的科学依据双阈值机制解决了边缘连接性和噪声抑制的矛盾高阈值(strong edge)确保真实边缘的可靠性低阈值(weak edge)保留可能的边缘片段连接性检查弱边缘只有与强边缘连接才保留记忆技巧将双阈值类比于河流系统—主流(强边缘)必须保留支流(弱边缘)只有连接到主流才有意义。5. 滤波器组的组成与应用场景理解不同滤波器的设计目的和应用场景是解决综合题的关键。考试常要求分析给定场景下的滤波器选择。5.1 典型滤波器对比分析滤波器类型数学形式主要用途视觉特征典型参数高斯滤波器G(x,y,σ)图像平滑斑点检测σ1-3LoG∇²G(x,y,σ)边缘/斑点检测过零检测σ1-2DoGG(x,y,kσ)-G(x,y,σ)近似LoG尺度空间构建k√2高斯偏导∂G/∂x, ∂G/∂y边缘检测梯度方向σ1-25.2 滤波器选择的实战策略面对具体问题时可按以下步骤选择滤波器确定特征类型边缘、角点还是斑点考虑噪声水平高噪声需先平滑分析尺度需求大尺度特征需要更大σ评估计算效率可分离滤波器优先案例在医学图像中检测微小钙化点应选择小σ的LoG滤波器因为钙化点是小尺度斑点特征需要精确的定位对噪声有一定容忍度6. Harris角点检测的数学原理Harris角点检测器是传统视觉中最重要的特征检测方法之一其数学推导常是考试难点。6.1 自相关矩阵的物理意义Harris算子的核心是构建自相关矩阵MM ∑[Ix² IxIy; IxIy Iy²]其中Ix和Iy是图像梯度。M的特征值(λ1,λ2)反映了局部图像结构λ1≈λ2≈0平坦区域λ1λ2≈0边缘λ1≈λ20角点简化记忆通过R值判断特征类型R det(M) - k·trace(M)²R0角点R0边缘|R|≈0平坦区域6.2 实际应用中的参数调整Harris检测器的效果受以下参数影响窗口大小决定考虑邻域的范围k值通常取0.04-0.06影响角点数量非极大值抑制半径控制角点密度典型错题忽略非极大值抑制步骤导致角点聚集。正确做法是在计算R值后只保留局部极大值点。7. 尺度空间与自动尺度选择尺度不变性是许多视觉应用的关键要求理解尺度空间构建原理至关重要。7.1 高斯金字塔的构建技巧构建高斯金字塔时的计算优化策略组内尺度递进利用卷积的可结合性G(x,y,kσ) G(x,y,σ) * G(x,y,√(k²-1)σ)组间降采样每组的底层图像由前组倒数第三层降采样得到DoG近似LoG大幅减少计算量保持检测精度记忆要点金字塔的每组(Octave)代表一个倍频程组内图像通过σ逐渐增加的高斯模糊得到。7.2 自动尺度选择的实现自动尺度选择通过寻找LoG响应的极值点实现在不同尺度σ下计算LoG响应在尺度-空间三维空间中寻找局部极值极值点对应的σ即为特征的特征尺度物理意义当LoG的过零点与信号特征对齐时响应达到最大此时σ与特征尺寸匹配。8. SIFT特征描述子的生成过程SIFT(尺度不变特征变换)是传统视觉中最强大的特征描述方法其生成过程包含多个关键步骤。8.1 关键点方向分配方向分配通过梯度方向直方图实现以关键点为中心取半径1.5σ的区域计算区域内各点的梯度幅值和方向将方向量化为36柱(每柱10度)的直方图峰值方向作为主方向大于80%峰值的次峰也保留关键细节高斯加权离中心越近的点权重越大三线性插值提高方向分配精度多方向处理增强旋转不变性8.2 描述子生成步骤描述子生成将局部外观编码为128维向量将关键点邻域划分为4×4子区域每个子区域计算8方向梯度直方图所有子区域直方图串联形成128维向量归一化处理增强光照不变性# SIFT描述子生成伪代码 def generate_descriptor(keypoint, image): # 根据关键点尺度确定邻域大小 scale keypoint.scale x, y keypoint.pt # 旋转至主方向 rotated_patch rotate_region(image, x, y, scale, keypoint.angle) # 划分4x4网格 descriptor [] for i in range(4): for j in range(4): # 计算8方向梯度直方图 hist compute_gradient_histogram(rotated_patch, i, j) descriptor.extend(hist) # 归一化处理 descriptor normalize(descriptor) return descriptor9. 从R-CNN到Faster R-CNN的演进脉络目标检测算法的演进是考试重点需要理解各代方法的改进动机和技术细节。9.1 R-CNN的局限性分析原始R-CNN的主要问题计算冗余每个候选区域独立通过CNN存储开销大需要保存所有区域的特征训练复杂分多阶段训练(SVM回归)改进方向共享卷积计算端到端训练统一特征表示9.2 Fast R-CNN的关键创新Fast R-CNN通过两项创新大幅提升效率RoI Pooling将不同大小的候选区域映射为固定尺寸特征图将区域划分为固定网格(如7×7)在每个网格内进行最大池化多任务损失联合优化分类和边界框回归性能对比指标R-CNNFast R-CNN提升幅度训练时间84小时9小时9.3倍检测速度50秒/图0.5秒/图100倍mAP58.5%66.9%8.4%9.3 Faster R-CNN的突破性设计Faster R-CNN引入区域提议网络(RPN)实现端到端检测RPN结构在特征图上滑动窗口每个位置预测k个锚框的物体性和边界偏移使用二分类(前景/背景)和回归损失锚框设计预设不同尺度和长宽比的基准框典型配置3尺度×3长宽比9锚框/位置训练策略交替训练RPN和检测网络共享卷积特征减少计算量考试重点理解RPN如何通过锚框二分类回归的联合预测替代传统的选择性搜索。10. 非极大值抑制(NMS)的算法细节NMS是目标检测后处理的关键步骤其实现细节常被考察。10.1 标准NMS流程按置信度排序所有检测框选择最高分检测框加入最终结果计算与其他框的IoU移除重叠高的框重复直到所有框都被处理def nms(detections, iou_threshold0.5): # detections格式[x1,y1,x2,y2,score,class] if len(detections) 0: return [] # 按分数降序排序 detections sorted(detections, keylambda x: x[4], reverseTrue) keep [] while detections: # 取当前最高分检测 best detections.pop(0) keep.append(best) # 计算与剩余检测的IoU suppress [] for i, det in enumerate(detections): iou compute_iou(best[:4], det[:4]) if iou iou_threshold: suppress.append(i) # 移除被抑制的检测 for idx in sorted(suppress, reverseTrue): detections.pop(idx) return keep10.2 NMS的变体与改进不同场景下可能需要调整NMS策略变体名称核心思想适用场景优缺点软NMS按IoU降低分数而非直接移除密集物体检测减少漏检计算量稍高自适应NMS动态调整IoU阈值不同密度区域共存时更灵活实现复杂类感知NMS按类别分别执行NMS多类别检测避免跨类别抑制考试技巧当题目描述密集小物体检测效果不佳时应考虑使用软NMS改进方案。11. 评价指标PR曲线与AP计算准确评估检测性能是算法比较的基础PR曲线和AP的计算过程常是考试重点。11.1 PR曲线的绘制步骤按置信度排序所有检测结果依次判断每个检测的真阳性(TP)/假阳性(FP)计算累积的精确率和召回率精确率 TP / (TP FP)召回率 TP / 总正样本数绘制Precision-Recall曲线关键点每个检测只能匹配一个GT且IoU阈值一旦匹配该GT不能被再次匹配未被任何检测匹配的GT计入FN11.2 AP的计算方法平均精度(AP)是PR曲线下的面积常用两种计算方式11点插值法在11个召回率点(0,0.1,...,1)取最大精确率求这些精确率的平均值全点插值法在每个召回率变化点取右侧最大精确率计算曲线下面积典型错题混淆AP与mAP。AP是单类别指标mAP是所有类别AP的平均值。12. 现代卷积神经网络的设计哲学深入理解CNN架构设计原理能够应对考试中的网络分析题。12.1 小卷积核的优势分析使用堆叠的小卷积核(如3×3)替代大卷积核的多重好处参数效率两个3×3卷积的参数2×(3×3×C×C)18C²一个5×5卷积的参数5×5×C×C25C²参数减少28%非线性增强每层后接ReLU激活两个3×3卷积带来两次非线性变换感受野等效两个3×3卷积的感受野为5×5三个3×3卷积的感受野为7×712.2 残差连接的设计动机残差网络(ResNet)解决了深度网络的退化问题恒等映射通过快捷连接实现y F(x) x梯度传播缓解梯度消失网络深度可轻松扩展到100层考试重点当题目描述增加层数导致精度下降时应优先考虑引入残差连接。12.3 1×1卷积的多重作用看似简单的1×1卷积实际非常强大降维/升维通过控制滤波器数量调整通道数增加非线性配合ReLU引入更多变换跨通道信息整合实现通道间的加权组合应用案例Inception模块中大量使用1×1卷积来降低计算成本同时保持网络表达能力。
BJTU计算机视觉期末突击：3天搞定必考12大核心考点（附高频错题解析）
发布时间：2026/6/23 17:19:07
BJTU计算机视觉期末突击3天搞定必考12大核心考点附高频错题解析计算机视觉作为人工智能领域的重要分支在BJTU的课程体系中占据着关键位置。面对期末考试的紧迫时间如何高效掌握核心知识点成为每位学生的首要任务。本文将聚焦12个最高频考点通过概念解析典型错题实战技巧的三维模式帮助你在短时间内构建完整的知识框架。1. 图像滤波的三种定义方式解析图像滤波作为计算机视觉的基础操作其三种定义方式——相关、卷积和内积——常被混淆。理解它们的本质差异是解决后续问题的关键。相关运算的实质是模板匹配过程。当我们在图像上滑动滤波器时每个位置的输出值反映了滤波器与局部图像区域的相似程度。具体计算时滤波器与对应图像区域逐元素相乘后求和。这种操作在目标检测中尤为重要例如在Haar特征检测中就用到了类似原理。常见误区误认为相关运算需要考虑滤波器翻转忽略了边界处理对结果的影响混淆了相关与卷积的数学表达形式卷积运算在数学定义上需要先将滤波器旋转180度再进行相关操作。但在实际图像处理中我们通常直接设计好最终需要的滤波器因此很少显式进行旋转步骤。这一点在理解卷积神经网络(CNN)的卷积层时尤为重要。记忆口诀相关直接乘卷积先翻转内积变向量结果标量见内积运算将二维矩阵展开为一维向量后进行点积操作。这种视角在理解全连接层时特别有用。例如当我们将卷积层的输出展平后送入全连接层时本质上就是在进行一系列内积运算。三种运算的对比运算类型数学表达是否需要翻转输出形式典型应用场景相关∑(F·I)否矩阵模板匹配卷积F*I是矩阵特征提取内积F·I否标量相似度计算2. 图像滤波的三大应用场景实战图像滤波不仅仅是理论概念在实际应用中展现出强大威力。深入理解其应用场景能帮助我们在解题时快速定位解决方法。2.1 模板匹配的工程实践模板匹配的核心思想是通过滑动窗口比较找到与模板最相似的区域。在实际考试中常出现关于匹配指标选择的问题# 模板匹配的典型实现 import cv2 import numpy as np def template_matching(image, template): # 转换为灰度图像 gray_img cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) gray_tpl cv2.cvtColor(template, cv2.COLOR_BGR2GRAY) # 执行模板匹配 result cv2.matchTemplate(gray_img, gray_tpl, cv2.TM_CCOEFF_NORMED) # 获取最佳匹配位置 min_val, max_val, min_loc, max_loc cv2.minMaxLoc(result) return max_loc, max_val高频错题解析题目要求比较不同匹配方法的优缺点很多同学只列出方法名称而忽略了关键点TM_SQDIFF平方差匹配法最佳匹配结果为0TM_CCORR相关匹配法数值越大匹配越好TM_CCOEFF相关系数匹配法对光照变化鲁棒2.2 图像增强的技术细节图像增强包含平滑和锐化两个对立面考试中常要求设计特定效果的滤波器。高斯平滑滤波器的参数设置是关键考点σ决定平滑程度σ越大平滑效果越强核尺寸通常取6σ1保证覆盖主要能量区域分离性可分解为两个一维卷积提升计算效率边缘锐化的典型错题是混淆一阶和二阶微分算子一阶算子如Sobel对噪声敏感但边缘较粗二阶算子如Laplacian对噪声更敏感但边缘更细组合方法LoG先高斯平滑再Laplacian平衡噪声和边缘检测2.3 特征提取的算法选择不同特征需要不同的滤波策略这是考试中的高频分析题边缘特征使用高斯偏导核一阶偏导检测边缘位置二阶偏导确定边缘极性角点特征使用Harris算子基于自相关矩阵的特征值分析对旋转具有不变性斑点特征使用LoG滤波器通过尺度选择检测不同大小斑点3. 高斯滤波器的参数设计与尺度空间高斯滤波器是计算机视觉中的核心工具其参数设置直接影响处理效果。考试中常出现理论推导和实际应用结合的题目。3.1 高斯核的数学本质高斯核服从正态分布其3σ原则决定了有效支撑区域。当σ相同时增大核尺寸对结果影响有限因为数学上高斯平滑相当于加权平均超出3σ的区域贡献可以忽略积分结果在6σ时已趋于稳定典型计算题给定σ1.5计算合适的滤波器尺寸滤波器宽度 2 × ceil(3σ) 1 2 × ceil(4.5) 1 2 × 5 1 113.2 高斯偏导核的设计原理高斯偏导核巧妙结合了平滑和微分操作去噪阶段高斯核平滑图像抑制噪声边缘提取偏导操作突出灰度变化区域计算优势利用导数定理合并为单一卷积数学表达式G_x(x,y) (∂/∂x)G(x,y) (-x/σ²)G(x,y)考试技巧当题目要求解释为什么高斯偏导核能同时去噪和检测边缘时应从卷积结合律和导数定理两个角度回答。4. Canny边缘检测的完整流程Canny算法作为边缘检测的金标准其每个步骤都可能是考点。理解设计原理比记忆步骤更重要。4.1 非极大值抑制的实现细节非极大值抑制(NMS)是保证边缘单像素宽度的关键步骤考试中常要求比较不同实现方法方法优点缺点适用场景角度量化实现简单计算快精度较低实时系统线性插值结果更精确计算复杂度较高高精度要求的场合代码实现片段def non_max_suppression(grad_mag, grad_dir): rows, cols grad_mag.shape result np.zeros_like(grad_mag) for i in range(1, rows-1): for j in range(1, cols-1): angle grad_dir[i,j] # 角度量化到0,45,90,135度 if (0 angle 22.5) or (157.5 angle 180): neighbors [grad_mag[i,j-1], grad_mag[i,j1]] elif 22.5 angle 67.5: neighbors [grad_mag[i-1,j1], grad_mag[i1,j-1]] elif 67.5 angle 112.5: neighbors [grad_mag[i-1,j], grad_mag[i1,j]] else: neighbors [grad_mag[i-1,j-1], grad_mag[i1,j1]] if grad_mag[i,j] max(neighbors): result[i,j] grad_mag[i,j] return result4.2 双阈值设计的科学依据双阈值机制解决了边缘连接性和噪声抑制的矛盾高阈值(strong edge)确保真实边缘的可靠性低阈值(weak edge)保留可能的边缘片段连接性检查弱边缘只有与强边缘连接才保留记忆技巧将双阈值类比于河流系统—主流(强边缘)必须保留支流(弱边缘)只有连接到主流才有意义。5. 滤波器组的组成与应用场景理解不同滤波器的设计目的和应用场景是解决综合题的关键。考试常要求分析给定场景下的滤波器选择。5.1 典型滤波器对比分析滤波器类型数学形式主要用途视觉特征典型参数高斯滤波器G(x,y,σ)图像平滑斑点检测σ1-3LoG∇²G(x,y,σ)边缘/斑点检测过零检测σ1-2DoGG(x,y,kσ)-G(x,y,σ)近似LoG尺度空间构建k√2高斯偏导∂G/∂x, ∂G/∂y边缘检测梯度方向σ1-25.2 滤波器选择的实战策略面对具体问题时可按以下步骤选择滤波器确定特征类型边缘、角点还是斑点考虑噪声水平高噪声需先平滑分析尺度需求大尺度特征需要更大σ评估计算效率可分离滤波器优先案例在医学图像中检测微小钙化点应选择小σ的LoG滤波器因为钙化点是小尺度斑点特征需要精确的定位对噪声有一定容忍度6. Harris角点检测的数学原理Harris角点检测器是传统视觉中最重要的特征检测方法之一其数学推导常是考试难点。6.1 自相关矩阵的物理意义Harris算子的核心是构建自相关矩阵MM ∑[Ix² IxIy; IxIy Iy²]其中Ix和Iy是图像梯度。M的特征值(λ1,λ2)反映了局部图像结构λ1≈λ2≈0平坦区域λ1λ2≈0边缘λ1≈λ20角点简化记忆通过R值判断特征类型R det(M) - k·trace(M)²R0角点R0边缘|R|≈0平坦区域6.2 实际应用中的参数调整Harris检测器的效果受以下参数影响窗口大小决定考虑邻域的范围k值通常取0.04-0.06影响角点数量非极大值抑制半径控制角点密度典型错题忽略非极大值抑制步骤导致角点聚集。正确做法是在计算R值后只保留局部极大值点。7. 尺度空间与自动尺度选择尺度不变性是许多视觉应用的关键要求理解尺度空间构建原理至关重要。7.1 高斯金字塔的构建技巧构建高斯金字塔时的计算优化策略组内尺度递进利用卷积的可结合性G(x,y,kσ) G(x,y,σ) * G(x,y,√(k²-1)σ)组间降采样每组的底层图像由前组倒数第三层降采样得到DoG近似LoG大幅减少计算量保持检测精度记忆要点金字塔的每组(Octave)代表一个倍频程组内图像通过σ逐渐增加的高斯模糊得到。7.2 自动尺度选择的实现自动尺度选择通过寻找LoG响应的极值点实现在不同尺度σ下计算LoG响应在尺度-空间三维空间中寻找局部极值极值点对应的σ即为特征的特征尺度物理意义当LoG的过零点与信号特征对齐时响应达到最大此时σ与特征尺寸匹配。8. SIFT特征描述子的生成过程SIFT(尺度不变特征变换)是传统视觉中最强大的特征描述方法其生成过程包含多个关键步骤。8.1 关键点方向分配方向分配通过梯度方向直方图实现以关键点为中心取半径1.5σ的区域计算区域内各点的梯度幅值和方向将方向量化为36柱(每柱10度)的直方图峰值方向作为主方向大于80%峰值的次峰也保留关键细节高斯加权离中心越近的点权重越大三线性插值提高方向分配精度多方向处理增强旋转不变性8.2 描述子生成步骤描述子生成将局部外观编码为128维向量将关键点邻域划分为4×4子区域每个子区域计算8方向梯度直方图所有子区域直方图串联形成128维向量归一化处理增强光照不变性# SIFT描述子生成伪代码 def generate_descriptor(keypoint, image): # 根据关键点尺度确定邻域大小 scale keypoint.scale x, y keypoint.pt # 旋转至主方向 rotated_patch rotate_region(image, x, y, scale, keypoint.angle) # 划分4x4网格 descriptor [] for i in range(4): for j in range(4): # 计算8方向梯度直方图 hist compute_gradient_histogram(rotated_patch, i, j) descriptor.extend(hist) # 归一化处理 descriptor normalize(descriptor) return descriptor9. 从R-CNN到Faster R-CNN的演进脉络目标检测算法的演进是考试重点需要理解各代方法的改进动机和技术细节。9.1 R-CNN的局限性分析原始R-CNN的主要问题计算冗余每个候选区域独立通过CNN存储开销大需要保存所有区域的特征训练复杂分多阶段训练(SVM回归)改进方向共享卷积计算端到端训练统一特征表示9.2 Fast R-CNN的关键创新Fast R-CNN通过两项创新大幅提升效率RoI Pooling将不同大小的候选区域映射为固定尺寸特征图将区域划分为固定网格(如7×7)在每个网格内进行最大池化多任务损失联合优化分类和边界框回归性能对比指标R-CNNFast R-CNN提升幅度训练时间84小时9小时9.3倍检测速度50秒/图0.5秒/图100倍mAP58.5%66.9%8.4%9.3 Faster R-CNN的突破性设计Faster R-CNN引入区域提议网络(RPN)实现端到端检测RPN结构在特征图上滑动窗口每个位置预测k个锚框的物体性和边界偏移使用二分类(前景/背景)和回归损失锚框设计预设不同尺度和长宽比的基准框典型配置3尺度×3长宽比9锚框/位置训练策略交替训练RPN和检测网络共享卷积特征减少计算量考试重点理解RPN如何通过锚框二分类回归的联合预测替代传统的选择性搜索。10. 非极大值抑制(NMS)的算法细节NMS是目标检测后处理的关键步骤其实现细节常被考察。10.1 标准NMS流程按置信度排序所有检测框选择最高分检测框加入最终结果计算与其他框的IoU移除重叠高的框重复直到所有框都被处理def nms(detections, iou_threshold0.5): # detections格式[x1,y1,x2,y2,score,class] if len(detections) 0: return [] # 按分数降序排序 detections sorted(detections, keylambda x: x[4], reverseTrue) keep [] while detections: # 取当前最高分检测 best detections.pop(0) keep.append(best) # 计算与剩余检测的IoU suppress [] for i, det in enumerate(detections): iou compute_iou(best[:4], det[:4]) if iou iou_threshold: suppress.append(i) # 移除被抑制的检测 for idx in sorted(suppress, reverseTrue): detections.pop(idx) return keep10.2 NMS的变体与改进不同场景下可能需要调整NMS策略变体名称核心思想适用场景优缺点软NMS按IoU降低分数而非直接移除密集物体检测减少漏检计算量稍高自适应NMS动态调整IoU阈值不同密度区域共存时更灵活实现复杂类感知NMS按类别分别执行NMS多类别检测避免跨类别抑制考试技巧当题目描述密集小物体检测效果不佳时应考虑使用软NMS改进方案。11. 评价指标PR曲线与AP计算准确评估检测性能是算法比较的基础PR曲线和AP的计算过程常是考试重点。11.1 PR曲线的绘制步骤按置信度排序所有检测结果依次判断每个检测的真阳性(TP)/假阳性(FP)计算累积的精确率和召回率精确率 TP / (TP FP)召回率 TP / 总正样本数绘制Precision-Recall曲线关键点每个检测只能匹配一个GT且IoU阈值一旦匹配该GT不能被再次匹配未被任何检测匹配的GT计入FN11.2 AP的计算方法平均精度(AP)是PR曲线下的面积常用两种计算方式11点插值法在11个召回率点(0,0.1,...,1)取最大精确率求这些精确率的平均值全点插值法在每个召回率变化点取右侧最大精确率计算曲线下面积典型错题混淆AP与mAP。AP是单类别指标mAP是所有类别AP的平均值。12. 现代卷积神经网络的设计哲学深入理解CNN架构设计原理能够应对考试中的网络分析题。12.1 小卷积核的优势分析使用堆叠的小卷积核(如3×3)替代大卷积核的多重好处参数效率两个3×3卷积的参数2×(3×3×C×C)18C²一个5×5卷积的参数5×5×C×C25C²参数减少28%非线性增强每层后接ReLU激活两个3×3卷积带来两次非线性变换感受野等效两个3×3卷积的感受野为5×5三个3×3卷积的感受野为7×712.2 残差连接的设计动机残差网络(ResNet)解决了深度网络的退化问题恒等映射通过快捷连接实现y F(x) x梯度传播缓解梯度消失网络深度可轻松扩展到100层考试重点当题目描述增加层数导致精度下降时应优先考虑引入残差连接。12.3 1×1卷积的多重作用看似简单的1×1卷积实际非常强大降维/升维通过控制滤波器数量调整通道数增加非线性配合ReLU引入更多变换跨通道信息整合实现通道间的加权组合应用案例Inception模块中大量使用1×1卷积来降低计算成本同时保持网络表达能力。
