计算机视觉基础复习

第一章PPT

P11 什么是计算机视觉

采用计算机实现人类视觉功能，让计算机理解图像和视频。

P12 计算机视觉与图像处理的区别

?数字图像处理

图像/视频-> 图像/视频（图像变换、图像滤波、图像复原、图像压缩、…）?计算机视觉

图像/视频-> 模型（二维基素图-> 2.5维要素图-> 三维模型表征）

P14-20 计算机视觉中存在哪些难点和挑战

挑战：外观、大小和形状；复杂姿态/运动；复杂和不可预测的行为；噪声和遮挡；外观变化；上下文间依赖性；视点变化

P23-28 图像中存在哪些计算机视觉线索

深度线索：直线透视；空间透视

远近顺序线索：遮挡

形状线索：纹理梯度

形状和光照线索：阴影

位置和光照线索：投影

P30-46 计算机视觉有哪些典型应用

OCR（光学字符识别）、智能交通、人脸检测、表情识别、多视点三维重建、基于视觉的生物识别、辅助驾驶、无人驾驶汽车、基于视觉的人机交互、智能机器人、工业机器人

P48 CCD/CMOS传感器的成像原理：光电转换

P49-54 采样与量化影响图像的哪些属性

采样影响图像空间分辨率；量化影响图像幅度分辨率（灰度）

P61 图像坐标系

左上角为坐标原点

P75-78

习题1.2 P19

答：计算机通过图像和视频对客观世界的感知、识别和理解；对场景进行解释和描述；根据对场景的解释和描述制定行为规划。

第三章PPT

P11 薄透镜成像模型

P17-21 射影几何中哪些物理信息丢失和保留了？

丢失信息：长度、角度

保留信息：直线特性、交比不变性

P22-24 灭点和灭线的概念

场景中的平行线投影到图像平面后，会聚于“灭点”

灭线：灭点的集合

P46-49 像机成像过程中包含了哪些内参和外参？

P51 像机标定的目的，思路和基本方法

? 目的：确定像机的内参和外参。

? 思路：通过一组已知世界坐标的图像特征点，建立超定方程求解。 ? 方法：最小二乘求解超定方程，寻找最优估计。 P63 径向畸变和切向畸变的概念

033310310001100101x p y T

X u f u Y z v f v Z γ???????????

????????=??????????????????????

R T 0

习题

第四章 PPT

P4-7 图像平移、尺度、旋转和级联变换

? 用矩阵乘实现级联变换

? 如图像依次进行平移、尺度和旋转变换，有

P14 最近邻插值 P16-18 双线性插值 P20-31 图像灰度映射

灰度映射原理

? 基于图像像素的点操作

? 映射函数

? 灰度映射的关键是根据增强要求设计映射函数

灰度映射：图像二值化、图像反色、动态范围压缩、对比度增强 P31-32 直方图的概念和意义，用已学过的数学原理进行解释 P40 直方图均衡计算

表4.3.1 L 为灰度级数（本例为8） -------------------------

原始图灰度级 0 1 2 3 4 5 6 7 原始直方图 0.02 0.05 0.09 0.12 0.14 0.2 0.22 0.16 累积直方图gf 0.02 0.07 0.16 0.28 0.42 0.62 0.84 1.0

四舍五入取整 0 0 1 2 3 4 6 7 注：int((L-1)*gf+0.5) 确定映射关系 0,1->0 2->1 3->2 4->3 5->4 6->6 7->7 新直方图 0.07 0.09 0.12 0.14 0.2 0 0.22 0.16 直方图均衡过程示例

111u u u v v v '??????

??????'=???=??????

????????????

R S T A

P52-66 模板滤波的概念和理解

?概念：利用像素本身以及其邻域像素的灰度关系进行图像增强的方法。

?理解：1.滤波取自信号处理中的概念；2.滤波是在图像空间通过邻域操作完成的；3.

邻域操作通常借助模板运算来实现

P69 中值滤波概念和基本步骤

?概念：选择局部窗口中亮度的中间值代替窗口中心像素

?步骤：

?将模板中心与图像中某像素位置重合

?读取模板下各对应像素的灰度值

?将这些灰度值从小到大排成一列

?找出这些灰度值里排在中间的一个

?将这个中间值赋给对应模板中心位置像素

?遍历图像中所有像素

P71 中值滤波与均值滤波的比较

中值滤波和线性滤波的区别：

1、中值滤波可有效消除突变，线性滤波总是响应所有的变化

2、中值滤波具有部分不连续保持特性，线性滤波会产生平滑过渡的效果

中值滤波和均值滤波的区别：

中值滤波器比均值滤波器更适合去除加性椒盐噪声

习题4.3 P75

?设用三角形代替下图中的四边形，建立与下式相对应的校正几何形变的空间变换式。

? 解: 以顶点为对应点，一个对应点可列出2个公式，因此三角形的三个顶点可列出6

个公式，最多求解6个几何形变参数，因此空间变换式为：

习题4.11 P76

? 将M 幅图像相加求平均可以获得消除噪声的效果，用一个n×n 的模板进行平滑滤波

也可获得消除噪声的效果, 试比较两种方法的消噪效果 ? M 幅图像相加求平均 时间轴上的平均

容易产生运动模糊(重影)

? n×n 模板的平滑滤波 空间上的平均

容易产生空间模糊(边缘模糊) 习题4.12 P76

? 讨论用于空间滤波的平滑滤波和锐化滤波的相同点、不同点以及联系

? 相同点：都能减弱或消除频域空间中的某些分量，而不影响或较少影响其它分量，

从而达到增强效果。

? 不同点：平滑滤波减弱或消除高频分量，增强低频分量，平滑图像中的细节信息。

锐化滤波减弱或消除低频分量，增强高频分量，锐化图像中细节信息。

? 联系：两者效果相反，互为补充；从原始图像中减去平滑滤波结果可得到锐化滤波

效果；而原始图像中减去锐化滤波结果可得到平滑滤波效果。

第五章 PPT

P4 为什么要边缘检测和边缘的成因

为什么要边缘检测：

? 提取信息，识别目标 ? 恢复几何和视点 边缘的成因：

曲面法线不连续、深度不连续、表面颜色不连续、亮度不连续 P10-21 用已学过的数学原理解释边缘检测的原理

? 一阶导数极值点对应的

是边缘位置，极值的正 或负表示边缘处是由暗 变亮还是由亮变暗。

? 二阶导数过零点来检测

图像中边缘的存在。

123456

x k x k y k y k x k y k '=++??

'=++?

P15 有哪些一阶导数算子？试写出其模板形式

Roberts梯度算子

Prewitt梯度算子（平均差分）

Sobel算子（加权平均差分）

各向同性Sobel算子：

将模板中的权值2改为√2，以使水平、垂直和对角边缘的梯度值相同。

P21 有哪些二阶导数算子？二阶导数算子会对噪声敏感，试解释原因

拉普拉斯算子、马尔算子

对噪声敏感原因：二阶导数在边缘处出现零交叉，即边缘点两边导数取异号，据此来检测边缘点。但很容易被噪声覆盖。

P28 Canny算子的最优检测准则

?最优边缘检测的含义是：

?好的检测-- 算法能标识图像中的实际边缘，避免噪声和虚假边缘干扰。

?好的定位-- 标识出的边缘与实际图像中的实际边缘尽可能接近。

?最小响应-- 对图像中的每个真实边缘点只有一个像素响应。

P41 什么是角点？角点有什么特性？

?可重复性／可再现性

同一角点应能在不同图像中检测出，不受几何和亮度等变化的影响?显著性

每个角点都是独特的

?局部性

特征描述的是图像中的一个局部小区域

P43 SUSAN角点检测的基本原理

?采用圆形模板

?统计模板中与模板核具有相同值的像素个数

?USAN面积随模板在图像中的位置变化

?利用USAN面积变化可检测边缘或角点。

?USAN面积在图像角点处具有最小值，故称为SUSAN。

P51 Hough变换的基本思想（投票）以及为什么要进行Hough变换

基本思想：

?通常用在边缘检测或特征点检测后。

?每个边缘点根据其可能的几何特征，投影到参数空间，通过投票方式确定参数值。

即票数最多的参数获胜。

为什么要进行Hough变换：

?视觉场景中许多目标都可通过直线、圆弧等规则几何特征来表述。Hough变换是获取规则几何特征的常用方法。

P55 Hough变换中参数空间的概念，试写出直线检测以及圆检测的参数空间采用(ρ,θ)表示图像空间中任意直线。

图像空间中一条直线在参数空间(ρ,θ)中为一个点。

参数空间(ρ,θ)也称为Hough空间

P68 Hough变换的优点

?对边缘不连续具有较好的容忍性

?对噪声干扰具有较好的鲁棒性

?对目标遮挡具有较好的抗干扰性

习题

第六章PPT

P2 目标分割的概念、目的、意义

?概念：将图像划分成若干具有特征一致性且互不重叠的图像区域的过程。

?目的：有选择性地定位感兴趣对象在图像中的位置和范围。

?意义：

1.区域对于图像理解和识别非常重要，往往表征场景中的目标，或部分目标。

2.一幅图像可以包含多个目标，每个目标包含多个区域，每个区域对应目标的不同

部分。

3.图像分割是将图像划分为一组有意义的区域。

P14 图像分割有哪些方法？基于哪些特征

?基于边缘的分割方法：

?先提取区域边界，再确定边界限定的区域；

?基于区域的分割方法：

?确定每个像素的归属区域，从而完成分割

?图像分割方法分类：

a）自动分割算法

–聚类方法

–基于边缘的方法

–区域融合和区域增长

–混合优化方法

b）交互式图像分割算法

–“Snake” 或“主动轮廓法”

–“魔棒” 或“魔笔”

?图像分割通常基于亮度、颜色、纹理、深度或运动。

P27 图搜索有哪些策略，以及各自特点

广度优先搜索特点：完备、可获得最优解，效率低

深度优先搜索特点：难以获得最优解、效率高、不易跳出无限深分支

P40 试用直方图的概念解释直方图分割的思想

?基本思想：根据图像数据的特征将图像空间划分为互不重叠的区域，从而达到分割的目的。

P45 最优阈值的分割思想

P52 最大类间方差(OTSU)的分割思想

寻找使得类间方差最大的阈值

习题6.10 P115

习题6.11 P115

一幅图像背景部分均值为20，方差为400，在背景上分布着一些互不重叠的均值为200，方差为400的小目标。设所有目标合起来约占图像总面积的30%，提出一个基于取阈值的分割算法将这些目标分割出。

根据最优阈值计算公式，并假设背景和目标的概率密度函数为高斯模型，且背景和目标

的方差相等：

第九章 PPT

P3-9 图像中包含了哪些深度线索？

阴影 纹理 遮挡 运动 模糊等。

P26-27 平行光轴立体视觉系统的感知深度的原理和基本公式

P32-35 75-83 立体视觉系统中有哪些约束

立体匹配的约束：

? 极线约束：匹配点必须在极线上

? 相似性约束：左、右图像的匹配点应具有相似的亮度或颜色。即，假定目标表面符

合朗伯漫反射表面。

? 视差范围约束：仅在视差搜索内搜索。

21ln 2202004000.3 ln 11021082200200.7obj bg k obj bg z μμσαμμα+-??=+ ?

-??+??=+≈-= ?-??

?唯一性约束：一幅图像中的一个像素，在另一幅图像中最多只有一个对应点像素。?顺序约束：若参考图中A点在B点的左边，则另一幅图像中A点匹配点也在B 点匹配点的左边。

?平滑性约束：除了遮挡或视差本身不连续区域外，小邻域范围内视差值变化量应很小或相似。换言之视差曲面应是分段连续的。

?互对应约束：又称左右一致性，若以左图为基准图，左图上一像素点p l 的搜索到右图上对应点像素为p r ；那么若以右图为基准图，像素p r 的对应点也应该是左图上的像素点p l 。该约束常用于遮挡区的检测。

P41 立体视觉标定校正的目的

校正的目的：

?输入图像通过透视变换使得外极线水平，且共线。

?畸变校正，使得成像过程符合小孔成像模型。

P52 立体匹配的概念及分类

?立体匹配的过程：为左图像的每个像素点(x l, y l)，在右图像中搜索对应点。

?根据立体匹配过程中涉及的像素范围，可分为：

局部立体匹配

通常以基于局部窗口的立体匹配方法为主。

匹配基元：局部窗口

全局立体匹配

匹配过程中，求解一行或整幅图像中所有像素的相似测度和最大/最小。

匹配基元：像素

?根据立体匹配过程中采用的匹配基元，可分为：

致密匹配

搜索每个像素的对应点，构建致密视差图

匹配基元为像素

稀疏匹配

仅为特征搜索对应点，构建稀疏的视差图.

匹配基元为特征。

P58 有哪些局部立体匹配方法和优缺点

方法：对应性测度、相似性测度、距离测度、相关系数测度、非参数化测度

?优点：

?容易实现，只需要考虑局部窗口区域

?对纹理丰富的区域具有较好匹配性能

?速度快，只需考虑有限像素

?易于硬件实现，易于流水线实现

?缺点：

?视差不连续、遮挡或边缘区域无法正确估计视差

?对重复性纹理、无/弱纹理区域无法准确估计视差

P84 全局立体匹配的思想和优缺点

思想：基于动态规划的立体匹配方法

?基于动态规划的匹配算法并不是孤立地寻找每个像素点的匹配值。

?优化整条扫描线，使得该扫描线上所有像素的匹配代价和最小，并满足顺序和平滑约束。

?不同扫描线独立完成优化。

优缺点：

?优点：

?保证了一条扫描线上各像素点的优化匹配。

?缺点：

?缺少扫描线间的强制约束

?无法将水平方向和垂直方向的连续性约束有效融合。

?局部误差会着扫描线传播。

?视差结果图中有着很明显的横纹效应。