本书主要介绍和探讨计算机视觉的一系列核心主题,包括相机成像,图像处理、分析和感知,三维重建等。首先介绍了相机模型、成像过程以及图像的颜色模型、照射模型、渲染模型等;然后系统性地介绍了图像滤波、特征提取、图像和视频感知与理解等多种任务,不仅详细讲解了各任务中的经典方法,还全面地介绍了前沿的基于深度学习的方法;最后介绍了三维重建中涉及的几何原理、重建步骤以及基于深度学习的新方法。
本书针对每一个核心问题单独成章,并着重讲解基本概念。通过大量的彩图,帮助读者理解问题。适合作为本科及研究生的计算机视觉和数字图像处理课程的教材,并且可以作为深度学习课程的参考书。同时,也可供对计算机视觉感兴趣的相关专业人士参考。
目 录
第1章 相机成像模型 /1
1.1 引言 /1
1.2 简单的相机模型 /2
1.2.1 相机数学模型 /2
1.2.2 相机的内参 /4
1.2.3 相机的外参 /6
1.2.4 相机成像公式 /7
1.2.5 相机成像畸变 /7
1.3 图像的颜色 /10
1.3.1 基于拜尔滤波器的颜色感知 /10
1.3.2 RGB颜色模型 /11
1.3.3 HSV颜色模型 /12
1.4 图像的亮度 /14
1.4.1 空间中的光 /14
1.4.2 物体表面的光线反射 /16
1.4.3 薄透镜成像的辐射度学 /17
1.4.4 数字成像过程 /19
1.5 渲染 /20
1.5.1 渲染方程 /20
1.5.2 光线追踪算法 /20
1.6 本章小结 /23
第2章 图像空间滤波 /24
2.1 引言 /24
2.2 卷积和互相关 /25
2.2.1 卷积 /25
2.2.2 互相关 /26
2.3 图像的平滑 /28
2.3.1 邻域均值滤波 /28
2.3.2 加权均值滤波 /28
2.3.3 高斯均值滤波 /29
2.3.4 中值滤波 /30
2.3.5 双边滤波 /30
2.4 图像的锐化 /32
2.4.1 梯度锐化 /32
2.4.2 拉普拉斯算子的二阶微分锐化 /33
2.4.3 非锐化掩膜与高频提升滤波 /34
2.5 本章小结 /35
第3章 图像特征提取 /36
3.1 引言 /36
3.2 基于非学习方法的边缘检测 /37
3.2.1 边缘、导数和梯度 /39
3.2.2 边缘的卷积形式计算 /40
3.2.3 噪声对边缘检测的影响和处理方法 /41
3.2.4 Canny边缘检测算子 /43
3.3 基于深度学习的边缘检测 /45
3.3.1 HED/45
3.3.2 RCF/47
3.3.3 CASENet/49
3.4 基于非学习方法的关键点检测 /51
3.4.1 角点检测原理 /53
3.4.2 Harris角点检测 /54
3.4.3 Harris角点检测的优势与不足 /58
3.4.4 高斯拉普拉斯算子 /59
3.4.5 高斯差分算子 /64
3.5 基于深度学习的语义关键点检测 /65
3.5.1 基于深度学习的人脸关键点检测 /65
3.5.2 人体关键点检测 /69
3.5.3 房间布局估计 /74
3.6 基于非学习方法的直线检测 /78
3.6.1 最小二乘法 /78
3.6.2 基于RANSAC的直线拟合 /82
3.6.3 霍夫变换 /84
3.7 基于深度学习的线段检测 /87
3.7.1 基于图表示的线段检测 /87
3.7.2 基于向量场表示的线段检测 /88
3.7.3 语义直线检测及应用 /89
3.8 本章小结 /91
参考文献 /91
第4章 图像分类 /94
4.1 引言 /94
4.2 图像表达 /97
4.3 基于手动特征的图像表达 /98
4.3.1 基于颜色直方图的图像表达 /98
4.3.2 基于经典的视觉词袋模型的图像表达 /99
4.3.3 基于空间金字塔匹配模型的图像表达 /104
4.3.4 基于压缩感知的图像表达 /105
4.3.5 基于高斯混合模型的图像特征编码 /107
4.4 基于支持向量机的图像分类 /108
4.4.1 面向线性可分数据的支持向量机分类 /108
4.4.2 面向非线性可分数据的支持向量机分类 /114
4.4.3 基于支持向量机的多分类实现 /116
4.4.4 基于视觉词袋模型和支持向量机的图像分类 /116
4.5 基于自编码器的图像表达 /117
4.5.1 多层感知机 /118
4.5.2 自编码器 /120
4.5.3 降噪自编码器 /121
4.6 基于卷积神经网络的图像分类 /122
4.6.1 卷积神经网络的组件 /122
4.6.2 神经网络的训练 /128
4.6.3 代表性图像分类卷积神经网络 /131
4.7 基于胶囊网络的图像分类 /143
4.7.1 CapsNet/144
4.7.2 堆叠胶囊自编码器 /147
4.8 基于Transformer的图像分类 /149
4.8.1 自然语言处理中的Transformer/149
4.8.2 基于Transformer的图像分类 /151
4.9 本章小结 /159