7.4-tutorial_py_depthmap.md

立体图像的深度图

目标

在本章节中，

• 我们将学习到如何通过立体图像来创建深度图。

基础

在上一章节中，我们看到了一些基本概念像是线性约束和其他相关术语。我们同时也看到，如果我们有两个相同场景的图像，我们便可以直观的获取到其深度信息。下面便是一张图片和一些用以证明这种直观现象的数学公式(图片提供：(译者注：这里原文中就没写出处)

stereo depth image

上图包含等边三角形。写出其等效方程则如下： $$ {\notag} disparity = x - x' = \frac{Bf}{Z} $$ $$x$$和$$x'$$是图像平面上的点对应的 3D 场景点与相机投影中心之间的距离。$$B$$是两个摄像机之间的距离(这是我们知道的)，$$F$$是相机的焦距(早已知晓)。所以长话短说，上面的等式便是说一个场景点的深度是与相应图像点及其相机投影中心的距离差成反比的。所以通过这个信息，我们边可以推导出图像中所有像素的深度。

所以它将在两个图象之间进行匹配。我们已经看到过如何使用线性约束使这个操作更快更准确。一旦寻找到匹配点，我们便可以找到其视差。让我们看看我们如何使用 OpenCV 来实现它。

代码

下面的代码片段展示了创建视差图的简单过程。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt

imgL = cv.imread('tsukuba_l.png',0)
imgR = cv.imread('tsukuba_r.png',0)

stereo = cv.StereoBM_create(numDisparities=16, blockSize=15)
disparity = stereo.compute(imgL,imgR)
plt.imshow(disparity,'gray')
plt.show()

下面的图像包含有原图像(左)和视差图(右)。正如你看到的，结果被高度的噪声所污染。通过调整 numDisparities 和 blockSize 的值，你可以获得更好的结果。

disparity map image

这里有一些参数是你学习 StereoBM 时了解过的，您可能需要对参数进行微调以获得更好，更平滑的结果。

参数：

• texture_threshold: 过滤掉没有足够纹理以进行可靠匹配的区域。
• Speckle range and size: 基础块匹配器通常会在物体边界产生“斑点”，其中匹配窗口在一侧捕获前景而在另一侧捕获背景。在此场景中，似乎匹配器还在桌子上的投影纹理中发现了小的伪匹配。为了解决这些问题，我们使用由 speckle_size 和 speckle_range 参数控制的散斑滤波器对视差图像进行后处理。speckle_size 是像素数，低于该数量的视差斑点被视为“散斑”。speckle_range 控制值差异的接近程度，必须被视为同一个斑点的一部分。
• Number of disparities: 窗口滑过的像素数。这个参数越大，其可见深度就越大，但也需要更多的计算量。
• min_disparity: 从左侧 x 点向右进行搜索的偏移量。
• uniqueness_ratio: 另一个后处理滤波。如果最佳匹配视差不足够好于搜索范围中的每个其他视差，这些像素就会被过滤掉。如果 texture_threshold 和噪点滤波仍然使错误匹配通过。
• prefilter_size and prefilter_cap: 预处理滤波参数，用于标准化图像亮度与提升纹理用以准备块匹配。通常你不需要调整它们。

其他资源

• 旋转立体图像处理的维基百科页面

练习

1. OpenCV 实例中包含有一个关于生成视差图及其三维重建的例子。查看在 OpenCV-Python 例子中的 stereo_match.py 文件。