使用OpenCV和Python进行图像拼接

么是图像拼接呢？简单来说，对于输入应该有一组图像，输出是合成图像。同时，必须保留图像之间的逻辑流。

首先让我们了解图像拼接的概念。基本上，如果你想捕捉一个大的场景，你的相机只能提供一个特定分辨率的图像（如：640×480），这当然不足以捕捉大的全景。所以，我们可以做的是捕捉整个场景的多个图像，然后把所有的碎片放在一起，形成一个大的图像。这些有序的照片被称为全景。获取多幅图像并将其转换成全景图的整个过程称为图像拼接。

首先，需要安装opencv 3.4.2.16。

接下来我们将导入我们将在Python代码中使用的库：

在我们的教程中，我们将拍摄这张精美的照片，我们会将其分成两张左右两张照片，然后我们会尝试拍摄相同或非常相似的照片。

因此，我将此图像切成两个图像，它们会有某种重叠区域：

在此，我们将列出我们应采取的步骤，以取得最终的结果:

• 计算左右图像的筛选关键点和描述符。
• 计算一个图像中的每个描述符与另一个图像中的每个描述符之间的距离。
• 为图像的每个描述符选择最佳匹配项。
• 运行RANSAC以估计单应性。
• Warp对齐以便拼接。
• 最后将它们拼接在一起。

因此，从第一步开始，我们将导入这两个图像并将它们转换为灰度，如果您使用的是大图像，我建议您使用cv2.resize，因为如果您使用较旧的计算机，它可能会非常慢并且需要很长时间。如果要调整图像大小，即调整50％，只需将fx = 1更改为fx = 0.5即可。

我们还需要找出两幅图像中匹配的特征。我们将使用opencv_contrib的SIFT描述符。SIFT (Scale constant Feature Transform)是一种非常强大的OpenCV算法。这些最匹配的特征作为拼接的基础。我们提取两幅图像的关键点和sift描述符如下:

kp1和kp2是关键点，des1和des2是图像的描述符。如果我们用特征来画这幅图，它会是这样的:

cv2.imshow('original_image_left_keypoints',cv2.drawKeypoints(img_,kp1,None))

左边的图像显示实际图像。右侧的图像使用SIFT检测到的特征进行注释：

一旦你有了两个图像的描述符和关键点，我们就会发现它们之间的对应关系。我们为什么要这么做?为了将任意两个图像连接成一个更大的图像，我们必须找到重叠的点。这些重叠的点会让我们根据第一幅图像了解第二幅图像的方向。根据这些公共点，我们就能知道第二幅图像是大是小还是旋转后重叠，或者缩小/放大后再fitted。所有此类信息的产生是通过建立对应关系来实现的。这个过程称为registration。

对于匹配图像，可以使用opencv提供的FLANN或BFMatcher方法。我会写两个例子证明我们会得到相同的结果。两个示例都匹配两张照片中更相似的特征。当我们设置参数k = 2时，这样我们就要求knnMatcher为每个描述符给出2个最佳匹配。“matches”是列表的列表，其中每个子列表由“k”个对象组成。以下是Python代码：

FLANN匹配代码：

BFMatcher匹配代码：

通常在图像中，图像的许多地方可能存在许多特征。所以我们过滤掉所有的匹配来得到最好的。因此我们使用上面得到的前2个匹配项进行比值检验。如果下面定义的比值大于指定的比值，则考虑匹配。

现在我们定义在图像上绘制线条的参数，并给出输出以查看当我们在图像上找到所有匹配时的样子：

这是输出的匹配图像：

这部分完整Python代码：

import cv2
import numpy as np
img_ = cv2.imread('original_image_left.jpg')
#img_ = cv2.resize(img_, (0,0), fx=1, fy=1)
img1 = cv2.cvtColor(img_,cv2.COLOR_BGR2GRAY)
img = cv2.imread('original_image_right.jpg')
#img = cv2.resize(img, (0,0), fx=1, fy=1)
img2 = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
sift = cv2.xfeatures2d.SIFT_create()
# find the key points and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
#cv2.imshow('original_image_left_keypoints',cv2.drawKeypoints(img_,kp1,None))
#FLANN_INDEX_KDTREE = 0
#index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
#search_params = dict(checks = 50)
#match = cv2.FlannBasedMatcher(index_params, search_params)
match = cv2.BFMatcher()
matches = match.knnMatch(des1,des2,k=2)
good = []
for m,n in matches:
 if m.distance < 0.03*n.distance:
 good.append(m)
draw_params = dict(matchColor = (0,255,0), # draw matches in green color
 singlePointColor = None,
 flags = 2)
img3 = cv2.drawMatches(img_,kp1,img,kp2,good,None,**draw_params)
cv2.imshow("original_image_drawMatches.jpg", img3)

因此，一旦我们获得了图像之间的最佳匹配，我们的下一步就是计算单应矩阵。如前所述，单应矩阵将与最佳匹配点一起使用，以估计两个图像内的相对方向变换。

在OpenCV中估计单应性是一项简单的任务，只需一行代码:

H, __ = cv2.findHomography(srcPoints, dstPoints, cv2.RANSAC, 5)

在开始编码拼接算法之前，我们需要交换图像输入。所以img_现在会取右图像img会取左图像。

那么让我们进入拼接编码:

因此，首先，我们将最小匹配条件count设置为10(由MIN_MATCH_COUNT定义)，并且只有在匹配良好的匹配超出所需匹配时才进行拼接。否则，只需显示一条消息，说明匹配不够。

因此，在if语句中，我们将关键点(从匹配列表)转换为findHomography()函数的参数。

只需在这段代码中讨论cv2.imshow（“original_image_overlapping.jpg”，img2），我们就会显示我们收到的图像重叠区域：

因此，一旦我们建立了单应性，我们需要扭曲视角，我们将以下单应矩阵应用于图像：

warped_image = cv2.warpPerspective(image, homography_matrix, dimension_of_warped_image)

所以我们使用如下：

在上面两行Python代码中，我们从两个给定的图像中获取重叠区域。然后在“dst”中我们只接收到没有重叠的图像的右侧，因此在第二行代码中我们将左侧图像放置到最终图像。所以在这一点上我们完全拼接了图像：

剩下的就是去除图像的黑色，所以我们将编写以下代码来从所有图像边框中删除黑边：

这是我们调用修剪边界的最终定义函数，同时我们在屏幕上显示该图像。如果您愿意，也可以将其写入磁盘：

使用上面的Python代码，我们将首先收到原始图片：

这是完整的最终代码：

import cv2
import numpy as np
img_ = cv2.imread('original_image_right.jpg')
#img_ = cv2.imread('original_image_left.jpg')
#img_ = cv2.resize(img_, (0,0), fx=1, fy=1)
img1 = cv2.cvtColor(img_,cv2.COLOR_BGR2GRAY)
img = cv2.imread('original_image_left.jpg')
#img = cv2.imread('original_image_right.jpg')
#img = cv2.resize(img, (0,0), fx=1, fy=1)
img2 = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
sift = cv2.xfeatures2d.SIFT_create()
# find key points
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
#cv2.imshow('original_image_left_keypoints',cv2.drawKeypoints(img_,kp1,None))
#FLANN_INDEX_KDTREE = 0
#index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
#search_params = dict(checks = 50)
#match = cv2.FlannBasedMatcher(index_params, search_params)
match = cv2.BFMatcher()
matches = match.knnMatch(des1,des2,k=2)
good = []
for m,n in matches:
 if m.distance < 0.03*n.distance:
 good.append(m)
draw_params = dict(matchColor=(0,255,0),
 singlePointColor=None,
 flags=2)
img3 = cv2.drawMatches(img_,kp1,img,kp2,good,None,**draw_params)
#cv2.imshow("original_image_drawMatches.jpg", img3)
MIN_MATCH_COUNT = 10
if len(good) > MIN_MATCH_COUNT:
 src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
 dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)
 M, mask = cv2.findHomography(src_pts, dst_pts, cv2.RANSAC, 5.0)
 h,w = img1.shape
 pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
 dst = cv2.perspectiveTransform(pts, M)
 img2 = cv2.polylines(img2,[np.int32(dst)],True,255,3, cv2.LINE_AA)
 #cv2.imshow("original_image_overlapping.jpg", img2)
else:
 print("Not enought matches are found - %d/%d", (len(good)/MIN_MATCH_COUNT))
dst = cv2.warpPerspective(img_,M,(img.shape[1] + img_.shape[1], img.shape[0]))
dst[0:img.shape[0],0:img.shape[1]] = img
cv2.imshow("original_image_stitched.jpg", dst)
def trim(frame):
 #crop top
 if not np.sum(frame[0]):
 return trim(frame[1:])
 #crop top
 if not np.sum(frame[-1]):
 return trim(frame[:-2])
 #crop top
 if not np.sum(frame[:,0]):
 return trim(frame[:,1:])
 #crop top
 if not np.sum(frame[:,-1]):
 return trim(frame[:,:-2])
 return frame
cv2.imshow("original_image_stitched_crop.jpg", trim(dst))
#cv2.imsave("original_image_stitched_crop.jpg", trim(dst))

在本教程中，我们学习了如何使用OpenCV执行图像拼接和全景构造，并编写了最终的图像拼接代码。

我们的图像拼接算法需要四个主要步骤：检测关键点和提取局部不变描述符; 获得图像之间的匹配描述符; 应用RANSAC估计单应矩阵; 使用单应矩阵应用warping transformation。

当仅为两个图像构建全景图时，该算法在实践中工作良好。