基于Python和openCV实现图像的全景拼接详细步骤
作者:半壕春水 发布时间:2023-05-30 17:35:07
标签:Python,openCV,图像,拼接
基本介绍
图像的全景拼接,即“缝合”两张具有重叠区域的图来创建一张全景图。其中用到了计算机视觉和图像处理技术有:关键点检测、局部不变特征、关键点匹配、RANSAC(Random Sample Consensus,随机采样一致性)和透视变形。
具体步骤
(1)检测左右两张图像的SIFT关键特征点,并提取局部不变特征 ;
(2)使用knnMatch检测来自右图(左图)的SIFT特征,与左图(右图)进行匹配 ;
(3)计算视角变换矩阵H,用变换矩阵H对右图进行扭曲变换;
(4)将左图(右图)加入到变换后的图像的左侧(右侧)获得最终图像;
import cv2 as cv # 导入opencv包
import numpy as np # 导入numpy包,图像处理中的矩阵运算需要用到
# 检测图像的SIFT关键特征点
def sift_keypoints_detect(image):
# 处理图像一般很少用到彩色信息,通常直接将图像转换为灰度图
gray_image = cv.cvtColor(image, cv.COLOR_BGR2GRAY)
# 获取图像特征sift-SIFT特征点,实例化对象sift
sift = cv.xfeatures2d.SIFT_create()
# keypoints:特征点向量,向量内的每一个元素是一个KeyPoint对象,包含了特征点的各种属性信息(角度、关键点坐标等)
# features:表示输出的sift特征向量,通常是128维的
keypoints, features = sift.detectAndCompute(image, None)
# cv.drawKeyPoints():在图像的关键点部位绘制一个小圆圈
# 如果传递标志flags=cv.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS,它将绘制一个大小为keypoint的圆圈并显示它的方向
# 这种方法同时显示图像的坐标,size和方向,是最能显示特征的一种绘制方式
keypoints_image = cv.drawKeypoints(
gray_image, keypoints, None, flags=cv.DRAW_MATCHES_FLAGS_NOT_DRAW_SINGLE_POINTS)
# 返回带关键点的图像、关键点和sift的特征向量
return keypoints_image, keypoints, features
# 使用KNN检测来自左右图像的SIFT特征,随后进行匹配
def get_feature_point_ensemble(features_right, features_left):
# 创建BFMatcher对象解决匹配
bf = cv.BFMatcher()
# knnMatch()函数:返回每个特征点的最佳匹配k个匹配点
matches = bf.knnMatch(features_right, features_left, k=2) # des1为模板图,des2为匹配图
# 利用sorted()函数对matches对象进行升序(默认)操作
matches = sorted(matches, key=lambda x: x[0].distance / x[1].distance)
# x:x[]字母可以随意修改,排序方式按照中括号[]里面的维度进行排序,[0]按照第一维排序,[2]按照第三维排序
# 建立列表good用于存储匹配的点集
good = []
for m, n in matches:
# ratio的值越大,匹配的线条越密集,但错误匹配点也会增多
ratio=0.6
if m.distance < ratio * n.distance:
good.append(m)
return good
# 计算视角变换矩阵H,用H对右图进行变换并返回全景拼接图像
def Panorama_stitching(image_right, image_left):
_, keypoints_right, features_right = sift_keypoints_detect(image_right)
_, keypoints_left, features_left = sift_keypoints_detect(image_left)
goodMatch = get_feature_point_ensemble(features_right, features_left)
# 当筛选项的匹配对大于4对(因为homography单应性矩阵的计算需要至少四个点)时,计算视角变换矩阵
if len(goodMatch) > 4:
# 获取匹配对的点坐标
ptsR = np.float32(
[keypoints_right[m.queryIdx].pt for m in goodMatch]).reshape(-1, 1, 2)
ptsL = np.float32(
[keypoints_left[m.trainIdx].pt for m in goodMatch]).reshape(-1, 1, 2)
# ransacReprojThreshold:将点对视为内点的最大允许重投影错误阈值(仅用于RANSAC和RHO方法时),若srcPoints和dstPoints是以像素为单位的,该参数通常设置在1到10的范围内
ransacReprojThreshold = 4
# cv.findHomography():计算多个二维点对之间的最优单映射变换矩阵 H(3行x3列),使用最小均方误差或者RANSAC方法
# 函数作用:利用基于RANSAC的鲁棒算法选择最优的四组配对点,再计算转换矩阵H(3*3)并返回,以便于反向投影错误率达到最小
Homography, status = cv.findHomography(
ptsR, ptsL, cv.RANSAC, ransacReprojThreshold)
# cv.warpPerspective():透视变换函数,用于解决cv2.warpAffine()不能处理视场和图像不平行的问题
# 作用:就是对图像进行透视变换,可保持直线不变形,但是平行线可能不再平行
result = cv.warpPerspective(
image_right, Homography, (image_right.shape[1] + image_left.shape[1], image_right.shape[0]))
cv.imshow("扭曲变换后的右图", result)
cv.waitKey(0)
cv.destroyAllWindows()
# 将左图加入到变换后的右图像的左端即获得最终图像
result[0:image_left.shape[0], 0:image_left.shape[1]] = image_left
# 返回全景拼接的图像
return result
if __name__ == '__main__':
# 读取需要拼接的图像,需要注意图像左右的顺序
image_left = cv.imread("./Left.jpg")
image_right = cv.imread("./Right.jpg")
# 通过调用cv2.resize()使用插值的方式来改变图像的尺寸,保证左右两张图像大小一致
# cv.resize()函数中的第二个形参dsize表示输出图像大小尺寸,当设置为0(None)时,则表示按fx与fy与原始图像大小相乘得到输出图像尺寸大小
image_right = cv.resize(image_right, None, fx=0.4, fy=0.24)
image_left = cv.resize(image_left, (image_right.shape[1], image_right.shape[0]))
# 获取检测到关键点后的图像的相关参数
keypoints_image_right, keypoints_right, features_right = sift_keypoints_detect(image_right)
keypoints_image_left, keypoints_left, features_left = sift_keypoints_detect(image_left)
# 利用np.hstack()函数同时将原图和绘有关键点的图像沿着竖直方向(水平顺序)堆叠起来
cv.imshow("左图关键点检测", np.hstack((image_left, keypoints_image_left)))
# 一般在imshow后设置 waitKey(0) , 代表按任意键继续
cv.waitKey(0)
# 删除先前建立的窗口
cv.destroyAllWindows()
cv.imshow("右图关键点检测", np.hstack((image_right, keypoints_image_right)))
cv.waitKey(0)
cv.destroyAllWindows()
goodMatch = get_feature_point_ensemble(features_right, features_left)
# cv.drawMatches():在提取两幅图像特征之后,画出匹配点对连线
# matchColor – 匹配的颜色(特征点和连线),若matchColor==Scalar::all(-1),颜色随机
all_goodmatch_image = cv.drawMatches(
image_right, keypoints_right, image_left, keypoints_left, goodMatch, None, None, None, None, flags=2)
cv.imshow("所有匹配的SIFT关键特征点连线", all_goodmatch_image)
cv.waitKey(0)
cv.destroyAllWindows()
# 把图片拼接成全景图并保存
result = Panorama_stitching(image_right, image_left)
cv.namedWindow("全景图", cv.WINDOW_AUTOSIZE)
cv.imshow("全景图", result)
cv.imwrite("./全景图.jpg", result)
cv.waitKey(0)
cv.destroyAllWindows()
左图关键特征点检测
右图关键特征点检测
所有匹配的SIFT关键特征点连线
扭曲变换后的右图
全景图
由于输入的左右图像之间有大量重叠,导致全景图的主要添加部分是在拼接图像的右侧,因此会造成拼接后全景图右边大量的黑色空白区域。
来源:https://blog.csdn.net/weixin_51571728/article/details/120584432
0
投稿
猜你喜欢
- 一、背景俗话说,工欲善其事,必先利其器。go 作为一个对基础功能封装非常好的语言,对编码体验,如何更高效地写出高性能代码,都是考虑非常好的。
- 在PC端登录公司的后台管理系统或在手机上登录某个APP时,经常会发现登录成功后,返回参数中会包含token,它的值为一段较长的字符串,而后续
- 大纲本文主要介绍一下numpy中的几个常用函数,包括hstack()、vstack()、stack()、concatenate()。1、co
- 回想下,在 Python 中编程时,你是否曾经需要检查某个可迭代对象(如列表)中的任何元素或所有元素的计算结果是否为True?假设,我们要判
- 最近脱离了googlecolab想使用本地的anaconda进行机器学习课题的演练,在安装tensorflow时报错 : Unsatisfi
- 微信好友全头像话不多说,直接上代码import itchatimport mathimport PIL.Image as Imageimpo
- 之前在网上看过一些介绍Django处理请求的流程和Django源码结构的文章,觉得了解一下这些内容对开发Django项目还是很有帮助的。所以
- javascript代码编写在页面中实现页内搜索功能,类似Word等文本编辑软件里的搜索功能,只要是页面中的字符(别管是显在的还是隐蔽在文本
- 一、批量新建并保存工作簿import xlwings as xw # 导入库# 启动Excel程序,但不新建工作
- extend()方法追加序列内容到列表。语法以下是extend()方法的语法:list.extend(seq)参数 &
- <?php //包含一个计数器,一个提醒语句,用户ip以及自己的广告图片。 //给浏览器发送头,说我是张图片 Header
- 和以往的总监会议一样,在某个新功能的总监级别讨论会上,很多人再次又说出了同样的看法:“我们网站的界面设计太烂了,不好看、不好用、而且很乱”。
- 如今,随着深度学习的发展,python已经成为了深度学习研究中第一语言。绝大部分的深度学习工具包都有python的版本,很多重要算法都有py
- 0 前言安装:pip install pypiwin32 1 Excel的APIimport win32com.client as win3
- PyQt5是基于Digia公司强大的图形程式框架Qt5的python接口,由一组python模块构成。PyQt5本身拥有超过620个类和60
- MYSQLdump参数详解mysqldump备份:mysqldump -u用户名 -p密码 -h主机 数据库 a -w “sql条件” –l
- 本文实例讲述了python字典get()方法用法。分享给大家供大家参考。具体分析如下:如果我们需要获取字典值的话,我们有两种方法,一个是通过
- URLURL 是统一资源定位符,对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示,是互联网上标准资源的地址。互联网上的每个文件都有
- 简单的header import urllib2request = urllib2.Request('http://example.
- 问题描述字符串本身作为 bytess = '\xe4\xbd\xa0\xe5\xa5\xbd'解决方案s.encode(&#