基于双目立体视觉技术的空间定位系统设计与实现
发布日期:2019-08-01

文/江苏大学 李冠贤 何思铭 费浩雯

引言

如今,三维重构技术广泛应用于工业检测、三维测量、虚拟现 实等领域。同时双目立体视觉也是计算机视觉的一个重要分支。立 体视觉是指从两个不同的角度去观察场景中的同一个物体,来获取 不同视角下的二维图像,再运用成像几何原理来计算图像像素之间 存在的位置偏差(视差),从而获取物体的三维信息。本文通过设计 一种用于目标空间三维距离、方位信息探测的立体视觉系统及实现 方法,根据图像识别结果进而获得目标的三维信息。

1 立体视觉技术概述及应用

1.1. 立体视觉技术概述

    立体视觉技术是计算机视觉领域中一个非常活跃的研究热点,它结合了图像处理、计算机视觉、计算图形学以及生物生理学等诸多领域的理论和方法。它通过对多张图像的分析处理来获取物体的三维几何信息,尽可能逼真地实现模仿人类的双目视觉的功能。同时双目立体视觉也是计算机视觉的一个重要分支,即由不同位置的两台或者一台摄像机(CCD)经过移动或旋转拍摄同一幅场景,并通过计算空间点在两幅图像中的视差,获得该点的三维坐标值。

1.2.本项目研究目的

    设计一种用于目标空间三维距离、方位信息探测的立体视觉系统及实现方法。该系统根据双目视觉原理,利用预制三维标定物对图像获取系统的内、外参数进行标定,求出投影变换矩阵,根据图像识别结果运用灰度模板、连续性假设和对极几何约束进行识别目标的特征匹配,进而获得目标的三维信息。

1.3.该技术当前发展状况

    立体视觉技术在国内外科学研究上都有广泛应用。在国外,华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统,使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航。国内,维视图像公司采用双目ccd相机,从工业相机内参标定、镜头畸变标定、立体匹配、特征点分割处理等方面给出了详细的数学模型和算法接口。其双目标定软件ccas可以实现机器人导航、微操作系统的参数检测、三维测量和虚拟现实等应用。

1.4.发展趋势

    1) 探索新的适用于全面立体视觉的计算理论和匹配择有效的匹配准则和算法结构,以解决存在灰度失真,几何畸变(透视,旋转,缩放等),噪声干扰,及遮掩景物的匹配问题;
    2) 算法向并行化发展,提高速度,减少运算量,增强系统的实用性。

2双目立体视觉技术的空间定位系统设计与实现

2.1.本课题技术基础

    面对单目视觉系统对物体深度信息不能体现的缺点,通过搭建双目视觉系统平台,从而测量目标物体,该过程主要有包含:摄像机标定、图像预处理、特征点的提取与匹配、三维重建。需要解决的问题具体如下:

    1) 对图像的采集

    现实中利用摄像机获取场景中物体图像都是二维的,它是恢复物体三维真实信息的基本本源,后续的处理受二维图像获取的好坏所影响。故在一般情况下,获取二维图形要考虑光照强度、摄像机的性能、所拍摄物体特点等因素,这样才能做到采集到的二维图像质量较高,为后续的特征点匹配和三维重构打下基础。可利用LabVIEW专门为图像的采集所推出的视觉开发包。

    2) 对图像进行预处理

    在外界环境的影响下,图像预处理是机器视觉研究过程中不可或缺的一步。因为在采集图片的过程中会伴随有一些随机噪声,且对图像进行预处理,还可提高图像的质量,剔除多余的信息,达到运用所需标准,便于今后对特征点的提取。

    3) 提取特征点

    特征点反映图像特性是图像的主要特性。特征点在三维场景的重建,识别图像,运动物体的估计等许多方面有着广泛的运用。当前的特征点检测算法主要包含有三种,源于灰度变化的提取算法,源于图像边缘检测的提取算法以及源于模板匹配的提取算法。通过实验研究结果表明,源于灰度变化的特征点提取具有便于区分、稳定、不变形等特点,其通常用于三维重构中能够完好地恢复物体的深度信息。

    4) 摄像机的标定设计

    在对物体进行三维测量与重建的过程中,摄像机的标定是极其重要的一步。该过程是为了确定图像二维坐标与三维坐标间的对应关系。由摄像机的内,外参数所确定,对获取摄像机的内外参数的过程被称为摄像机标定。所获取摄像机的内,外参数精确与否,对匹配与重建的结果具有重大影响。

    5) 构建立体匹配

    立体匹配是三维重构研究和整个视觉系统中极其重要的一步。是通过一定的约束条件来确定出左右摄像机所拍摄两幅图像上特征点之间的对应关系,故其不同于普通的模板匹配,没有具体的参考模板。在实际应用中,由于受到噪声的干扰,摄像机镜头的畸变,被测对象的表面特性所影响,所获取的二维图像并不理想,对于实现准确度较高的立体匹配具有一定困难。

    6) 实现三维重构

    三维重构的根本任务是通过摄像机标定、图像预处理、特征点提取与匹配等工作,继而获得摄像机内,外参数、畸变系数和图像特征点之间的对应关系。最后通过所获得的物体信息,运用三角测量原理将被测物体的深度信息恢复。

2.2.系统设计与实现

    1)选择软件编程平台:优先选择LabVIEW平台。选择硬件配置:在硬件上选用微软的USB摄像头, XBOX360型号。
    2)分析结果:分析对基于嵌入式平台的人脸跟踪与识别系统产生误差的因素,结果和系统的经济适用性,获得所需功能。主要步骤分为:对图像的获取、图像预处理、摄像机标定、立体匹配和三维重构。

2.3.总体方案设计

    使用LabVIEW软件完成对图像的采集与处理以及立体匹配,在MATLAB软件中完成三维重构等操作。图像处理软件基于LabVIEW和混合编程技术开发,为实现 LabVIEW和 MATLAB混合编程,直接利用 LabVIEW 的 MATLAB脚本功能模块;利用 COM组件调用MATLAB算法和LabVIEW调用动态链接库。通过选择调用LabVIEW中 MATLAB脚本模块实现混合编程,在实现较好的人机界面设计的同时,还可以提高图像处理的可靠性。

2.4.可行性分析

    本着科学发展观原则,在课题设计过程中偏向于软件和相关硬件的组成与联系,对环境的发展并无大的影响。在设计系统过程中,所需的硬件设备有支架、 USB相机,这些配件的价格相对便宜,软件用的开发工具是图形化编程,操作简单,简明易懂。因此认为该方案可行。

2.5.预期结果

    该系统根据双目视觉原理,利用预制三维标定物对图像获取系统的内、外参数进行标定,求出投影变换矩阵,根据图像识别结果运用灰度模板、连续性假设和对极几何约束进行识别目标的特征匹配,进而获得目标的三维信息。在现有技术条件下,系统的定位精度相对较高,误差相对较小,操作简单。

3结束语

    本课题的预期结果是设计一种用于探测目标空间三维距离、方位信息的立体视觉系统及实现方法。该系统根据双目视觉原理,利用预制三维标定物对图像获取系统的内、外参数进行标定,进而获得目标的三维信息。若开发成功可降低现有的双目空间定位系统的成本,可以广泛的应用于各个领域,如医学,安全防护,机器人等。
作者简介:
李冠贤( 1997—),男,海南海口人,江苏大学本科在读,研究方向:测控技术与仪器。
何思铭( 1998—),男,海南海口人,江苏大学本科在读,研究方向:测控技术与仪器。
费浩雯( 1997—),女,天津人,江苏大学本科在读,研究方向:测控技术与仪器