【什么是摄像机标定】摄像机标定原理 摄像机标定的作用

【什么是摄像机标定】摄像机标定原理 摄像机标定的作用

一、 概述

计算机视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间中物体的几何信息，并由此重建和识别物体，而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的，这些几何模型参数就是摄像机参数。在大数条件下，这些参数必须通过实验与计算才能得到，这个过程被称为摄像机定标（或称为标定）。标定过程就是确定摄像机的几何和光学参数，摄像机相对于世界坐标系的方位。标定精度的大小，直接影响着计算机视觉（机器视觉）的精度。迄今为止，对于摄像机标定问题已提出了很多方法，摄像机标定的理论问题已得到较好的解决，对摄像机标定的研究来说，当前的研究工作应该集中在如何针对具体的实际应用问题，采用特定的简便、实用、快速、准确的标定方法。

二、 摄像机标定分类

1.根据是否需要标定参照物来看，可分为传统的摄像机标定方法和摄像机自标定方法。传统的摄像机标定是在一定的摄像机模型下，基于特定的实验条件，如形状、尺寸已知的标定物，经过对其进行图像处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数（分为最优化算法的标定方法、利用摄像机透视变换矩阵的标定方法、进一步考虑畸变补偿的两步法和采用更为合理的摄像机模型的双平面标定法）；不依赖于标定参照物的摄像机标定方法，仅利用摄像机在运动过程中周围环境的图像与图像之间的对应关系对摄像机进行的标定称为摄像机自标定方法，它又分为：基于自动视觉的摄像机自标定技术（基于平移运动的自标定技术和基于旋转运动的自标定技术）、利用本质矩阵和基本矩阵的自标定技术、利用多幅图像之间的直线对应关系的摄像机自标定方以及利用灭点和通过弱透视投影或平行透视投影进行摄像机标定等。自标定方法非常地灵活,但它并不是很成熟。因为未知参数太多,很难得到稳定的结果。一般来说，当应用场合所要求的精度很高且摄像机的参数不经常变化时，传统标定方法为首选。而自标定方法主要应用于精度要求不高的场合，如通讯、虚拟现实等。

2.从所用模型不同来分有线性和非线性。

所谓摄像机的线性模型，是指经典的小孔模型。成像过程不服从小孔模型的称为摄像机的非线性模型。线性模型摄像机标定, 用线性方程求解，简单快速，已成为计算机视觉领域的研究热点之一，目前已有大量研究成果。但线性模型不考虑镜头畸变，准确性欠佳；对于非线性模型摄像机标定，考虑了畸变参数，引入了非线性优化，但方法较繁，速度慢，对初值选择和噪声比较敏感，而且非线性搜索并不能保证参数收敛到全局最优解。

3.从视觉系统所用的摄像机个数不同分为单摄像机和多摄像机在双目立体视觉中，还要确定两个摄像机之间的相对位置和方向。

4.从求解参数的结果来分有显式和隐式。

隐参数定标是以一个转换矩阵表示空间物点与二维像点的对应关系，并以转换矩阵元素作为定标参数，由于这些参数没有具体的物理意义，所以称为隐参数定标。在精度要求不高的情况下，因为只需要求解线性方程，此可以获得较高的效率。比较典型的是直接线性定标（DLT）。DLT 定标以最基本的针孔成像模型为研究对象，忽略具体的中间成像过程，用一个3×4 阶矩阵表示空间物点与二维像点的直接对应关系。为了提高定标精度，就需要通过精确分析摄像机成像的中间过程，构造精密的几何模型，设置具有物理意义的参数（一般包括镜头畸变参数、图像中心偏差、帧存扫描水平比例因子和有效焦距偏差），然后确定这些未知参数，实现摄像机的显参数定标。

5.从解题方法来分有解析法、神经网络法和遗传算法。

空间点与其图像对应点之间是一种复杂的非线性关系。用图像中的像元位置难以准确计算实际空间点间的实际尺寸。企图用一种线性方法来找到这种对应关系几乎是不可能的。解析方法是用足够多的点的世界坐标和相应的图像坐标，通过解析公式来确定摄像机的内参数、外参数以及畸变参数，然后根据得到的内外参数及畸变系数，再将图像中的点通过几何关系得到空间点的世界坐标。解析方法不能不能囊括上述的所有非线性因素，只能选择几种主要的畸变，而忽略其它不确定因素。神经网络法能够以任意的精度逼近任何非线性关系，跳过求取各参数的繁琐过程，利用图像坐标点和相应的空间点作为输入输出样本集进行训练，使网络实现给定的输入输出映射关系，对于不是样本集中的图像坐标点也能得到合适的空间点的世界坐标。

6.根据标定块的不同有立体和平面之分。

定标通过拍摄一个事先已经确定了三维几何形状的物体来进行，也就是在一定的摄像机模型下，基于特定的实验条件如形状、尺寸已知的定标参照物（标定物），经过对其图像进行处理，利用一系列数学变换和计算方法，求取摄像机模型的内部参数和外部参数。这种定标方法的精度很高。用于定标的物体一般是由两到三个相互正交的平面组成。但这些方法需要昂贵的标定设备，而且事前要精确地设置。平面模板（作为标定物），对于每个视点获得图像,提取图像上的网格角点，平面模板与图像间的网格角点对应关系，确定了单应性矩阵（Homography），平面模板可以用硬纸板，上面张贴激光打印机打印的棋盘格。模板图案常采用矩形和二次曲线（圆和椭圆）。

7.从定标步骤来看，可以分为两步法、三步法、四步法等；

8.从内部参数是否可变的角度来看，可以分为可变内部参数的定标和不可变内部参数的定标；

9.从摄像机运动方式上看，定标可以分为非限定运动方式的摄像机定标和限定运动；方式的摄像机定标，后者根据摄像机的运动形式不同又可以纯旋转的定标方式、正交平移运动的定标方式等。不管怎样分类，定标的最终目的是要从图像点中求出物体的待识别参数，即摄像机内外参数或者投影矩阵。然而，不同应用领域的问题对摄像机定标的精度要求也不同，也就要求应使用不同的定标方法来确定摄像机的参数。例如，在物体识别应用系统中和视觉精密测量中，物体特征的相对位置必须要精确计算，而其绝对位置的定标就不要求特别高；而在自主车辆导航系统中，机器人的空间位置的绝对坐标就要高精度测量，并且工作空间中障碍物的位置也要高度测量，这样才能安全导航。

三、 摄像机成像模型

在计算机视觉中，利用所拍摄的图像来计算出三维空间中被测物体几何参数。图像是空间物体通过成像系统在像平面上的反映，即空间物体在像平面上的投影。图像上每一个像素点的灰度反映了空间物体表面某点的反射光的强度，而该点在图像上的位置则与空间物体表面对应点的几何位置有关。这些位置的相互关系，由摄像机成像系统的几何投影模型所决定。计算机视觉研究中，三维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型。针孔模型假设物体表面的反射光都经过一个针孔而投影到像平面上，即满足光的直线传播条件。针孔模型主要有光心（投影中心）、成像面和光轴组成。小孔成像由于透光量太小，因此需要很长的曝光时间，并且很难得到清晰的图像。实际摄像系统通常都由透镜或者透镜组组成。两种模型具有相同的成像关系，即像点是物点和光心的连线与图像平面的交点。因此，可以用针孔模型作为摄像机成像模型。当然，由于透镜设计的复杂性和工艺水平等因素的影响，实际透镜城乡系统不可能严格满足针孔模型，产生所谓的镜头畸变，常见的如径向畸变、切向畸变、薄棱镜畸变等，因而在远离图像中心处会有较大的畸变，在精密视觉测量等应用方面，应该尽量采用非线性模型来描述成像关系。

四、 常用坐标系及其关系

计算机视觉常用坐标系采用右手准则来定义，图1 表示了三个不同层次的坐标系统：世界坐标系、摄像机坐标系和图像坐标系（图像像素坐标系和图像物理坐标

系）。世界坐标系：也称真实或现实世界坐标系,它是客观世界的绝对坐标。一般的3Ｄ场景都用这个坐标系来表示。

三个层次的坐标系统

（1）世界坐标系（xw,yw,zw）：也称真实或现实世界坐标系，或全局坐标系。它是客观世界的绝对坐标，由用户任意定义的三维空间坐标系。一般的3Ｄ场景都用这个坐标系来表示。

（2）摄像机坐标系（xoy）：以小孔摄像机模型的聚焦中心为原点，以摄像机光轴为zc 轴建立的三维直角坐标系。x，y 一般与图像物理坐标系的xf,yf 平行，且采取前投影模型。

（3）图像坐标系，分为图像像素坐标系和图像物理坐标系两种：图像物理坐标系：其原点为透镜光轴与成像平面的交点，X 与Y 轴分别平行于摄像机坐标系的x 与y 轴，是平面直角坐标系，单位为毫米。图像像素坐标系[计算机图像（帧存）坐标系]：固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角, xf,yf 平行于图像物理坐标系的X 和Y轴。对于数字图像，分别为行列方向。

坐标系变换关系

定义了上述各种空间坐标系后，就可以建立两两不同坐标变换之间的关系。

（1） 世界坐标系与摄像机坐标系变换关系

世界坐标系中的点到摄像机坐标系的变换可由一个正交变换矩阵R 和一个平移变换矩阵T 表示为：

摄像机标定技术

正交旋转矩阵实际上只含有3 个独立变量，再加上x y z t ,t ,和t ，总工有6 个参数决定了摄像机光轴在世界坐标系中空间位置，因此这六个参数称为摄像机外部参数。

（2） 图像坐标系与摄像机坐标系变换关系

如图 1 所示，摄像机坐标系中的物点P 在图像物理坐标系中像点u P 坐标为上式就是摄影测量学中最基本的共线方程。说明物点、光心和像点这三点必须在同意条直线上。这是针孔模型或者中心投影的数学表达式。根据共线方程，在摄像机内部参数确定的条件下，利用若干个已知的物点和相应的像点坐标，就可以求解出摄像机的六个外部参数，即摄像机的光心坐标和光轴方位的信息。

摄像机镜头的畸变

由于摄像机光学系统并不是精确地按理想化的小孔成像原理工作，存在有透镜畸变，物体点在摄像机成像面上实际所成的像与理想成像之间存在有光学畸变误差。主要的畸变误差分为三类：径向畸变、偏心畸变和薄棱镜畸变。第一类只产生径向位置的偏差，后两类则既产生径向偏差，又产生切向偏差，下图2 为无畸变理想图像点位置与有畸变实际图像点位置之间的关系。

（1）径向变形（径向畸变） 光学镜头径向曲率的变化是引起径向变形的主要原因。这种变形会引起图像点沿径向移动，离中心点越远，其变形量越大。正的径向变形量会引起点向远离图像中心的方向移动，其比例系数增大；负的径向变形量会引起点向靠近图像中心的方向移动，其比例系数减小。见下图3，数学模型如下

（2）偏心变形由于装配误差，组成光学系统的多个光学镜头的光轴不可能完全共线，从而引起偏心变形，这种变形是由径向变形分量和切向变形分量共同构成，见图4，其数学模型为：