机器人3D视觉引导技术，之3D图像采集方案、3D图像处理处理方案、手眼标定方案
“中国制造2025”，其核心环节之一就是机器人智能化。视觉技术代表了机器的眼睛和大脑，机器视觉将使得机器人智能化变成现实。基于此，砚拓科技在国内机器视觉领利用“机械手 + 3D视觉”方法，实现了机械手3D视觉引导技术，能帮助机器人/机械手产业实现智能化功能。
机器人3D视觉引导解决方案的组成
机器人3D视觉引导解决方案主要由3D图像采集方案、3D图像处理方案、手眼标定方案以及机器人控制方案组成。其流程图如图所示：
图 机器人视觉引导解决方案的组成部分
由于机器人控制技术与机器人品牌不同而不同，因此，本文暂不对机器人控制技术做讨论，主要介绍3D图像采集方案、3D图像处理处理方案和手眼标定方案。
3D图像采集方案
3D图像采集方案分为Eye-in-Hand方式和Eye-to-Hand方式两种。Eye-in-Hand方式：3D相机安装在机械手上，操作机械手按照预先设定的轨迹带动3D相机对被测物进行扫描。被测物需要在3D相机的视野范围（FOV）和测量范围（MR）内。Eye-to-Hand方式：3D相机安装在机械手附近的龙门架上，龙门架带动3D相机对被测物进行扫描。被测物需要在3D相机的视野范围（FOV）和测量范围（MR）内。除了以上安装方式的不同，3D采集方案根据3D成像原理的不同，又分为被动光双目、主动光双目、激光三角测量法、结构光原理、TOF原理等采集方式。
被动光双目立体视觉
被动光双目视觉由两只面阵/线阵相机、光源组成，两只相机拍摄相同位置，利用视差图，可以计算出物体的高度。可以由2只面阵/线阵相机从不同角度同事拍摄物体，也可以是1只面阵/线阵相机不同时刻，从不同角度拍摄物体。
图 被动光双目立体视觉技术
被动光双目的优点是无需相机与物体相对运动，可以拍摄大视野的范围。缺点是当被测物表面对比度较差时，无法识别到物体，就无法得到物体的3D信息。另外，被动光双目要求每只相机的识别精度较高，否则单只相机的识别误差，会在双目中放大该误差。由于这些限制，被动光双目在工业应用领域使用比较局限。为了拓宽视野范围，消除盲区，也可以把被动光双目技术拓宽为被动光多目。
主动光双目立体视觉
为了弥补被动光双目的缺点，工程师对被测物打一些纹理光作为辅助。如打一些随机点。主动光双目的原理与被动光双目一样，也是根据两只相机的像差来完成。由于主动光源可以更好为被测物增加纹理，因此可以增强此种采集方案的通用性。
激光三角测量法原理
这种原理的视觉技术主要包括2D相机、镜头、激光器、标定算法等内容。主要利用2D相机中拍摄到的激光线形变，通过三角公式即可获取被测物的高度信息。激光三角测量法的安装方法是一个重要影响因素，目前市场上流行的方法是激光线直射被测物，2D相机与激光器成一定角度（即测量角）拍摄。
2D相机的分辨率、安装的测量角都会影响到Z向分辨率。2D相机分辨率越大，Z向分辨率就越大，但由于输出了过多的无用数据，会影响到扫描速度的提高；测量角越大，Z向分辨率也越大，但盲区也会越大。因此，搭建3D视觉系统时，需要综合考虑被测物实际情况，选择合适的相机和安装方法。 除2D相机和测量角外，激光器的光束质量也是影响测量精度的主要因素。选择一个非高斯光束和均匀度好的激光器，对于提高测量精度非常重要。激光三角测量法原理视觉技术特点是：可同时获得X和Z向信息，相机与被测物之间相对运动可得到Y向信息，适合测量近距离、小视野、高速、高精度的场合。
结构光原理
结构光原理的3D相机由相机和投影仪组成。投影仪投射出一系列条纹光，条纹光按照编码进行变换，相机拍摄到条纹后，最终解算出物体的3D信息。为了消除盲区，结构光原理的3D相机一般会采用2只相机和1个投影仪的方式搭建。其特点是：相机与被测物之间必须相对静止，精度高，但采集时间较长。
TOF原理
TOF原理的相机是利用光飞行的时间差来获取物体的高度。可用于大视野、远距离、低精度、低成本的3D图像采集。其特点是：检测速度快，视野范围较大，工作距离远，价格便宜，但精度低，易受环境光的干扰。因此一般在户内使用。
3D图像处理方案
当前，机器人3D视觉在自动化焊接、自动化切割、自动化装配、自动化抓取、自动化码垛等应用较多，一般要求图像处理能识别物体的位姿或者物体边缘的3D坐标。因此，对于3D图像处理技术要解决的问题有2个，物体识别和边缘轮廓提取。可采用以下方式来解决此问题。
手眼标定方案
手眼标定的技术要解决图像坐标与机器人坐标转换的问题。根据Eye-in-Hand方式和Eye-to-Hand方式的不同，标定方法稍有不同，但最终是把被测物相对于相机的坐标转换成被测物相对于工具坐标系的坐标。
从图像中得到物体坐标系和相机坐标系之间的仿射关系，再根据手眼标定关系——也就是相机坐标系和工具坐标系之间的仿射关系，可以获取到物体坐标系和工具坐标系之间的仿射关系，进一步提取机械手可识别的位姿信息来进行引导。
从图像中得到物体坐标系和相机坐标系之间的仿射关系，再根据手眼标定关系——也就是相机坐标系和基坐标系之间的仿射关系，以及基坐标系和工具坐标系之间的关系（后一种可由机器人内部转换），可以获取到物体坐标系和工具坐标系之间的仿射关系，进一步提取机械手可识别的位姿信息来进行引导。
