3D视觉系统技术详解

3D视觉技术的发展

近年来，随着芯片技术的发展以及相关软硬件系统的深入，视觉传感器得到了极为广泛的应用。社会越来越智能，可以使用人工智能和大数据技术将人们记录下来的图像智能地利用起来，而不是用一个个柜子将图像、视频束之高阁。
 

从胶卷，到CCD 再到现在特别成熟、随处可见的CMOS，我们对图像传感器的性能追求也逐渐发生了改变。手机上开始出现前摄、后摄，后摄也出现了俗称的“浴霸”、“加特林”。在算法的加持下，每颗摄像头的用处都不一样。

而18、19年将是3D图像传感器起飞与腾飞的两年。有了3D传感器，我们就更容易做基于事件的分析并直接指导我们身边图像的优化做出体感游戏、人脸支付、机器人自动避障、工业自动分拣等应用。

2016年，AlphaGo成为*个不借助让子而击败围棋职业九段棋手李世石的计算机围棋程序，这件事引起了人类的轰动，也展开了各种讨论。随之而来的是人工智能铺天盖地的宣传，这给了无数人信心，机器智能化的大浪潮扑面而来。

 

现在AI是一个很火的词。很多人都想做AI，也有很多人想往AI上面靠，AI的出现就相当于我们有了一个聪明的大脑。以前的处理器，只能处理一个特定场景的问题，AI给这个世界带来了可以自我学习、自我改进的功能，特别是对复杂场景的处理，AI更“聪明”。

可是只有AI，自动驾驶也做不起来，它还需要摄像头、激光雷达、毫米波雷达等各类传感器。

人脸识别也是非常好的一项技术，可以用来做人脸识别闸机、人脸无感支付，但是现在很多时候人脸识别还是容易受到环境干扰、黑客攻击。
所以，想把AI做好，传感器对我们进入智能时代至关重要。有了3D传感器，扫地机不会跌跌撞撞，仅凭一张照片一个视频也骗不开手机解锁，自动驾驶也能检测到来往行人、车辆，变得更安全。

3D传感器在AI几乎所有的领域都有广泛的应用，比如新零售，自动驾驶，个性化教育，智慧医疗，智能安防，智能监护，智能机器人等等。 2019年，我们也将迎来3D视觉技术在各个领域的广泛应用。

 

1、 双目视觉
谈到3D视觉，主要就是指图像不仅仅是二维的XY坐标，还要感受被拍照物体的距离远近，大小尺寸，也就是空间坐标Z。
我们人靠着左右两只眼可以估计出前方的门在3m处，桌子上的茶杯在1.5m处，远处的树大概在10m。仿生学是被应用得非常好的，通过两只摄像头，无人机可以精确分辨前方障碍物一根电线杆的距离。因为在它的左眼中，物体坐标为A，相应的视场角度α， 右眼坐标为B，相应的视场角度β，而基线距离x是早先就在机械结构上确定的。这样通过下面的公式，我们就可以得到空间点的z轴距离。

这个方法已经沿用了很多年，从技术上来说，视野里面所有的点都不可靠了，不能确定左右眼中的两个点是不是同一个点。它的优点就是观测距离远，精度高，成本相对较低。缺点就是面对单一场景，例如一面白墙，波动的水面，皑皑的白雪，绿油油的草地，我们人都会失去参考点，这时候无人机或处理器就无法计算出精确深度。

这也就是为什么双目摄像头鲜少应用在手机、人脸识别、人脸解锁等方面。

另外一个问题是，如果我们要将物体表面做一个高分辨率深度探测，那么处理器先要做多点的图像数据匹配，这个匹配算法的算力要求就超乎一般人想象，然后再执行图中公式的计算，而这个运算是三角函数级别，比较复杂。可以想象如果需要将人脸表面做1000个点的深度信息建模，那么所需要的运算量是多么的复杂。


2、结构光
2017年iPhone X面世，它采用3D结构光的方式，将我们人脸的3D数据测算出来，又一次引领了技术潮流。

对于结构光，其实也是一个很古老的技术，只不过苹果可以把它做到手机里面，还是比较让大家吃惊的。


左图是一个3d结构光的简单实验版。通过右边的投影仪可以投影出黑白相间的条纹状图案，打在一个狐狸面具上面这些条纹状的图案就会产生一定的畸变。通过CCD相机将这个畸变的形状拍下来之后，便可以通过这个畸变的状态，去计算出这个面具相应的凹凸不平的3D信息。比如条纹向左弯曲，就代表凸起，向右弯曲代表凹陷。

单点结构光的三角测距法基本原理如右图，激光光源打出一个很小很亮的红点，传感器接收到之后，就可以在sensor表面找到这个特别亮的点的坐标（x’，y’）。结合光源的投影角，基线距离b，镜头焦距f，就可以通过上面的公式解析出三轴坐标（x,y,z）了。

而IPHONE X使用了3万个点的投射器，然后通过一百四十万像素的红外摄像头，将这些投射点的信息全部都采集回来，这中间一个*复杂的问题，就是要将这3万个点每一个点精确匹配。这里面*难的就是要精确找到打在脸上的点的精确ID，也就是得知道打出点的投射角，基线距离。这个匹配算法是需要非常大量的计算的。而且为了降低计算量，这3万个点的排布在我们看来是随机的，实际是符合某种数学几何规律的。

可以看到这个计算公式里面包含了各项几何参数，所以对组装工艺要求很高，而且后期客户将手机摔倒了或者震动，都可能会影响3D测量精度。

另外这块由于专利的保护，别人很难进入。所以业内对于苹果能推出这个方案，还是很佩服的，苹果还是具备相当强大的工程能力。因为IPHONE X的利润率不错，苹果可以做这块的事情。而别的厂商做这个就挺痛苦的，受限于成本和技术难度。