ToF深度相机(一)

何为深度相机，深度相机有哪些种类，与普通相机(二维相机)有何区别，实际生活中有哪些应用？就从业者的角度，综合行业的现状总结了相关的知识，希望能够与各位读者分享。（因内容较多，故分成两篇文档讲述相关内容）

Part  1   

1.3D视觉

我们通常所说的3D就是具有X,Y,Z轴方向信息，那么3D视觉就是通过相机能够获取现实三维场景中，物体完整的几何信息，且通过上层算法处理，将带有深度信息的图像转换为精准数字尺寸信息，从而实现高精度的识别、定位、重建等机器视觉的关键功能。2017年，iPhoneX的发布，为3D视觉技术打开了一扇新的大门，使得3D视觉技术从传统意义上只应用于专业领域的高端技术，变成了大众应用的消费级产品，也让消费者体会到技术给生活带来更多的便利。

                         Figure 1 二维空间到三维空间示意图。

目前主流的3D测距方案有三种：双目方案、结构光方案、飞行时间法(Time of  Flight ,简称TOF)，前面两种的原理是采用三角几何视差来获得目标到相机的距离信息，这两种方案的优势是近距离有很高的精度，但是误差会随着距离增大而增大。而TOF技术利用的是指主动投射的光束经过目标物体表面反射后，被TOF传感器接收这个过程的来回时间，通过光速可以获得目标物体到TOF传感器的距离。TOF相对于前面两种有很多优势，比如误差稳定，在远距离有很好的精度(绝对精度&相对精度)。

本文主要介绍3D视觉技术的主要技术路径，简要介绍双目和结构光方案，重点分析TOF技术主要实现方法的基本工作原理，各自的优劣势以及技术挑战。根据行业现状，介绍解决当前TOF相机痛点的一些解决方法，以及一些主要的应用场景。

2.双目技术

双目深度重建利用的是三角测距法计算被测物体到相机的距离，从两个相机观察同一个目标物，被观测目标物在两个相机中拍摄到的图像中的位置会有一定的位置差，这个位置差被称为视差(Disparity)，被观测物体距离相机越近，视差就越大，距离越远，视差越小。已知两个相机的相对位置关系，即可通过相似三角形的原理计算出被测物体到相机的距离。

Figure 2  双目技术示意图

双目深度重建的数学原理分析如下：

如下图所示，y是垂直于平面向外的方向，p是空间的一点，xl xr两个绿点是p点在摄像头内的成像。

为了分析方便，拿理想的情况分析：两个传感器位于同一平面，且相机参数一致(镜头的焦距等)，那么，

那么推导得出：

从而求得深度z的值。

我们了解了双目技术的基本原理，那么双目技术也是有很多不足之处：比如计算量大，目标物体的纹理、环境光照等因素会影响探测精度。

3.结构光技术

结构光方案也是一种特殊的双目视觉3D成像技术，被称为主动双目技术，因为它需要主动去投射后的光束投射到被测物体上，通过结构光的变形（或飞行时间等）来确定被测物的尺寸参数，因此才叫做主动三维测量。结构光需要两个基本组件，一个红外投射端（一般是850/940nm VCSEL）和一个红外摄像头，如下图所示。

Figure 3  结构光技术示意图

已知的投射端结构化图案和红外摄像头拍摄到的图案可视为左右双目的观测，结构光重建算法和双目重建算法采用了相似的思想，也有相似的问题，同样是大计算量和深度突变处的数据缺失。

3.TOF技术

相比双目方案和结构光方案，TOF的方案实现起来相对简单，主要单元为红外灯发射端、(CCD/CMOS)传感器接收端，TOF传感器给到光源驱动芯片调制信号，调制信号控制激光器发出高频调制的红外光，光束遇到目标物体反射后被传感器接收，接收端通过发射光与接受光之间的相位差或时间差来计算深度信息。

TOF测距原理分析如下：

将发射端发出数据信号和接收到接收端应答信号的时间间隔记为Tt，接收端收到发射端的数据信号和发出应答信号的时间间隔记为Tr，信号在这对收发机之间的单向飞行时间:

(1)  Tf=(Tt-Tr)/2，

则两点间的距离

(2)  d=c*Tf，（其中c表示光在空气中的传播速度）

Figure 4  结构光技术示意图

现大部分的TOF传感器大都采用背照式CMOS工艺技术，该工艺大幅提高了光感面积，提升了光子收集率和测距速度，响应时间能够达到ns级，在远距离也能保证高精度。

Figure 5  传统CMOS&背照式CMOS