四维数字光场捕捉技术的作用

真实感是AR的核心体验，要求尽可能真实的完成对立体世界的呈现。对于真实世界中的物体实际看到的是光场。光场简单来说就是光线在空间中同时包含位置和方向的参数化描述，一束光线有两个关键信息:发射点的位置和光束在立体空间中的传播方向，光携带二维位置信息和二维方向信息在光场中传递。根据光场渲染理论，任何一束携带位置和方向信息的光线，都可以用两个平行平面进行参数化表示，光束与这两个平面各相交于一个二维交点，形成4维函数，也就是4维光场。

光场之所以能产生立体感，就是因为光线是从物体各个位置发出的，光线携带了方向信息，也就携带了物体的立体信息。光线到达人眼的方向和位置不同，会产生双目视差、移动视差、聚焦模糊等效果，经大脑处理产生立体感。而普通显示屏幕看到的是物体的像，相比于光场缺少了光线的方向信息。普通成像通过凸透镜将前方的发射光线汇集到底片上，底片是平面，两条不同方向的光线通过透镜后打到底片同一位置，底片只能将其混合后的颜色记录在同一像素点，无法保留各自的方向信息，造成信息丢失。丢失的这部分信息在成像时自然无法还原出来，所有光线到达眼睛的距离、方向基本都相同，既无需调节双目焦距，也不会随着观察角度变化而出现显著差异，大脑不处理立体信息，无法产生真实的立体感。因此，相比于普通摄像设备，能够记录光场信息的光场相机无疑是AR内容生产更合适的选择。

光场相机是指能够同时记录光线位置、方向、颜色和强度信息的成像设备，其关键技术在于四维光场捕获，目前主要有三种技术方案:

微透镜阵列:这是最常用的技术方案，实现难度也最低。通过在普通成像系统的一次像面处插入一个微透镜阵列，每个微透镜记录的光线对应相同位置不同视角的图像，从而保留光的方向信息，获得四维光场。著名的光场相机Lytro就采用此方案，在图像传感器上贴了一张微透镜膜，包含近10万个微透镜阵列，使不同角度的光线经折射对应到不同的像素点上，同时从多个场景视角捕捉光线信息，再通过后期算法处理进行数学重建，还原出趋近真实世界的光场。除Lytro外，Adelson的全光场相机，Ng的手持光场相机，Levoy的光场显微镜，Adobe类似昆虫复眼的镜头等也都采用微透镜阵列获取四维光场数据。

相机阵列:相机阵列是通过相机在空间进行一定排布，各相机同时从不同视角抓取图像，进而通过特定计算重构出光场信息的方法。采用此技术方案的主要是高校研究样机，包括斯坦福大学128相机阵列，MIT64相机阵列等。Isaksen采用单相机扫描方案，即单个相机在场景中进行移动获取不同视角的图像，原理与相机阵列类似。此方案优势在于合成孔径成像，大视角全景拼接，但成本和技术难度都较高。

其他类型:共同特点是对相机孔径做特定处理，通过规律的调整孔径大小捕获光场。如Veeraraghavan的掩膜光场相机在普通相机光路中插入掩膜，将图像变换到频域得到与光场数据类似的频域特性，再反推得到四维光场。相比于微透镜阵列其成像质量更高，但软件编程更加困难。而可编程孔径相机则是插入特殊遮光板，通过编码重构出四维光场。

图94:Adobe光场相机摄像头

图95:Lytro光场相机