AR增强现实注册跟踪技术实现跟踪定位

注册跟踪是增强现实的核心技术。注册跟踪的目的是判断用户所处的位置并确定添加虚拟内容在摄像机坐标下的位置。比如说，在AR辅助导航中如果想把导航箭头“贴在”路面上，就一定要知道路面相对于自身的位置，进而将“箭头”进行三维变换使之与真实的路面合二为一。当然，前提是需要利用物体检测识别技术从二维图像中寻找符合路面特征的物体。随着计算能力的提升，注册技术从早期将已知的二维marker放置在空间中进行位置标定，演进到在陌生环境中依靠视觉算法实现自身定位并重建环境地图。

于认知计算

目前跟踪定位技术的主流研究方向是SLAM(即时定位与地图构建)，该技术根据摄像头、惯性传感器捕获的视觉/运动信息，在计算自身位置的同时构建关于空间的全局地图。SLAM技术在三十年前就已诞生，而近几年无人车、VR/AR以及无人机等领域的火爆将SLAM技术推上风口。在SLAM算法中从二维图片到三维空间的映射需要深度信息，解决方案包括基于双目摄像头的立体几何计算以及RGB-D相机(即Kinect)的结构光方法，目前主流算法包括AndrewDavison教授等人提出的KinectFusion算法以及基于三维点云的DTAM等算法。受制于计算量，AR中应用的主要是基于稀疏点的视觉SLAM，其步骤包括图像捕获-特征点提取-与全局地图比对-位姿计算-地图更新。

图67:SLAM技术对空间场景进行三维重建

SLAM的工作原理是:伴随用户在空间中的运动，可以观察到一些相同特征点在不同时间点的三维坐标，根据坐标逆变换原理计算用户在空间所处位置、运动轨迹，并将这些特征点作为空间场景的结构化信息存储起来成为全局地图。注意，这些特征点可能来自墙角、桌角等关键结构，随着用户的移动范围扩大，全局地图包含的场景信息愈发丰富，最终成为用户对环境的全面感知。基于RGB-D相机的稠密深度图与基于稀疏点的SLAM其区别在于所构建的三维地图场景包含的信息量。RGB-D相机可以完全的构画出场景轮廓与深度信息，稠密的点云能直接用于避障;而基于稀疏点的场景地图则需要通过计算机技术进行联结与抽象，辅以机器学习技术判断出前方有障碍物，并识别出它是一面墙亦或一张桌子。在增强现实中，虚拟物体与空间场景中的坐标成一一映射关系，SLAM得出的位置信息帮助我们判断图像渲染的视角，对空间场景的理解使得影像投射符合物理规律(例如全局地图显示前方有大量障碍物，一个虚拟的地球仪不应出现在障碍物内部)。

截至目前所推出的AR/MR硬件或解决方案都采用了SLAM作为注册跟踪技术。微软发布的HoloLens头显配备了四台摄像头，可以实时计算空间深度图，进而通过其拥有的KinectFusion专利技术(本质上是基于Kinect深度图的SLAM技术)实现精准的位置定位与跟踪，为了应对SLAM中复杂的计算量，微软不惜花费重金引入ASIC(专用集成电路)实现硬件加速。刚刚过去的6月联想发布了与谷歌联合开发的Phab2Pro手机，基于Tango的SLAM技术，该手机配备的深度摄像头和动作追踪摄像头能够对现实空间进行三维建模，为各类AR体验奠定了硬件基础。MagicLeap同样借助基于视觉的稀疏点SLAM解决定位与环境感知问题。而苹果在今年五月收购了MetaioAR，该公司早已将SLAM技术集成在其AR开发引擎中，这也意味着市面上开发的App大多借助SLAM技术提升AR体验。

图68:HoloLens基于SLAM将物体呈现在特定区域

图69:Phab2Pro手机基于SLAM实现AR体验

SLAM应用于AR领域是大势所趋，然而现存的问题也不可忽视:1)AR终极目的是欺骗人眼，因而对局部计算精度要求苛刻，SLAM所恢复出的位置信息应避免漂移、抖动，这样叠加的虚拟物体才能与真实场景完美融合，因此多源的信息融合技术与抖动处理有待进一步优化;2)SLAM中复杂的计算量将对移动AR设备续航提出挑战，从算法角度精简计算复杂度，借助异构计算平台实现并行计算甚至定制芯片级解决方案都是可行之道。