详解眼动追踪技术的价值和挑战

文／VR陀螺 小钻风

眼动追踪已成新一代XR设备的标配。 

早在2020年Quest 2推出后不久，便有不少人在暗暗猜想下一代XR头显会有哪些新功能，其他厂商如果想要挑战Quest 2又需要哪些杀手锏。 

经过对厂商动态的细致解读，可以发现备受XR厂商推崇以及用户期待的当属眼动追踪。眼动追踪技术极具想象力的同时又具备落地的切实可能，几乎可以票选为最受期待的新功能。   

眼动追踪成XR头显新标配 

迎来从B端向C端发展的拐点  

至2022年初，最受市场关注的苹果MR头显、索尼PSVR 2，以及Meta下一代头显Cambria的产品信息大量曝光，这些产品会成为接下来的XR硬件风向标。 PSVR 2与Cambria相较于前代产品，在性能规格上有所迭代的同时，新增眼动追踪为其重要新功能。 苹果MR头显虽然神秘，但从2021年初被彭博社曝出会在2022年推出时起，多方信源一致透露眼动追踪功能大概率会被采用。此外，近几年大量曝光头戴式显示器的眼动追踪专利，也进一步证实了眼动追踪将在苹果MR产品里发挥重要作用。 

以上三大厂商虽然有很强的风向标性质，但市场对其消费级产品期待性高，因此他们在向市场推出新品时格外谨慎，在新功能的迭代上也会较市场试水产品晚。 而像HTC、惠普、Pico等大厂商则已经先行一步，推出了搭载眼动追踪功能的产品。过去三年，我们在XR方向已经能看到不少眼动追踪技术在头显上的应用。比如：

2019年CES，小派科技推出具有眼球追踪功能的Pimax 8K头显；

2019年Varjo推出的VR－1头显采用定制的眼动追踪解决方案；

2019年HTC Vive推出搭载全新眼动追踪功能的Vive Pro Eye；

2020年CES，Pico发布搭载眼动追踪的Neo 2 Eye VR一体机；

2021年惠普推出Reverb G2眼动追踪头显；

2021年Pico发布搭载眼动追踪的Neo 3 Pro Eye VR一体机 ；

2022年索尼宣布搭载眼动追踪的PSVR 2；

由于眼动追踪技术门槛较高，想要做到专业并非易事。虽从专利披露情况来看，各大厂商均有在眼动追踪方向有所研究，但其推出的硬件产品所搭载的眼动追踪功能还是以与眼动技术提供商合作为主。
以上提及的产品也不例外，其眼动追踪技术大多来自瑞典眼动追踪厂商Tobii。在英伟达VRSS技术和高通的XR参考设计中也可以看到Tobii眼动追踪技术。

英伟达VRSS 2集成Tobii眼动追踪技术（图源：英伟达）

除此之外，这些先人一步的眼动追踪产品还有一个共同特点——主要面向B端。 先B端再C端是很多新技术应用的默认发展路径。一般在B端中应用成熟之后，下一步就会推向消费端。眼动追踪在消费级产品PSVR 2与下一代Meta头显的搭载就是其在消费端走向普及的关键信号。眼动追踪在2022年将迎来从B端向C端进行大规模应用的拐点。 那即将在消费级XR头显中得到应用的眼动追踪技术现在处于什么阶段？又有哪些难题等待破解？陀螺君向Tobii的技术人员进行了相关了解。

眼动追踪的技术现状与挑战  

眼动追踪技术的基本原理并不算复杂，实现方式也不只一种。目前最常见的是以Tobii为代表的技术提供商所采用的瞳孔角膜反射法。 该方案下的眼动追踪主要由眼动摄像机、光源和算法共同完成。光源发射红外光在眼角膜反射形成闪烁点，眼动摄像机捕捉眼睛的高分辨率图像，再经由算法解析，实时定位闪烁点与瞳孔的位置，最后借助模型估算出用户的视线方向和落点。

XR设备中眼动追踪工作原理简示图（图源：Tobii） 

整合方案的适配挑战 

眼动追踪技术原理虽不复杂，但当前XR设备形态配置不一，采用的光学设计各异，因此对眼动追踪整合平台和方案都提出了不小的挑战，需要方案提供商具备强大的研发能力和整合经验。 背靠二十年研发和主要XR设备整合经验的Tobii，在过去数年一直紧随市场需求变化而进行自我进化。今天，无论XR头显设备是基于菲涅尔镜片hot mirror或是折叠光路pancake光学设计，是一体机或需要连接PC，用于虚拟现实或是增强现实，都可以得到Tobii XR解决方案的支持。 

据悉，为帮助XR OEM 了解Tobii 眼动追踪在其设备中的价值，Tobii还提供眼动追踪XR 模块，作为快速的概念验证工具。 对于XR OEM来说，眼动技术这样的自我进化能力不仅是当下产品质量性能的保证，更是厂商为开发者提供代际产品一致性、减少重复性开发的关键所在。

高精度的人群覆盖挑战 

当眼动技术走向消费级设备的时候，其解决方案的质量决定因素便不再只是高精度（precision）和准确度（accuracy），而是这样的指标是否可以在庞大的消费群体中得以复现。 

关于这个问题，Tobii提到了人群覆盖的概念：“人群覆盖（population coverage）在Tobii之外的眼动追踪方案中并不是一个常见指标，但我们却认为它极其重要。消费级XR头显设备需要考虑千百万用户中可能出现的不同情况，比如眼睑下垂、化妆品覆盖眼部重要特征、佩戴框架眼镜和隐形眼镜、具有弱势眼或优势眼，以及因不同种族而有的眼部特征差别等各类复杂情况。” 

“让眼动追踪在所有消费者身上都能正常工作，这意味着其解决方案需要在95％ 甚至99％ 的人群中达到较高的精度和准确度。否则，XR应用就无法确保所有用户都满意。Tobii 非常自豪能够引领这一重要指标，这是二十多年来我们在科研应用和产品商业化方面所付出的努力和经验积累的结果。”

同一人群覆盖度下的眼动追踪准确度误差越小越好（图源：Tobii） 

消费级设备的成本挑战 

在硬件产品中，任何技术组成和新功能的成本以及性价比都是XR厂商的重要考量。此前我们所接触或听闻发布的包含眼动追踪的产品大多定位高端或面向B端，是成本因素使然；而厂商看到这一技术在应用创新上的广阔前景而予以采用整合，则显示出对性价比的高度认可。 

Tobii认为，有很多可见的趋势正在进一步提高眼动技术的性价比。趋势之一就是更好的技术工艺正在降低硬件和工程成本。比如在基于折叠光路设计的VR设备中，Tobii的解决方案能够仅使用一台眼动摄像机而不影响质量，在质量与成本之间获得更好的平衡。另外，使用标准组件以及消费级设备的量产也可大幅优化成本。 

除了上述的可见成本之外，XR厂商也开始重视眼动追踪技术整合的隐形成本，这样的成本包括如果不能在95％甚至99％的人群覆盖下获得高准确度和精度，XR设备将失去对消费群体的产品许诺，丧失硬件和品牌价值。 

Tobii作为眼动追踪技术的全球领先者，多年的研究和全球产品整合经验为其XR整合平台提供了最为庞大的数据总集和子集，无论XR设备针对全球用户还是局部市场（如亚洲或中国），都可以在高人群覆盖中获得高准确度和高精度。 

除此之外，Tobii认为，“整合眼动技术过程中所需的认证、生产、测试等环节，需要大量经验积累才能避免额外成本。因此，技术方案提供商整合经验越丰富，上市产品越多，就越能控制不必要的成本支出。” 

眼动追踪作为一项前沿技术，历经多年发展，到底有何价值或者想象力，能吸引XR领域厂商的一致看好？   

眼动追踪的核心价值： 优化资源、提升体验、获取洞见  

近年来，眼动追踪在XR企业级设备和应用开发上得到普遍采用，未来在消费级设备上将推动出现更多颠覆性功能和体验。总体来说，其核心价值在于优化系统资源、提供舒适自然的交互体验以及揭示用户行为洞见。 

1、优化系统资源 

基于眼动追踪的注视点渲染技术是优化XR设备系统资源的高效手段和核心功能，也是前文所列举的产品搭载眼动追踪的主要目的之一。 

追求更好的视觉效果是大势所趋，所以未来XR设备的分辨率和视场角都会持续提升，目前VR设备的分辨率已经达到8K甚至12K，产品的最大视场角也达到了210度，随之而来的是对渲染的压力提升，8K屏幕用移动端的处理平台根本无法负荷，但采用注视点实时对局部进行渲染则可以实现。 

注视点渲染可以简化理解为，仅对XR视野内用户注视的中心区域进行高精度渲染，而对视野内的其他区域进行低分辨率渲染，在降低GPU着色负载的同时保持高帧率，以此更好配置有限的算力资源，让用户获得出色体验。这种“聚焦”的视觉效果也与自然的人眼视觉行为特征相符。 

注视点渲染又分为固定和动态两种类型。据了解，采用固定注视点渲染，XR设备会预设显示器中心部分为高质渲染区域。因此用户的注视点需始终处于该区域位置，靠头部转动转移视线。早在2018年，Oculus Go便开始采用这种方式。

而动态注视点渲染则可在眼球转动时捕捉注视点以实现更精准的实时渲染。Tobii曾在不同设备和环境下做过一系列基准测试。测试数据表明，动态注视点渲染比固定注视点渲染能降低两倍的GPU着色负载，能更有效地维持高帧率和优化系统资源。无论是一体机还是连接PC的头显设备，动态注视点渲染都能使其性能更加出色。 

在Pico Neo 3 Pro Eye的硬件环境下，该基准测试表明Tobii的动态注视点技术Tobii Spotlight能将帧率提高78％，一体机能耗降低10％。这无疑是一体机增强硬件性能的极佳方案。  

Tobii动态注视点渲染基准测试之一（图源：Tobii） 

Tobii的动态注视点渲染还被用在了英伟达的VRSS解决方案中。新版本 VRSS 2 以最小延迟为驱动程序提供最新的眼动追踪信息，用于控制渲染帧的超采样区域，根据用户注视的位置提高图像质量。VRSS 是一种零编码解决方案，这意味着开发人员无需添加任何代码即可实现其功能。 

2、舒适自然的交互体验 

社交是VR中极为重要的应用之一，用户通过各自的虚拟形象（Avatar）进行自由交流，期待一种真实沉浸的体验。 为创造这样的体验，XR大厂在Avatar身上下足了功夫，比如Meta开发了从肢体语言到脸部、嘴唇等细节部位足够好的动作捕捉，以增加虚拟形象的表现力。

除此之外，用户社交存在感的重要标志之一是生动而真实的 “眼神”交流，这也将是眼动追踪在消费级XR应用中的一个重要用途。通过自然的目光接触和眼部运动来实现有效沟通和更强的真实存在感，减少“恐怖谷”（Uncanny Valley）效应。

由Tobii眼动追踪支持的Ready Player Me虚拟形象（图源：Tobii） 

自然舒适的用户体验是长时间佩戴头显设备的一个必然要求。Tobii的注视菜单（gaze menu）功能可简化用户与内容的交互，让用户仅通过注视来直观地、不费吹灰之力地做出选择。当用户需要指示关注对象并发出命令时，也可使用注视来完成，而无需费力地用手比划指点。 在AR应用中，虚拟对象需要更好地被映射融入用户的物理世界。眼动追踪可以提供正确的视野深度信息，帮助将对象放置在增强世界中的正确位置，减少现实和虚拟世界之间的视差差异，增强舒适自然的体验。 

3、用户行为分析 

2021年，搭载了Tobii眼动追踪的惠普Reverb G2 Omnicept Edition VR头显很好地诠释了眼动追踪的另一重要价值——与面部追踪、心率传感等传感器组合，通过软件平台分析用户行为并揭示其洞见。

HP Reverb G2 Omnicept Edition（图源：惠普官网） 

这款头显是原有Reverb G2的升级版，升级关键就在于包含了Tobii眼动追踪等系列传感器，以及可对传感信息进行处理的HP Omnicept平台。这套软硬件搭配能够对VR用户活动（例如脑力使用）进行监测、分析和反馈。 厂商及开发者可以借助眼动追踪信息进行用户行为分析，从而对产品、游戏制作等进行优化以及定制。   

结语

随着Quest 2突破千万销量达到消费级门槛，VR头显市场也会迎来进一步的突破。而眼动追踪作为下一代XR头显的标配，也将给更多用户带来创新的应用和体验。