高通如何从技术底层推动XR交互下一次人机交互革命？

文/VR陀螺 来福

在社会环境、科技发展的影响下,XR产业迎来了“第二春”,不仅内容生态得到了蓬勃发展,以Metaverse、虚拟偶像、Avatar等为主的XR相关技术和概念开始主导新一轮的资本躁动。而XR终端作为技术的最终载体,与这些技术的融合发展,也成为XR产业的“新未来”。

B站风生水起的虚拟直播频道(图源:VR陀螺)

站在时代的岔路口回望科技发展,我们总能找到相似之处:Windows操作系统和鼠标、键盘的出现,改变了人与电脑交互的方式,让大型专用机器变成个人电脑;第一代iPhone使带有多点触控能力的电容屏,彻底革新了人与手机的交互,塞班系统退出历史舞台也代表着智能手机真正流行起来……

1995年和2017年的Windows交互界面(图源:Spiceworks)

事实上,历史已经向我们证明,人机交互很大程度上决定科技的普及。苹果、Facebook、谷歌等科技互联网巨头在数年来不断深入VR/AR产业,众多新兴科技公司也开始着眼于VR/AR,科技领域的共识向外界释放了一个信号——VR/AR硬件是像电脑、智能手机一样的下一代计算平台。

换句话说,在被科技巨头们视为下一代计算平台的VR/AR里,会是手势识别、6DoF追踪、面部识别等人机交互的主场。从这个角度出发,我们又应该以什么姿势迎接XR产业的“新未来”,以及如何推动VR/AR的普及呢? 

XR交互技术变革背后 底层技术和算力提升是关键 

要理解人机交互在VR/AR领域的重要意义,需要了解什么是人机交互。

根据释义,人机交互(Human-Computer Interaction,简写HCI)简单来说,就是想办法让机器更了解人类。其功能主要靠可输入输出的外部设备和相应的软件来完成,我们所熟知的键盘、鼠标、系统级UI都属于人机交互的范畴。在VR/AR行业,人机交互诸如“用头显摄像头捕捉手势,转化成数据代码,并以此重构虚拟世界”的操作。

图源:Neowin

也就是说面对海量数据,VR/AR的人机交互不仅仅依托于5G网络传输、SLAM空间识别、边缘云计算等核心技术,更重要的是一颗具备强劲算力、可独立运行的“芯”。

举个简单的例子,高通骁龙888的CPU整体性能与前代骁龙865相比,提升达25%,GPU提升为35%,这一提升的直观改变之一就是屏下指纹解锁速度变快、面部识别速率提升。性能提升+5G支持带来的交互体验进化,让骁龙8系移动平台成为每年安卓顶级手机的标配。

以上只是举一个简单的例子,实际上从输入密码解锁,到毫秒级面部识别解锁;从1kg左右的大哥大,到100g的智能手机;从只能玩黑白像素贪吃蛇,到流畅运行3D游戏《摩尔庄园》。手机的人机交互、便携能力等体验因为芯片进化,已经有了质的改变。

按照这一思路回看VR/AR行业,我们仍处在相对早期的发展状态,要实现这些手机级别的交互体验,VR/AR也需要核心算力的再次飞跃。 说到芯片,仍然无法忽视高通在科技领域强大的地位,它始终为各个科技行业提供底层算力支持,帮助一个个天马行空的未来幻想变为现实。在XR领域深耕多年的高通,在对交互的推动上都有那些帮助? 

高通作为产业链上游技术提供商 对XR交互生态普及起关键作用 

从宏观的角度看,高通作为XR产业链上游技术公司,致力于发挥其芯片制造优势。先后推出骁龙XR1、XR2两款面向XR产业的专业级处理器,分别在AI算法、多路并行摄像头、屏幕高刷、5G等方面全面赋能XR终端,使OEM商具备缔造下一代XR交互能力的完整解决方案。

在具体技术布局上,高通主要涉及硬件和生态两方面。

硬件方面,高通骁龙XR2平台可以说决定了VR一体机现在的形态。从2017年Windows Mixed Reality使用Inside Out技术后,对VR头显到底适合Inside Out还是Out Side In的讨论一直没有停止。直到搭载XR2的Oculus Quest 2迅速征服市场——这一讨论也算有了阶段性结论,用户更青睐无线、易用的Inside Out头显。

Quest 2即使在光照条件充足的户外,依然能够准确定位,关键在于其Inside Out技术调用头显上的4个摄像头。在使用如其他系芯片的头显,仅能够调用2个,无法完成Inside Out定位,只能通过其他手段辅助定位。这一技术能够实装,很大程度上依赖骁龙XR2平台专为XR产业定制的功能——支持调用7路并行摄像头。

XR2这一能力极大地拓展了XR硬件能够触达的边界,不仅在拓宽XR领域人机交互的能力,在空间定位、6DoF、手势识别等方面提供更流畅的体验,更是让搭载该平台的一体机拥有更多可能性。 

高通在XR硬件领域所做的努力远不止芯片,它还联合全球十五家运营商共同打造XR Viewer产品。XR Viewer作为一种轻便的头戴显示设备,可通过USB Type-C连接至搭载高通骁龙855或骁龙865移动平台的5G智能手机。

简单点理解,XR Viewer就是把用户的手机作为主运算设备、头显作为副运算设备,用户手机上的内容可以通过XR Viewer以AR的形式展示。目前的单独的VR/AR硬件设备,头显部分仅提供显示,续航、发热等问题无法提供完美的人机交互体验,但高通XR Viewer通过两个运算单元的合力运作(即手机处理器与头显端内置的协处理器),不仅提升了算力,也极大提升了头显在人机交互方面的表现。

除了XR2平台和XR Viewer之外,高通还提出了无界XR(Boundless XR)的概念,也就是分布式处理,分布式处理能在XR Viewer的基础上最大程度利用5G通讯带来的便利性,将核心算力从前端移至后端服务器,更进一步的减小XR硬件设备的压力,以此提升交互体验。

头显会执行关键的低时延算法,以及眼球追踪、手势追踪、头部追踪等计算工作,然后通过5G网络传送数据至边缘云计算平台,由其处理渲染、编码等计算量较大的任务,最后通过5G再将数据回传至头显。也就是说,大量的数据处理工作会在云端完成,而XR设备的设计就不再受制于散热、大小等因素。 高通XR业务中国区负责人郭鹏表示:“随着5G技术的普及,拥有5G功能的XR头显,能够实现更快的传输速度和更大的数据吞吐量,让XR头显与移动边缘计算网络之间互联互通,以实现分布式处理愿景。”

高通方面认为,现阶段的分体式XR硬件也会在5G的助力下转变为无线,与XR一体机走向融合。 数年来,高通一直致力于提升XR产业发展水平,不仅从硬件核心的芯片技术赋予XR硬件更多能力,从底层拓宽其人机交互的表现;在系统层面,高通率先将XR产业与5G等新技术链接,帮助分体式的XR硬件设立标杆,一方面提升了用户的使用体验,另一方面则是更进一步的拓展XR领域能够触达的边界,让更多的新想法、新技术实装。

与深耕硬件领域类似,高通也在持续不断地发力XR生态建设,进一步推进下一代交互革命。

在XR Viewer发布同时,高通还发布了“高通XR眼镜适配计划”,该计划包括面向智能手机和面向XR Viewer的两类认证,能够支持OEM厂商(包括智能手机厂商和XR Viewer厂商)验证多款智能手机和多款Viewer之间的适配,无需进行一对一适配。 这样联合生态多家厂商共同合作的案例在高通身上并不罕见。我们知道,XR1和XR2不仅仅是芯片,更是针对于硬件厂商开放的开发平台。

高通还与XR硬件龙头供应商歌尔携手打造骁龙智能头显参考设计,帮助OEM和技术生态系统合作伙伴缩短AR和VR智能头显设备的开发时间。此外,高通还与Nibiru合作,利用其AR/VR系统、内容及应用引擎,加速OEM/ODM的量产进程,并降低内容及应用的生产成本。

目前搭载高通骁龙XR平台的XR设备已经成为市场主流。不管是提供给C端的影音娱乐、游戏,还是面向企业级客户的生产力工具,高通骁龙XR平台都有所涉猎。国内众多厂商也加入到高通生态中,包括Pico、爱奇艺智能、影创科技、大朋VR、Nreal、瑞欧威尔、3Glasses、HTC VIVE等都已经推出了搭载高通骁龙XR平台的XR硬件设备。

高通与各大OEM厂商、开发者及解决方案商达成合作,从技术角度讲,高通通过接触、帮助不同的行业伙伴,将诸如Inside Out等先进技术分享给行业伙伴,系统性的带领行业前进,用技术赋能厂商在各自领域深挖探索XR人机交互的使用场景。

从生态层面来说,联合产业链从硬件生产到内容制作的各家厂商,带来诸如XR参考设计的高效生产方案,一方面解决了大部分公司在生产效率、成本方面的难题,另一方面则是带领行业提高生产能力后,帮助硬件、内容大规模落地,以方便XR厂商从实践中获得迭代经验,推进下一代人机交互革命的升温。 

Metaverse实现难度高 核心需求是算力 

聊完了行业,再来看看市场。区块链后再无“爆点“的科技行业,这两年开始了飞跃式的前进。在2020年众所周知的疫情影响下,全球虚拟社交蓬勃发展,PC端的办公软件Zoom、钉钉等用户数量攀升,手机端也火了语音社交应用Clubhouse,而在VR端,则是凭借VRChat等社交软件中各种虚拟演唱会、VR环境办公出圈。

图源:Roadtovr

疫情侵袭使得VRChat等VR虚拟社交软件大火,而趁着这股劲头,各大厂也不忘再添把柴。扎克伯格曾表示,Facebook正投入更多研发经历在用户虚拟形象的拟真上,以帮助用户获得更好的交互体验。同时,EPIC结合旗下Unreal引擎推出支持自定义创建近乎真人体态的工具平台Metahuman,进一步拔高了VR行业在虚拟形象构建、虚拟人交互技术等层面的标准。

时间来到2021年,不管是游戏圈、创投圈还是VR圈都在奔跑追逐的词——Metaverse。如果说虚拟形象或者社交软件只是VR中的某个部分,那么Metaverse就代表着VR的未来。理想中的Metaverse就像一个真实世界在虚拟空间中的复刻,在这其中,用户可以自然的“坐”在沙发上,“拿”起水杯,甚至“飙车”。

要实现这样的Metaverse,几乎意味着整合了所有VR涉及到的底层技术,以前文为例,最简单的“拿”,也需要手势识别、手柄或力反馈装置提供人与物体接触面的力,才能够达到真实。

而在虚拟空间中“坐”,需要人体臀部装置提供向上支撑的力,还需要精确捕捉人的移动、身体的运动,以及精准识别从A到B点的空间构建,这就涉及动作捕捉、力反馈装置、空间识别等多项技术。

“飙车”就更加复杂,不仅涉及了车辆建模、力反馈、还涉及到空间识别和定位技术,更别提还有细节体验,比如安全带的力反馈、方向盘的皮质触感模拟、竞速的推背感等更高难度的模拟技术。

Metaverse不仅在技术方面要求极高,对内容库的要求也同样“惊人”。真正要在虚拟空间中构建一个让人类生活的世界,就代表内容要包括衣食住行的方方面面,而且其中万事万物都要能够相互连接、彼此沟通,其需要的内容数量庞大,并且彼此适配程度要足够深。

总的来说,前者那些手势识别、空间定位、力反馈、建模等技术的实装,依赖的是芯片足够强大的底层技术和计算能力,只有像高通这样的企业将芯片、平台的能力发展到时代潮流之前,我们理想中的科技未来才能实现。

而后者“万物互联”的理想,恰恰正是高通正在做的事情——以高通等底层芯片技术厂商为基础,带动全产业参与合作,加速开放和互联。

总结  

通过分析,我们不难发现,Metaverse的构建首先要完成XR领域交互技术落地。也就是说,只有像高通这样的芯片算法研发厂商,从底层芯片算力抓起,不断扩大能够承载的运算空间,才能让XR相关技术顺利落地,从搭建起理想中的Metaverse。

随着下一代人机交互革命被掀起,我们将不得不接受一个由XR交互技术主导下,不断催生出的新场景形态变革。而这一切的底层推手,正是像高通这样深度嵌入产业链的企业步步为营发展而来。