Mesh：微软在MR生态上的重要布局

HoloLens作为AR眼镜最高配,一直以来多被应用于工业甚至是军事领域。可这次,陀螺君居然在HoloLens上看到游戏应用的出现,让佩戴者与皮卡丘同框。

这是上周微软在IT盛会Ignite 2021上与任天堂合作展示的HoloLens版本《Pokemon Go》。这个版本与此前的移动端版本有所不同,玩家可与宠物小精灵进行直接的互动,而且两位玩家在现实中相遇,能够看到彼此的宠物小精灵,来一场宠物小精灵Battle。

相比于《Pokemon Go》,微软的黑科技“全息传送”再现更引人关注,微软技术研究员基普曼通过全息投影出现在了大会现场。

无论是HoloLens版本的《Pokemon Go》,还是基普曼的全息投影的实现,都是基于微软最新推出的服务平台Microsoft Mesh。 

什么是Microsoft Mesh ?

Mesh作为一个由Azure提供支持的新的混合现实平台,在此次大会上被微软正式推出。据微软介绍,它将简化多用户XR应用程序的创建。我们可以将Mesh理解为,是微软为开发者提供用来创建多人XR应用程序的开发工具。

Mesh平台允许处于不同物理位置的人们通过不同类型的设备,以虚拟形象甚至是全息投影的方式进行协作、共享,将最具真实感的自己投射在MR世界中与人交流,就像是在真实世界与人互动。

基普曼表示:“你可以感受到自己与他人进行内容共享,或是通过不同MR设备进行传送,即使你们并不处在同一个物理位置。”

据微软介绍,Mesh是微软研发多年的成果,涉及内容从手部、眼动追踪,Hololens的发展到创建持久性全息图、创建个性化虚拟形象的人工智能模型。

云计算是微软的核心业务,Mesh的底层就是云计算平台Azure,受益于其庞大的计算资源、数据、人工智能以及MR服务。

因此Mesh是云计算的进一步扩展,Mesh所支持的全息传送以及高精度的虚拟人物面部、动作追踪等,需要云计算去帮助解决运算、硬件、渲染、储存等诸多问题。

基普曼说:“我们将越来越多的价值建立在智能云Azure。在这些协作体验中,其内容并存储在设备或是应用中,而是储存在云端,需要特殊的镜头让我们去看到他。”

借助支持Mesh的应用,无论地理位置如何,用户都可使用3D物理模型(无论是小到家具,还是大到喷气发动机等等事物)在共享空间以自己虚拟形象或是全息投影形象出现在共享的虚拟空间中,在全息模型上进行协作。

那微软为何要推出多用户XR应用程序开发平台Mesh?

微软在介绍中表示MR是继大型主机、个人电脑、智能手机之后的第四波计算机浪潮,正在成为跨消费与商业领域的主流。MR将人们从屏幕体验中解放出来,让人们可以在自己的空间与人或物产生直接交互。

据介绍,世界上有数以亿计的用户通过手机进行过任天堂的MR体验,《财富》杂志所统计的前五百强组织50%以上曾利用HoloLens等MR解决方案提高投资回报率,促进业务发展。

鉴于此,MR发展至今能为人们带来MR体验的应用程序数量应该非常可观,然而事实并非如此,因为一些开发条件限制了开发人员的MR体验的开发,特别是以下4个问题:

1、在MR体验中呈现具有真实感的人需要大量时间与资源;

2、跨时区与设备类型在共享MR空间保持全息图的稳定并非易事;

3、难以将拥有高保真度的3D模型引入MR体验以支持客户所拥有的文件格式;

4、在地理位置相对分散的MR会话中,想要同步用户的动作与表情是一项复杂的工作。 微软正是为了解决这些挑战而推出Mesh:让开发人员进行多用户MR应用程序设计,而无需担心复杂的技术挑战。

那Mesh所实现的功能背后是怎样的技术在支撑? 

Mesh功能呈现及技术解析 

微软对于Mesh的定位,主要在于打造能够跨屏幕、自然交互、与真实观景和人互动的体验。因此该平台需要围绕微软现有的HoloLens平台、MR头显平台以及更多常用平台进行功能设计。

事实上,Mesh平台从多个方面定义了未来XR应用应有的一些特质,比如跨平台支持、基于云端服务、支持LBA AR等等。每一项功能单拎出来看,都有与之对应的企业及服务面向一部分特定用户群体在蓬勃发展。

图源:微软官网

1、与微软其他平台、工具相互通

Mesh基于Azure打造,能与微软其他平台、工具相互通。借助Azure Active Directory和Microsoft帐户等身份服务,在经过适当身份验证和授权后,能将用户带入安全且受信任的会话中。Microsoft Graph则可让用户将商业或是消费者空间的内容、联系等信息接入。而且作为开发人员,而无需担心计费、音视频传输、底层实时管理功能等核心基础架构。

除了核心平台,微软由AI支持的关键性功能让Mesh能通过实现用于MR的大规模多用户在线(MMO)场景来解决一些最复杂的技术挑战。

2、临场感

Mesh提到的临场感主要指两点,第一点是有代表性的虚拟形象,在多用户MR体验中,不同类型设备使用不同代表性虚拟形象,这些虚拟形象用户可进行个性化定制。Mesh通过设备的Inside-out传感器为用户提供有代表性的3D虚拟形象并做出呈现。Mesh平台自带虚拟形象与自定义制作工具,因此虚拟形象可直接使用。此外,该平台还可以通过其AI驱动的动作模型帮助现有的虚拟形象捕获与用户动作一致的动作和表情。

第二点是通过Outside-in传感器实现最真实的360度全向拍摄,这些传感器可进行自定义相机的设置,比如通过 Mixed Reality Capture Studio将捕获的3D图像以高保真度保存下来,或是利用Azure Kinect捕获深度感应用图像,用以帮助生成全息图像。

Mixed Reality Capture Studio 当全息图生成后,可在XR头显或是手机、PC、平板电脑上启用基于Mesh开发的应用程序使用全息图,并将其呈现给用户。

3、空间地图

在Mesh到来之前,各种设备只拥有自己局部世界的地图,而借助Mesh,这些本地缓存地图可进行合并与优化,形成一个对空间、环境的全局式了解。这个框架将内容进行锚定,视野进行分享,并进行3D协作。

Mesh帮助创建的地图精度要高于GPS,甚至是在GPS无法进行定位的空间进行。它有助于交付可以与特定兴趣点关联的“世界锁定全息图”。此外,Mesh可以生成与给定对象的精确布局和几何形状对齐的相同理解,从而使开发人员可以轻松构建可能需要将对象与视觉信息(如指令、服务记录,以及其他重要数据)完全匹配的可视化信息覆盖的应用程序对象。

4、全息渲染

全息渲染是智能边缘云计算和智能云架构的典型实例,全息渲染在Mesh的支持下可以对设备的运算与功耗不做要求的情况下,依然做到高保真度。Mesh允许开发者为每个场景与模型在本地独立渲染与通过云连接进行的远程渲染之间进行选择,赋予了开发者在进行应用程序设计时更高的灵活度,这些应用程序可根据设备的不同进行延迟与保真度的优化。 

5、多用户同步

在虚拟协作会议中创建全息图的共同视角,并且进行互相交流对开发者而言是一个大的挑战。在Mesh中,共享的内容是通过多用户同步启用的,这将有助于对参与者姿势、动作、表情,或是空间中全息图的变化进行更新。所有这一些都发生在100毫秒的延迟内,无论是在同一个物理空间或是异时区。Mesh中的空间音频会对这些功能进行增强,从而在多用户场景中营造在相同物理空间的感觉。

据微软介绍,为了利用这些功能,Mesh会为开发者提供跨平台的SDK,以便开发者针对不同设备类型进行应用程序的创建。目前Mesh与C++与C#一起支持Unity,在接下来的几个月中,Mesh将会支持Unreal、Babylon以及React Native。除了访问功能外,SDK还提供预构建的UX结构,供开发人员在应用程序中使用。这将使得开发人员更快速、简洁地提供MR体验。

Mesh平台的出现,将这一系列新功能集合到一起,共同成为XR应用的特质呈现。这种整合,将零星的技术方向化零为整,让XR的概念逐步具象化,而这正是它的最大贡献。 

Mesh背后,Azure智能云带来的价值 

基于Mesh开发的XR应用程序,能被广泛的应用于多个领域、多个场合,这主要归功于Azure智能云带来的价值。

Mesh的虚拟协作特性,能让跨时区的用户通过数字化的方式汇聚在一起,共同探讨理解有助于更快速地查看数据资料,并更好地做出决策。

用户可进行随时随的共同训练,得益于”Holoportation”(全息传送:微软公司开发的3D视频捕捉系统)、全息共享与可视化功能,合作伙伴无需花费时间与精力在旅途中,便可进行面对面的学习。

例如,远程医疗,专家可以看到其他医师的诊断,并进行数据覆盖以确保达成共识,更好地解决问题、共同制定决策。设计师、工程师可共同进行3D设计,团队成员可在参与设计时利用不同设备进行想法和创造力的分享。无论是在现实中亲临现场,还是通过全息传输,同事间都能在内容上进行实时协作。

Mesh的多应用场景与基于云计算平台Azure的性质,意味着微软云计算产业与MR业务的扩展。 微软技术研究员亚历克斯·基普曼(Alex Kipman)表示:“从一开始,这就是混合现实的梦想。”

实际上,您可以感觉自己就像在与共享内容的人在同一个地方,或者您可以从不同的混合现实设备进行传送,即使在身体不在一起的情况下也可以与人们在一起。”

他认为,伴随着越来越多的人在Mesh平台活跃,我们所有人都是参与正在Azure智能云中建立价值的一环。在这些协作体验中,内容不在目前用户的设备或应用程序内部。全息内容被上传到到云端,这意味着用户所佩戴的混合现实设备只需要负责沉浸式的呈现视觉效果和交互即可。对于有限算力的个体而言,这是一种飞跃。”

最重要的是,随着XR应用在Meah平台的逐渐发展和成熟,更多的安全隐患和从未见过的网络安全事件开始成为备受瞩目的焦点。相比之前,在基于Azure智能云Meah平台上获得的新版AltspaceVR体验,可以使公司能够使用企业级安全功能(包括安全登录,会话管理和隐私合规性)在虚拟现实中举行会议和工作聚会。

Azure智能云为Meah容纳海量模型场景和人物提供先决条件,这令该平台与传统意义上的APP区分开来。你可以理解为在XR环境下,这种应用间的穿梭更像是一种城市之间的一次旅行,期间不会产生下载的过程,更不会出现硬件算力适配的问题。

实际上,自2020年末开始,各个大厂开始权力推行基于云服务的平台服务策略。其中,Epic的数字人平台、HTC的VR社交平台等等,均先后拥抱云技术。算力、资源的云端化,将为更加安全、高性价比的XR体验下放到每个普通消费者身边,这也是XR产业普及的曙光。

总结

微软在XR方向布局不遗余力,也正如技术负责人Alex Kipman从“海底深处”突然“闪现”,之后用诗般浪漫的念白开场所述—— 一个人做梦只是梦而已, 所有人一起做的梦就叫现实。

错失移动互联网先机的微软,正在MR领域结合云计算优势带着每个人最近未来。Mesh,绝非是锦上添花的存在,如果保持这样的优势,拥有XR底层开发系统与云计算支持的微软或将定义XR未来的某些标准。

而随着苹果、Facebook等纷纷以不同方向入局,这将为未来的MR产业带来极为丰富的生态。