Google中国AR/VR负责人

5月11日，Unite Shanghai 2019正式开幕，在会上，Google 中国 AR／VR 负责人Carrie Shiung以“Google ARCore为你解锁增强现实的未来”为主题发表了演讲，其讲述了ARCore的核心功能部分，以及ARCore在2019 Google I／O发布的最新功能。

以下为演讲内容整理：

我是Google中国AR、VR负责人。很多人在业界朋友们碰到我， 都会一脸忧虑告诉我，现在AR市场很冷怎么办呢？但是我今天不是要来跟大家解盘或打鸡血的，我们今天想要实实在在的跟大家分享，Google 对AR 的定位、ARCore 的进程以及我们为什么要使用AR技术，AR都用在哪里？我也想快速跟大家分享一下Google新发布的AR功能。

Google对AR的定位

我们看到体验方式不断变革，从非常久以前的打字、手写、语音，到了现在的视觉方式，就是用你的眼睛来看这个世界。另外一方面来说，人类是视觉的动物，我用我的视觉感知可以了解到很多有趣的事情。人类脑子有30％神经都是在处理视觉的，AR 技术就是来训练机器怎么看世界，怎么看东西，而且会开启人机互动的革命。

有了眼睛，其实会需要我们的大脑，来理解消化场景。所以Google也在不断发展认知理解、知识系统、人工智能、机器学习等，来配合眼睛有更舒适的视觉处理，之后能够让感知的事情和机器更加为人类提供更好的服务。

我们所谓更丰富的输入到底是什么呢？大家可以想一下，我们人类是怎么样看世界的？其实只要看一眼大概就可以知道一个东西的大小、材质，就可以大概知道我是在一个非常漂亮的餐厅里面，可以知道外面光线是什么样的。我们Google认为现阶段最接近人类眼睛的就是手机上的相机，几乎是一个超级计算机，有非常非常丰富的传感器，再加上IMU， GPS， 算法及机器学习等，各种不同的认知，经过理解、翻译之后可以输出更丰富的现实和虚拟叠加的画面。

怎么样叫做更多样的输出呢？我们看有一个公司叫做Streem Pro，是直接把加油手册直接投射在汽车上面，你再也不用拿着手册去对照到底在哪里加油。第二，Google的Measure，你可以直接用你的手机量度大小尺寸。第三，Google的Maps，我们可以看到直接把要怎么样走，怎么样转弯直接投射在要转弯的路上，就不需要非常困难寻找了，就像为你私人设置的路牌一样。第四，Tendar游戏，你可以用表情和情绪在你家里养一只虚拟的孔雀鱼，很治愈，也不不需要换水喂食物。第五，Google的Playground。

因此，我们相信AR其实是用来解锁更有趣的互动方式。我们用手机拿起来可以非常了解公司刚买的酷炫咖啡机，你要看杯子放在什么样的位置，用什么样的加热原理让你觉得咖啡机原理真的很棒，这个就是AR场景。

市场为什么冷？其实我们觉得AR再也不仅是一个科技名词，而是用来吸引眼球的，因为它非常的有用，它非常的助力无穷，也可以创意十足，它是以视觉展示为基础展现出来的，另一方面可以非常容易表达出来你想表达的东西，未来的创作间是整个世界了。

ARCore 核心功能部分

我们来看一下真正的ARCore功能。

我稍微科普一下ARCore，第一部分做的是运动跟踪，AR就是利用摄像头中间的视觉差异跟传感器做一个很好的测量结果，白话来说如果想要放一个虚拟东西在场景当中，就像放一个稻草人跟你一样排队买食物，只需要一个虚拟相机配合你的手机真实相机来做。

第二，环境理解。ARCore提供的另一个重要功能就是环境理解，也就是估算现实环境中的平面信息。具体来说，ARCore会提取检测摄像头画面的特征点，查找归类那些位于水平或垂直平面上的成簇的特征点，来估算平面的位置和大小。 通过ARCore提供的API，你可以获取平面的类型（水平还是垂直），平面的边界多边形、以及平面的中心位置。利用ARCore检测到的平面， 你可以很容易的将虚拟物体放置在现实世界中平面上， 比如你可以将一个虚拟场景平穩的放置在一个桌面上， 或者给墙上加一些吓人的蜘蛛传送门等等。

第三，光估测。ARCore可以分析手机摄像头拍摄到的图像信息，以及拍摄的参数，来估算当前环境中的光照信息。使用这些估算的光照信息，你可以对你渲染的虚拟内容进行光照和色彩的矫正， 使其与手机摄像头拍到的画面结合的更加自然，提高虚拟内容真实感。

第四，可跟踪对象，就是Trackable。这个Trackable就是现实世界可以追踪的点，就是物体移动它可以跟着移动，主要方法就是想做一个虚拟物体，可以跟着桌面，跟着椅子，做一些不同连接，保持物体之间的连接，如果物体移动之后回来之后还是连接这个桌子的。

第五，定向点是一种特殊的特征点，是ARCore中的一种可跟踪对象。ARCore会查看其附近的特征点并使用这些特征点估算这个定向点所在平面的法线的方向。借助定向点，您可以将虚拟物体置于倾斜的表面上。

第六，增强图像。增强图像是虚拟物体和现实世界中互动的一个最佳实践，ARCore 可以检测手机拍摄到的图像信息，并与预先设置的数据库中的2D图像去匹配。 当ARCore匹配到图像数据库中的图像时，他会返回一个增强图像的可跟踪对象。 你可以获取图像的在现实空间中的姿态， 大小等信息。利用这一功能，你可以构建能够响应特定 2D 图像（如产品包装或电影海报）的 AR 应用。用户可以在将手机的摄像头对准特定图像时触发 AR 体验。

第七，云锚点。我要怎么解决多人共享，或者怎么样让它一直存在在AR世界里面呢？其实云锚点就是解答，我们可以用设备放到云端做托管工作，再把锚点与同一环境中的Android和IOS设备做共享。

ARCore的改进

我们现在一直在不断演进，我们做了很多的改进，我们第一个的改进就是运动跟踪，就是在跟踪物体时可以非常容易找到，不会有不稳定的情况，从现在30％的稳健性提升，其实主要就是说可以有效进入特征，我们都可以把这个反馈给开发者，让大家更好在APP里面引导你怎么做。

第二，平面检测也是大家觉得非常重要的，其实AR方面的三角测量需要有一定的动作和面积，缓慢移动才能让我们很好看到平面，有些人是因为应用很久就找不到平面了，在这个方面也下了很多功夫做改进，这个方面不知道该怎么去扫平面，所以用自己的算法可以让它真正减少平面检测时间。我们已经将第一次找到平面所需的时间，降低了50％。

另外一个更新相机更新。我们在相机方面也会不断更新，主要第一个拍AR照片时为了让虚拟物体看起来非常真实，在一些焦距上面都有控制，你现在拍AR照片都解决了非常多的不清楚的问题，还有一个共享摄像头权限，开发者可以在AR摄像机里面很快转化到摄像里面。此外，我们还加了支持前置摄像头的AR拍摄方式。

ARCore跟Unity也有深度的结合，我们每个版本都会实时更新，大家可以直接去用。或者是说可以用Unity做ARCore的开发。我们也把在ARCore的功能带到IOS里面，真正做到跨平台。

现在全球已经有4亿的ARCore认证设备了，我们相信这个数据会不断增加了，为什么会有这个自信会增加呢？因为和很多大厂合作了，他们在设计开发时就已经讨论了手机出厂时确定这个是ARCore的设备，所以手机新出厂可以让更多人享用到ARCore。国外国内都有很多的APP，有各式各样的，可以让大家使用的，用在你的设备里或者发挥你的创意。

当然了，我今天一定要讲一下跟中国有关的事情，也就是说在去年上市的时候，我们也在中国同步上线，现在ARCore1．9在全球百分之百发布，我们在中国各个商店里面也是在今天发布的。大家现在就可以享受到ARCore发布的功能。另外，在中国也在做手机认证，目前可以支持4500万。

另外，我们跟国内很多开发者进行合作，在购物、兴趣点、游戏、个人表达，这几个行业应用里面，不管跟头部合作伙伴还是各位开发者一起来打造AR应验，让它被更多人所应用。我们来看一下国内的应用，像美图已经用到了脸部增强功能，这个效果看起来真的是非常真实的。另一方面，神奇AR也是做了非常爆红的贴纸，做的也非常真实，还有一款是Snaappy，你可以用AR来传递给你的朋友。

以下很快跟大家分享一下发布的新功能。在讲新功能之前，先说一下为什么要做ARCore？因为我们希望在更多地方有更多用户，提供更逼真的体验。我们一直认为说逼真是非常重要的，我们看看在 2019年 Google I／O 做了什么东西呢？

2019 Google I／O ARCore 更新

第一，增强脸部。我们发现自拍 Selfie 已经成为全球流行的一个现象，大家每个人都对自己的脸有非常表达的欲望，希望有最美的妆容，最酷炫的脸，因此，今年就全新推出了一个增强脸部功能。

大家看一下增强脸部功能提供了前置摄像头，有非常好的精度，支持468个点的3D网络，人的脸部经过细小的肌肉产生出不同的表现，会有各种不同的表情来操作不同的事情。另一方面，因为种族，因为年龄，因为肤色的不同，你要能够非常要做脸部是一个很大的挑战，我们其实做了非常多的，我们做了算法改进，让它可以适应大部分的做法。更重要的是，我们不需要深度传感器，而是使用机器学习技术来实现这样的功能。

我们可以看到酷炫，日晒，冰冻等炫酷效果。我们也将在今年夏天推出IOS的ARCore，我们不需要深度的传感器，再低版本的手机也可以享受到功能。第一个和我们合作的是美图，他们将在下周的时候就在潮自拍上、美图上会有这个功能。

第二，增强图像。你可以去看整个需要理解的环境，最大可以做到10乘以10的空间，相关点可以投射到10乘以10的空间里面。

第三，移动增强图像。这个例子是可以把一个纸片用手机照一下，之后就会变成移动迷宫，你可以直接移动纸片完成游戏。这个部分也跟京东一起合作了，做了相关的案例，这是让小孩子做拼字游戏的部分。如果对着这个图片的话有C、A、R，如果对着字母的话会变成3D图形。除了把AR 和图片链接，我们还可以改变现实物品并呈现在虚拟世界的东西，例如Notable Woman的 app， 是由Roisie Rios 和Google creative lab 共同开发的，用来表彰美国历史上重要的女性楷模，你可以把美元上的华盛顿转换成女性楷模的头像，效果非常惊艳，完全能够以假乱真。

我再讲一个比较底层的功能，这个是非常非常重要的，就是为什么把这个世界感觉变得更真实，其实就需要360度的HDR的光照效果。

讲完以上的话，除了AR让开发者用的各种功能，再讲一下场景观测器，这个目标是让更多人简单享受到AR，这个主要为网站达到经验，让网站可以直接显现3D的场景。大家看一下这个是怎么实现呢？我想现在大部分都知道Model Viewer，这是一个元件可以直接加入进来，如果要AR功能是非常简单的，你只要在Model Viewer加入进去就可以了。

我今天的分享到这里就结束了，其实在ARCore中间也有很多资源和帮助，如果想要访问官网和公众号都会推出很多干货，我们目前正在举办 ARCore 开发者大赛，如果有兴趣欢迎大家报名。

谢谢大家。

（内容略有删减）