仅用手机陀螺仪实现AR中动作追踪
今日，谷歌Research团队在网站上发表博客称，为安卓上的Motion Stills（视频捕捉和观看app）增加了全新的AR模式。
今日，谷歌Research团队在网站上发表博客称，为安卓上的Motion Stills（视频捕捉和观看app）增加了全新的AR模式。在AR模式下，用户只需点击屏幕就可以将有趣的虚拟3D物体放置在静止，或者移动中的水平面上（比如桌子、地板和手上），让这些物体可以无缝的和动态的实时环境进行互动。我们还可以直接录像以及导出GIF图和视频。
这一AR模式由实时动作追踪功能所实现，这是基于iOS版Motion Stills的Motion Text和YouTube上的privacy blur的技术所实现的6自由度追踪，能够精确的追踪静止和移动的物体。谷歌的团队对这一技术进行的完善和提升，使其可以在任何配备了陀螺仪的安卓设备上实现有趣的AR功能。
当用户碰触屏幕时，Motion Stills AR能够将一个3D的虚拟物体“粘贴”到指定的位置，使其看起来就像真实世界的一部分一样。通过假定跟踪表面和地平面是平行的，同时使用设备的加速传感器来提供手机相对于地平面的初始定向，可以追踪摄像头的6自由度（3个平移自由度和3个旋转自由度）。这让我们可以精确的改变和渲染虚拟物体。
即时动作追踪
即时运动跟踪的核心是将摄像机的平移和旋转估计分离，将其视为独立的优化问题。 首先，我们只根据相机的视觉信号确定3D相机的平移。 为此，我们观察目标区域的明显2D映射和跨帧的相对比例。 一个简单的针孔照相机模型将图像平面中的盒子的平移和缩放与相机的最终3D平移相关联。
为了解决这个问题，我们在我们现有的跟踪器中添加了比例估计，并在摄像机的视场之外追加了区域跟踪。 当相机靠近被跟踪的表面时，虚拟内容能够精确地缩放，这与真实世界对象的感知一致。 当你在目标区域的视场之外平移时，虚拟物体将重新出现在大致相同的位置。
在这之后，我们使用手机的内置陀螺仪来获得设备的3D旋转（滚动，俯仰和偏航）。 估测的3D对应图像与3D旋转相结合，使我们能够在取景器中正确渲染虚拟内容。 而且由于我们分别处置旋转和平移，所以我们的即时运动跟踪方法不需要校准，可以在任何带有陀螺仪的Android设备上工作。
相关文章
AIGC热点
热点
-
19打开，有戏
