5月12日 Unite 2017 开发 者大会在上海国际会议中心举行。下午 VR/AR 专场论坛中，谷歌资深软件工程师Wim
Meeussen分享了Daydream平台和Tango平台相关构造，并现场运用运动追踪和深度感知 技术 ，让虚拟的小猫变得更加生动自然。
Wim
Meeussen，来自于Google公司，目前负责亚太区的工程团队，此次演讲更多的关注于移动AR和VR。
以下为演讲实录：
在开始之前，我想谈一下为什么AR和VR这么重要。我们来看一下Google公司的愿景，Google希望能够把所有的信息组织起来为人们所用，为什么Google这么关注AR和VR呢?答案在于如果我们看一下各种不同历史上的计算平台，我们相信AR和VR会成为下一代的计算平台。
我们一开始是大型机到个人电脑到 互联网 时代，大家都有 威尼斯商人视频在线观看 。我们相信下一步时代是增强现实和虚拟现实的时代。在这个时代里有很多的互动，在VR里面可以看成一种新的环境，它把我们处置在一个假的环境中，在VR里面我们可以对现实有更好的了解，AR和VR都是表达和使用信息的新途径，正是因为这样，Google非常重视AR和VR。
你要问我们为什么要在移动设备上设计AR和VR，因为我们全世界的移动设备非常多，如果我们要实现非常大的数据规模，我们必须要实现移动化，全球威尼斯商人视频在线观看有30多亿台。这样的规模对Google很有意义，对在座的诸位也很有意义，我今天会介绍Daydream做VR的平台，还有Tango做AR的平台，这两个平台现在已经存在了，我们可以买到一些设备，硬件软件都存在了，不是一个未来的东西。
我不想讲的过多，主要是VR讲一点，AR讲一点。我们如何来创建一个代入感或者临场感，对VR如何使虚拟的物件具有现实感、真实感。这两点做到的话就非常圆满了。
先介绍一下Google虚拟现实的平台Daydream。
先做一下民意调查，在座的诸位有多少人使用过任何的VR平台?请举手。好像举手的人还蛮多的，有多少人用过Daydream?好像举手的人少很多。没问题，我今天会讲很多关于Daydream的内容。
首先Daydream在不同的平台之间有定位，左边是眼镜这个是比较便宜的东西，是现今存在最大的VR平台，我们已经卖出了1000多万个。右边是更加高端的桌面的虚拟现实的东西，Daydream处在中间。我们要体验Daydream，就需要一个有Daydream功能的威尼斯商人视频在线观看和Daydream的查看器、控制器。要使这三个东西紧密地配合实现它们的功能。
我前面谈到过规模，Google对一台符合Daydream功能的威尼斯商人视频在线观看，现在中国 通信 和摩托罗拉已经有了这一类的威尼斯商人视频在线观看，华硕和华为也正在开发这方面功能的威尼斯商人视频在线观看。
这是一个Daydream眼镜、查看器、耳机，我们要把它设计的比较柔软，便于使用。所以在Daydream里面要进入到VR，把威尼斯商人视频在线观看放上去，把它关上就可以体验了。在查看器里面我们的威尼斯商人视频在线观看会和我们的察看设备实现无线通讯和互动。另外我们还有控制器，对于VR来说，我们控制器要做的简单易用，我们其实是蒙上眼睛就可以使用，控制器要非常地简单，有一个可以点击的触屏，有一个应用的按纽。
我们进入到VR之后把耳机戴上会是什么情况呢?首先我们在Daydream里面先看到Daydreamhome，可以启动和停止VR应用，可以进入到app
store，我们可以下载新的应用，可以采购一些APP，也可以看电影，我们整个体验都在VR里面，我们不需要进出VR，甚至可以在里面打电话，我们可以对不同的DaydreamAPP使做整体的介绍。
我们在Daydream里面已经建立了很多东西，这里面很多的内容已经过时了，因为有很多新的东西已经被开发出来。
刚才我从消费者角度谈了一下Daydream，现在从开发者角度谈一下Daydream。我们要做VR是什么意思呢?我们要欺骗我们的大脑，相信我们处在实际上不存在的环境当中，让大脑产生幻觉，产生幻觉要三个要素，首先要能看到一些东西，听到一些东西，还要能够进行互动。VR产生体验有三个要素，接下来会更详细地从三个方面来阐述。
首先我们能够看到一些东西在现实的世界当中，如果我们移动很快就看到了一些运动，比方说我转个头就可以看到。几乎是在移动和看到图象的延迟几乎是零毫秒，在VR里面我们移动传感器要能够探测到移动在什么地方，另外我们要提交渲染图像，图像出来以后才能看到运动的模型，所以从开始移动到我们看到有很多不同的步骤。
我们要实现比较好效果的VR，滞后时间要小于20毫秒，正是因为这样Daydream里面有特殊的软件、硬件，确保滞后时间在20毫秒以内，在硬件方面对很多威尼斯商人视频在线观看进行了认证，我们的威尼斯商人视频在线观看滞后时间非常短，它有非常好的 芯片 ，而且它传感器的滞后、延迟也是很低的，我们前面已经讲到过，有一些威尼斯商人视频在线观看已经具备了Daydream的功能。在软件方面我们设计这些软件能够使用VR和Daydream。图片每一桢的桢率要满足性能的要求。
下面我们再来看系统的UI，希望能够在里面打电话、做购买。你可以待在VR里面，同时它的低延迟渲染也是非常重要的。所以可以在20秒当中做很多事情。
下面我们再来看看另外一个非常重要的功能，就是你的音频体验、听觉体验。你想要去做这样一个渲染，想要有这么好的一棵树，你可以花很多的时间，或者很多CPU能够让每一张树叶看起来都非常真实。
当然，这在移动上是挺难做到的。但是我们可以这样做，把树用比较少的面数，给它加入音频，对于用户里面低面树加上声音之后代入感非常好，就跟比较好的渲染出来的代入感是一样的，不需要用到那么多的CPU。音频是一个比较便宜的解决方案，另外声音在不同的地方表现也是不一样的，比如说你在森林里面讲话的声音是不同于你在太空进行的对话。因此我们要使得声音也做的尽可能真实。
VR不仅仅只是左右声道，这个声音是360度，全方位环绕的。同时声音就好像是背后传来了很真实的声音，你想要去查看一下，因此这个声音也可以作为代入感的工具。
第三个要谈的是你与这个世界的交互，我们这里有一个控制器，它有相应的传感器，可以对运动进行感知，听起来非常简单，如果把感知和身体连接起来，就像是你的胳膊、头在转动一下，如果把所有的知识加在一起的话，你就可以做到很强的控制器。它不仅仅只是做3D的控制，它是可以帮助你来做到自由运动
就像你在打高尔夫，你用你的控制器可以打高尔夫，可以用它来进行瞬息移动，也可以让你在开放式的空间进行运动，这就是关于控制器的不同使用方式，你可以用它来做很多的事情。
去扔一个东西去拍一个东西，你有很多种不同的方式来使用这么一个简单的控制器，因此作为开发者你要有创意，你要把控制器进行开发，它有很多的功能，不仅仅只是像激光笔一样。这些是我希望大家能够记住的，真正能够创造代入感看看你能看到什么、听到什么，你能进行什么样的交互。
下面给大家分享一下VR的最佳实践，首先有这么一点，如果你假设你的用户是坐在沙发上，他很舒服，可能有20、30分钟的时间给他，这个用户可以到处去看，但是很难向后看，因为他是坐着的，你就想象有这么的一个场景，你坐下来之后你也挺难去运转，很难转动。假设这个就是你的用户场景，你记住这一点就容易去进行开发。
下面再来看看Motion，运动。在现实生活当中你的用户是坐下来的，在虚拟世界当中用户坐下来就是完美的，因为两者是可以匹配的，是一样的。如果你想使用motion运动的话必须要非常谨慎，因为很多人会有运动上的紧张感。有的时候你想要让Motion尽可能地短时间，因为有的人可能会有不适感。
再举一个例子，有时候你看上去挺有趣的，现实当中感觉有些东西挺恐怖的，但是这个感觉在VR当中也是一样让人恐怖的，比如说有人有恐高症，在VR当中也是感觉不适的。另外有的人有幽闭空间恐惧症，他会在开放空间也会感觉不舒服。如果有尖锐物体的话你会感觉你会受伤，你也不想有挤在中间的感觉。所以VR对用户的感觉是非常真实的，它可以带来非常真实的情感体验，所以你在设计的时候必须能够重视这一点。
刚才谈的是Daydream，是关于VR的。我的第二部分想要讨论的是Tango，这是AR平台。大家在座有人用过Tango吗?请举手，这里看到有些人有用过，很好。Tango的设备在京东或者是其他的渠道都是可以买到的，在中国已经有售了。如果VR是关于创作想象，那么AR真正重要的就是能够让你的威尼斯商人视频在线观看去了解我们身边的世界。
我这里再解释一下它是怎么样去运作的。你看这样的场景，你知道这个是什么意思，你知道哪些地方你是可以走路的，哪些地方是可以躺下来的，但是在Tango里面希望给你威尼斯商人视频在线观看能够有同样的体验，看到场景的时候你希望Tango能够了解背后的3D的几何，不光光只是看到了像素，还可以看到3D的几何世界。
我们先来看看Tango的硬件，看看它具体有什么特别之处，每一个Tango威尼斯商人视频在线观看有三个独特之处，每个Tango威尼斯商人视频在线观看都有特别的深度感知传感器，它是有这样的功能能够让它感知深度，此外它还有运动追踪器，因为我们在做图象处理的工作，所以还有第三点，就是视觉处理器。
这就使得每一个Tango威尼斯商人视频在线观看非常独特，现在联想在2016年12月已经发布了这样的一款威尼斯商人视频在线观看，叫做Lenovo Phab2 Pro，华硕也开发了。
如果我们再来看看威尼斯商人视频在线观看的演变，在最开始的时候威尼斯商人视频在线观看就是用来打电话的，后来有了摄像头、GPS，后来加入了指纹识别。Tango的摄像头将会是威尼斯商人视频在线观看的下一个变革，能够让人们更好地了解这个世界。
这是关于Tango的硬件设施，下面再来看看Tango的软件设备。它有三块，一块儿是运动追踪，一块儿是深度感知，一个是关于领域知识，也叫Area
Learning。运动最后能够告诉我运动轨迹是什么样的，能看你进行旋转、运动进行了哪些，你就知道你的设备在怎么样的运动轨迹进行运动，它是非常精准识别的。
深度感知能够帮你看到3D世界，我们用Tango特定的摄像头，如果指向这样的物体就能够看到这个物体3D的界面。
最后一块儿Area
Learning，请大家先闭上眼睛，大家都闭眼了，保持闭眼，有你的手指一下你刚刚从哪个门进来的，指一下这个门的方向，谢谢!我看很多人的手都指了不同的方向。当大家进来的时候你都开始有这样的记忆，知道这个房子长什么样的，大家都记得你在哪里，从哪个方向都进来了，刚才大家都指了你进来的方向。对Tango也是这样的，我们给Tango这种记忆，让它记住它去过哪里，记住威尼斯商人视频在线观看的运动轨迹，记住它经过哪些地方。
为什么你需要这三块儿来做VR呢?比如说我们做渲染，做一辆汽车的时候为什么需要这样的渲染呢?我再给大家展示一下。
我这里所拿的就是联想这部威尼斯商人视频在线观看，Phab2 Pro，它有G Pro的摄像头，我像大家做的展示就是它能帮你理解AR的。
这看起来挺傻的，这可能是AR的最简单的版本，这里是有虚拟的角色，这个并不是非常棒的AR。
我们再向前一步，现在我们去加入运动追踪，有虚拟的小猫，我们在运转这个小猫还在这里，它也可以走来走去，我还可以让它去做平移，不仅仅只是做旋转。这也不是非常棒，因为它并不像一只真正的小猫，所以运动追踪不足够让它做到很好的VR体验。
再加上深度感知看看，在这个版本当中我们用了深度感知器，让它去了解地板在这儿，能够把它放在合适的地方。因为我们了解了它背后的几何学，所以我就可以去做点击，让它走到不同的地方。看看能不能让它跳到桌子上去，现在我们有了运动追踪，有深度感知，这里面的AR做出来就是很棒了。
我总是喜欢在这个时候来拍张照，可不可以请大家挥手示意我们一起来拍张照片。谢谢!
我地给大家看一下这个是怎么做的，把小猫放在桌子后面，我在走动，看看会发生什么事情。人可以通过这个桌子看到这个猫，这不太好，这就破坏了AR的幻觉，还有一个给大家展示的。我们会用深度传感器对环境建立3D的网格，我们会告诉Tango在哪些地方有障碍，有遮挡，我这里有一个网格，小猫在桌子后面。我们看不清楚，如果我们建立真正的应用会把整个猫都遮挡起来，这里面会有阴影，我们要有很好的AR体验，要有不同的要素。
我们了解了它的运动、重量、障碍、遮挡物，使得虚拟的物件就像真实的物件一样受到这样的效果，当然我们要建立很好的AR，可以通过反光、光线能够做到一些效果非常好的AR。
很快地过一些Ues
Cases，我们可以用它来玩虚拟的家具。可以把家具放在你的房间里面，到后面再去下单，在京东里面可以看一下沙发放在真实的房间里会是什么样，我们可以通过京东的APP来进行购买，我们可以考虑到在 教育 上的应用，同时也可以考虑生产。我们也可以用Tango来进行三维的尺度测量，我们可以通过3D的模型在Tango里面对尺寸进行测量和核对。
我前面讲到过方位的感知、区域的学习，我们现在在这个房间里面，加入我们要感知一下在整个大楼里面的位置，在真实的世界对虚拟的物件要实现可视化，通过记忆，在植物园里面可以看到整个的热带雨林。
我们今天讲到了Daydream和Tango，要有虚拟体验，所见、所闻三个因素，如何在VR里面实现真实的效果?首先要有真实的体验，这些物件必须看上去是真实的。这是我们的开发者网站，包括Daydream和Tango。
我们想了解大家现在正在开发什么东西，我们想了解大家在AR、VR上做什么项目、调查，谢谢大家!
