罩在VR眼镜下的脸能看到采集3D数据将人脸展现出来-VR之家

我的位置: 首页 > 资讯 > 产业 > 谷歌“透视VR眼镜”:罩在VR眼镜下的脸能看到

谷歌“透视VR眼镜”:罩在VR眼镜下的脸能看到

2017-02-24 09:43 来源:

VR之家作者：

joe chen

　　VR之家消息：当人在体验VR的时候，只能独自一个人在密闭的空间中体验。这样就缺少了跟朋友交流的体验，对此设计师将采集3D数据，计划将人脸展现出来，以后罩在VR眼镜下的脸都能看到。

谷歌“透视VR眼镜”罩在VR眼镜下的脸能看到.jpg

　　有人曾经统计过，大家在和基友妹子看电视、看电影时，看到笑点时往往会更加注意身边朋友的反应，而不是电影本身的内容。举个不太适当的例子，就是你在旁观朋友用PSVR玩《生化危机7》，屏幕上面目狰狞的丧尸能比旁边瑟瑟发抖的画面有趣嘛?这时候看不到、拍不到基友的表情实在太遗憾!为了解决玩家在虚拟现实中的情感交流“障碍”，谷歌工程师(对，又是他们!)用混合现实技术把表情给“加”上去了。

　　如何给VR体验玩家在视频中添加真实表情?

　　既然VR头显暂时无法做透明，藏在眼镜后面的眼神怎么还原出来?谷歌工程师的是用人脸模型来来代替VR眼镜，实际技术过程很复杂，小编只能讲解几个简单的步骤：

　　模型收集与捕捉。既然要用人脸替代VR眼镜，那么收集人脸数据是必须的。首先工程师让玩家注视屏幕上一个移动的点，并且用动态采集系统将其各个角度注视的3D表情记录下来，为后期添加做准备;

　　定位与对齐。表情收集了，下一步就是怎么用表情自然地替代VR眼镜——这需要在3D坐标中完成定位，并用收集的表情去完美替换眼镜的位置。这里谷歌的主要是利用外部摄像头对头显进行校准与同步，并且将3D采集的表情整合到混合现实视频中(过程和算法还是很复杂的)。

　　图像合成与处理。当然光是找到位置还不够，要是表情不会随之变化，还不如打印个表情贴在眼镜上是吧......为了让收集的3D表情随着游戏动作而变化，谷歌在HTC Vive内部搭载了SMI眼动追踪.由于前面我们的表情就是根据注视点而收集的“数据库”，每一个点几乎都有对应着一个表情，这时候只需要追踪到玩家的眼睛注视点，并调用对应的表情就可以了。当然，后期还需要大量的颜色修正、平滑度调节等图像处理环节，才能得到这看上去还算OK的画面。

　　大家可能会有疑问，为什么在用表情替代了VR眼镜后，仍然会看到一个轮廓的效果?由于该效果只是在MR合成视频中近似还原，目前准确度和画面细节仍有待提升，经过工程师亲身体验后，逼真但又变形的程度容易让人作噩梦(恐怖谷效应)。为了避免这种情况，谷歌工程师特地加入了一个半透明面罩，既可以避免细节错误过于明显，同时在画面衔接上也更加舒服。

　　这项技术有谷歌Daydream Labs、Research和YouTube团队合作完成，在进行多人VR会议、VR聊天和VR游戏等场景，加入了人脸表情后显然看上去更加自然，以实现了刚开始“表情交流”的目的。

　　不过小编觉得这挺过去好像挺有趣，但是实际效果还是有待提高...

温馨提示：

第一时间获取最新最热门手游，及领取专属礼包，请点击下载>>> VR游戏盒安卓版丨 VR游戏盒IOS版

上一篇 : 营造逼真沉浸感全景声或成为VR影视的重要突破口

下一篇 : 黑科技!这约炮软件能用AR告诉你对方是否单身