登陆

极彩-从VR手套到大脑感知,Facebook的VR推迟探究之路

admin 2019-08-22 184人围观 ,发现0个评论

近期,继叙述Facebook Codec Avatar传神头像体系的首篇文章后,FRL再极彩-从VR手套到大脑感知,Facebook的VR推迟探究之路次经过博文向我们展现了用体感手套来丈量VR时延,并优化用户感知性时延的一项研讨。

据了解,Facebook首席科学家Michael Abrash在OC 5上就曾展现过一个别感手套研讨的Demo视频,视频中,一名VR用户戴着支撑手指追寻的体感手套在VR中玩抽积木游戏,当她在游戏中操控的手碰到积木后,手套就会在当下发生相应的体感反应。

但我们极彩-从VR手套到大脑感知,Facebook的VR推迟探究之路所不知道的是,这款体感手套的前期版别曾受届时延问题的约束,在体感反应、音频和视觉上都存在推迟,比方:体会者在VR中看到自己的手碰到了积木,却没能同步感受到触觉或听到声响。

为了丈量并优化体感手套在VR中的时延,FRL研讨人员构思了多种办法。其间一名软件工程师Forrest Smith表明:只丈量软件推迟的话比较简略,有许多东西都能办到,但丈量硬件推迟要更困难些。

游戏时延丈量法

一开始,FRL研讨人员参阅游戏时延的丈量办法,考虑的是怎么丈量输入时延。据悉,输入时延的概念很简略,打个比方:当你按下按钮后,马里奥需求多久才会跳起来?或许按下遥控器后,电视画面需求过多少毫秒才会改动?

在简略的状况中,运用智能手机就能完结时延丈量,你只需求录制一段刷新率240fps的慢动作视频,然后数数帧数

在手柄接入带LED灯的主板进行测验

或许也能够选用更优化的办法,将VR手柄接入一块装备LED灯的定制主板,当主板辨认到手柄按钮信号后,LED就会点亮。然后运用高速摄像头捕捉全过程,就能完结较精确的丈量。

另一种更好的办法是,制造一款是非色彩的小游戏,游戏中有一个黑色方块,当感应到按钮信号后,方块就会变成白色。然后,运用与显现屏相连的光传感器,也能丈量十分精确的时延。

端对端推迟丈量法

当然,上述办法仅仅用来测验按钮操控光子的时延,并不能丈量手套内置的体感致动器的时延,原因是 :摄像头丈量法并不适用,并且体感手套运用的是手势输入,并不具有物理按钮。

端对端传输流程

此外,独自丈量体感反应的时延还不行,想要完结体感手套与VR之间的低延时体会,需求考虑的是整个端对端体会的时延,也就是说要考虑多个方面,包含:硬件追寻体系、内部软件、第三方软件、设备驱动和输出硬件。并且为了更完好的优质体会,体感反应、VR印象和音频的时延都需求得到丈量和优化。

所以研讨人员想出了一种声响丈量法,即:将一张实践存在的桌子与VR中的桌子对齐,然后让一个人戴体感手套去触碰桌子,与此一起VR中的虚拟手和桌子也会相碰。

在这个过程中,研讨人员选用多个传感器来记载:1,一个对准桌子的麦克风,用来记载实践触摸发生的声响;2,一个坐落手套内的麦克风,用于记载体感反应;3,一个记载Rift头显音频的麦克风;4,用于辨认显现屏改动的光电二极管。为了让收集的音频同步,研讨人员用了一个便携式录音机将麦克风的信号汇总。

此外,为了丈量手势追寻体系的推迟,还运用了一个电容性电路试验板作为可敲击的什物方针,捕捉较精确的软件时刻戳。

同步的音频和视频流

接着,他们将同步的4种数据流在后期音效东西Nuendo中翻开,并用手符号和核算差量时刻,最终得出端对端时延为300毫秒,其间约200毫秒来自于第三方软件。据悉,Facebook这款体感设备的主张刷新率为1000Hz,因而300毫秒时延带来的体会感并不行好。极彩-从VR手套到大脑感知,Facebook的VR推迟探究之路

而体感手套运转的软件是依据多个子体系,并以多线程运转,更新的速率各不相同。假如呈现线程问题,则会形成周期糟蹋或信号损坏,为了检查可视化的多线程体现,FRL研讨人员运用了一个叫FramePro的东西。

在完结软件线程修正后,为了验证成果,研讨人员还运用了示波器(可将肉眼看不见的电信号变成可视的图画)来丈量体感致动器。

感官推迟信息图

运用上述办法,FRL研讨人员对整个别感手套体会进行了优化,并用直观的信息图将300毫秒时延分红为了视觉、体感和音频三个部分,其间从触碰到发生声响反应的时延最高。并且优化后的抽积木Demo运转起来也比之前更流通,体会者以为视觉和体感反应简直能够到达同步。

感知性同步

寻求完美的FRL研讨人员当然不会就此中止,他们持续着手研讨人脑对视觉、声响和体感的实践感知。

Smith表明:人类很拿手依据多种不同的感官信息来树立对国际的心智模型,但感官有时候也会哄人,原因是大脑会将多个感官信号融组成一致的感官。也就是说,虽然你看到、感觉到并听到手指敲击桌面是三件事,但大脑会将这三种感官影响了解成一件事。

正是因为这样,当视觉、音频、体感的时延发生差异时,时延较高的感官会连累其他感官,比方抽积木Demo中的音频时延较高,因而会让人觉得当感时延比实践更高。这种感官的改动是人体自发且无意识的,不论你多尽力去疏忽音频,体感反应的时延都会受音频时延影响。

所以,当FRL研讨人员封闭音频后,体感反应的体会感得到了显着的提高,在让许多人体会过之后,也得到了必定的答案。

心理物理学试验

那么问题来了,能否经过调整感官影响的同步性来营建更低时延的全体感观呢?关于体会感来讲,愈加同步更重要,仍是低时延更重要呢?

为了深化了解这一问题极彩-从VR手套到大脑感知,Facebook的VR推迟探究之路,FRL研讨人员展开了一项心理物理学试验。试验榜首部分是制造一款VR测验程序,参与者需求去击打虚拟方块,一起体感手套会对整个手部动作进行追寻。这项测验的意图是,为了研讨人类所能接受的视觉和体感推迟,也就是说两种感观之间相差多长时刻会让人感到“未同步”。

调查成果显现,在体感反应比视觉推迟50毫秒以内,且不比视觉超前20毫秒以上的状况,会被大部分参与者以为是同步。而在他们的抽积木Demo中,体感反应仅比视觉推迟20毫秒,刚好在同步规模内。

感官影响的同步性

为进一步剖析三种感官的同步性,FRL研讨人员整理了一个散布图。从图中来看,XY轴的原点代表听觉、视觉、体感的完美同步,x轴代表音频与视觉之间的推迟,x值为正阐明音频比视频有所推迟,为负则相反。而y轴代表体感与视觉之间的推迟,散布图中的色彩则代表不同的推迟程度。

从这个散布图中,研讨人员发现低推迟的规模并不是正好在原点上,并且参与者关于超前于视觉的体感或音频十分灵敏。别的低推迟规模的形状更像是椭圆而不是正圆,比较音频推迟,参与者们关于体感推迟愈加灵敏,这也印证了之前的,音频推迟形成体感感觉愈加推迟的说法。此外还发现,改动交互方法有可能会提高人关于不同步的接受能力。

FRL研讨人员也表明:现在下结论还太早,试验样本量较小,并且试验也比较简略。未来的方针是,为高度传神的场景和体会拟定一系列规范,因为当时还未完结三种感官影响同步性的研讨,因而这个方针仍在进行中。

假如您也认同,打赏支撑下作者吧
打赏
0人打赏
果叔
程老板
挑选付出金额
1元 2元 5元
挑选付出方法
测孕纸 金币 微信 付出宝
极彩-从VR手套到大脑感知,Facebook的VR推迟探究之路
打赏成功

感谢您对87870的支撑
请关注微信公众号
微信二维码
不容错过
Powered By Z-BlogPHP