结合手势与AR,这项研究让我看到了沉浸感音乐的未来

结合手势与AR,这项研究让我看到了沉浸感音乐的未来
2021年07月23日 17:33 青亭网

为了让你自然操控AR眼镜,Facebook从多种方向探索AR的交互方式,比如:用摄像头、体感手套来追踪手势,或是用EMG肌电技术追踪五指的运动神经信号等等。

实际上,除了自然的交互外,手指的触觉反馈也能帮助增加AR的沉浸感。那么,如何将触觉和手势交互自然结合呢?为了探索这个问题,Facebook科研人员研发了一种改变视觉、声觉和触觉的体感增强系统:Tactile Echoes。

Tactile Echoes的联合设计者Anzu Kawazoe(加州大学博士候选人)表示:Tactile Echoes可能是首款将AR投影、手势识别等多重模拟反馈结合的体感方案。它具有10种可调试的参数,支持模拟多样化的多感官反馈。

据悉,Tactile Echoes又被科研人员称为“基于手势的多重感官增强系统”,其特点是采用可穿戴式设计,与基于投影的AR界面结合,Echoes基于AR投影,手势追踪通过摄像头,而体感反馈则通过手指上方的压电传感器和制动器来实现。

采用AR投影界面的好处是,体验者的手可直接触碰桌面并得到反馈,无需控制按钮或触屏来进行输入,因此体验感更自然,而且可以融合视觉、体感、听觉多重感官反馈。应用场景方面,可用于游戏、娱乐、科研等等。

细节方面,整套系统包含:压电传感器、制动器、声卡、PC、扬声器和音频放大器。压电传感器在识别到手指震动信号后,会传输到PC中进行处理,并输出至制动器中,对手指产生震动反馈,与此同时扬声器也将发出音频反馈。而AR投影则提供视觉UI。

实际上,在日常生活中你用手指敲打桌面时,通常能听到哒哒声,而Tactile Echoes方案想了解的是,能否用空洞的回音,或是哄哄的雷声来代替哒哒声。

也就是说,摄像头识别到手指与平面接触时产生的震动强度,会影响你与AR界面的交互体验。Tactile Echoes产生的体感和音频反馈与手指接触表面的力度相关,用力越大反馈越强烈,当你轻触某样物体时,可能会听到轻轻的回声,当你用力捅某样东西时,可能会听到砰的回声。而当你的手指触碰不同的界面时,得到的反馈也有所不同。

打个比方,当你短暂用手敲击AR界面时,会得到不连续的回声,如果你用手指在AR界面上滑动,则会产生持续的回声。除此之外,还会根据触屏的表面或位置渲染不同的体感反馈。

Kawazoe表示:我们的灵感是,通过Tactile Echoes来增强木桌等普通平面的触感,加入动态的体感反馈和音效,对触碰做出响应。

Facebook表示:Tactile Echoes是一个穿戴式触觉反馈系统,其特点是可捕捉手指触碰桌子等平面产生的震动,并实时处理震动数据,转化为“回声反馈”,就像是将触觉震动转化为声音震动,从而产生回声的一种持续的反馈过程。

在实验中,科研人员创造了一个2D的AR音乐合成界面,看起来互动性足够优秀,尽管只是虚拟的AR界面,也能同时提供触觉、震动、音频的自然反馈。

科研人员采用了VR/AR头显、交互式AR投影来展示视觉效果。实验共分为两种,一种是调查体验者对于不同音效、体感反馈的认知,而第二个实验中,体验者需要完成结合Tactile Echoes方案的交互式AR游戏。体验者表示:音频和体感反馈有效提升了游戏交互的响应能力,而且沉浸感和临场感也加强了。

在第一场实验中,体验者共经历35次测试,每次需要用动词或形容词来描述自己的感受。科研人员调查了体验者对于回声反馈与触觉结合的看法,通过一些触觉游戏,让体验者对比Tactile Echoes的体验感与传统体感游戏的区别。

科研人员还发现了一些与感知相关的有趣现象,比如:体感反馈延迟,出现了知觉掩蔽现象,也就是说某种刺激会影响人们对另一种刺激的强度感知。未来,科研人员将在相关的方向继续进行实验,并将结果用于优化整个Tactile Echoes系统。

此外,Facebook计划与企业合作,将Tactile Echoes商业化,应用于桌面游戏、音乐演奏、教育等场景。参考:IEEE

财经自媒体联盟

新浪首页 语音播报 相关新闻 返回顶部