Google发布用于身体应用的开源振动触觉平台

Google发布用于身体应用的开源振动触觉平台
2022年11月16日 14:17 科技分享站

大多数可穿戴智能设备和移动电话都可以通过触觉反馈与用户进行交流,从而实现从简单通知到可访问性的感官替代的应用程序。通常,他们使用振动触觉致动器(小型电动振动马达)来实现这一点。然而,设计一个针对给定任务具有良好针对性和有效性的触觉系统需要对执行器的数量及其在设备中的位置进行实验,但大多数实际应用需要独立的贴身设备并集成到小型设备中。这种因素的组合在实验室之外很难解决,因为集成这些系统可能非常耗时,而且通常需要高水平的专业知识。

左侧是典型的实验室设置,右侧是 VHP 板

在ACM UIST 2021 上发表的“ VHP:Vibrotactile Haptics Platform for On-body Applications ”中,Google开发了一种低功耗微型电子板,可以驱动多达 12 个独立通道的任意波形触觉信号。VHP 电子板可以由电池供电,并集成到可穿戴设备和小工具中。它允许全天佩戴,具有低延迟,电池寿命在 3 到 25 小时之间,并且可以同时运行 12 个执行器。Google展示了 VHP 可用于手镯、袖子和手机壳外形。该手镯采用音频到触觉界面进行编程,以帮助唇读,并且在开发人员佩戴数月后仍能保持功能。为了通过设计、实施和实验所需的工具促进可穿戴多通道触觉领域取得更大进展,Google正在通过GitHub 发布VHP 系统的硬件设计和软件.

VHP 电路板的正面和背面

系统框图

VHP 由定制设计的电路板组成,其中主要组件是微控制器和触觉放大器,它将微控制器的数字输出转换为驱动执行器的信号。触觉执行器可以通过通过串行、USB 和蓝牙低功耗(BLE) 以及板载麦克风到达的信号进行控制,使用nRF52840微控制器,选择该微控制器是因为它提供了许多输入和输出选项以及 BLE,所有这些都在一个小包。Google在电路板中添加了几个传感器以提供更多的实验灵活性:一个板载数字麦克风、一个模拟麦克风放大器和一个加速度计。固件是一个可移植的 C/C++ 库,可在Arduino生态系统中运行。

为了在开发过程中实现快速迭代,电路板和执行器之间的接口至关重要。12 个触觉信号的布线必须快速设置,以便进行此类开发,同时灵活且坚固以经得起长时间使用。对于接口,Google在 VHP 上使用了 24 针FPC(柔性印刷电路)连接器。Google支持以两种方式连接执行器:使用定制的柔性电路板和刚性分线板。

VHP 板(右侧的小板)通过刚性分线板(左侧的大板)连接到三种不同类型的触觉执行器。

使用触觉执行器作为传感器

在Google之前的博客文章中,Google探讨了触觉执行器中的反电动势如何用于传感并演示了各种有用的应用。Google没有在 VHP 系统中使用反电动势传感,而是测量驱动每个振动触觉致动器的电流,并使用电流负载作为传感机制。与反电动势感测不同,这种电流感测方法允许同时进行感测和驱动,同时最大限度地减少电路板上所需的额外空间。

电流感测方法的一个挑战是有各种各样的振动触觉执行器,每个执行器的行为可能不同,需要不同的预设。此外,由于在使用适配器板进行原型设计期间可以添加和移除不同的执行器,因此如果 VHP 能够自动识别执行器将非常有用。这将提高原型设计的速度并使系统对新手更友好。

为了探索这种可能性,Google从三个现成的触觉执行器收集了当前负载数据,并训练了一个简单的支持向量机分类器来识别执行器之间信号模式的差异。对三个执行器进行分类的测试准确度为 100%,表明每个执行器都有非常不同的响应。

不同的执行器在频率扫描期间具有不同的电流特征,因此可以自动识别。

此外,振动触觉致动器需要与皮肤适当接触以一致控制刺激。因此,该设备应测量皮肤接触并在未正确加载时提供警报或自我调整。为了测试皮肤接触测量技术在实践中是否有效,Google测量了手镯在手腕周围收紧和松开时的当前负载。随着手镯带被拉紧,皮肤和执行器之间的接触压力增加,驱动执行器信号所需的电流也相应增加。

电流负载感应响应触摸,而执行器以 250 Hz 频率驱动。

音频到触觉反馈

为了演示 VHP 平台的实用性,Google使用它开发了一个音频到触觉反馈设备来帮助唇读。可以唇读是困难的,看起来类似(很多讲话的声音视位),如“针”和“分”。为了帮助用户区分这些视位,Google将麦克风连接到 VHP 系统,然后该系统可以拾取语音并将音频转换为手腕上的振动。对于音频到触觉的翻译,Google使用Google之前开发的算法进行实时音频到触觉的转换,可通过GitHub 获得. 简而言之,音频过滤器与神经网络配对以识别某些视位(例如,拾取“pin”中的硬辅音“p”),然后将其转换为手镯不同部分的振动。Google的方法受到触觉音素套筒(TAPS) 的启发,但主要区别在于,在Google的方法中,触觉信号是连续实时呈现的。

一位在日常生活中使用唇读的开发人员每天佩戴手镯几个月,发现它比以前的设备提供更好的信息来促进唇读,从而可以更好地理解手镯与单独唇读的唇读视位。未来,Google计划在多个用户长时间佩戴该设备的情况下进行全面实验。

左:音频触觉套。中:音频到触觉手镯。右图:Google的一位开发人员测试了佩戴在双臂上的手镯。

潜在应用

VHP 平台支持快速实验和原型设计,可用于开发适用于各种应用的技术。例如:

小型设备上的丰富触觉:扩大手机上执行器的数量(通常只有一两个)可能有助于提供额外的触觉信息。这特别有用,因为手指对振动很敏感。Google展示了一个带有八个振动触觉致动器的原型手机壳。这可用于在手机游戏或观看视频时提供丰富的通知和增强效果。

实验室心理物理实验: 因为 VHP 可以轻松设置为实时发送和接收触觉信号,例如,来自Jupyter 笔记本,它可用于执行实时触觉实验。

通知和警报: 可穿戴 VHP 可用于提供来自其他设备的触觉通知,例如,在有人在门口时发出警报,甚至可以通过使用多个执行器来传达可区分的警报。

感官替代: 除了上面的唇读辅助示例外,还有许多其他潜在的使用感官替代的可访问性应用,例如视觉到触觉的感应,甚至感应磁场。

负载感应:从触觉执行器电流负载中进行感应的能力是Google平台独有的,并支持各种功能,例如压力感应或自动调整执行器输出。

将八个音圈集成到一个手机壳中。Google使用负载感应来了解正在触摸哪些音圈。

Google希望其他人可以利用该平台来构建多样化的应用程序。如果您对使用Google的平台有兴趣并有想法或想接收更新,请填写此表格。Google希望通过这个平台,Google可以帮助实现触觉的民主化,并激发触觉设备的更广泛使用。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部