Meta AI眼镜新场景:成为视障人群的“眼睛”

Meta AI眼镜新场景:成为视障人群的“眼睛”
2024年10月23日 20:01 VR陀螺

可穿戴技术有望成为实现人们更大生活自主权的关键工具,而无障碍的未来也与可穿戴技术的发展紧密相关。Be My Eyes和Meta宣布达成无障碍合作伙伴关系,意味着视障群体独立性的提升,为人们带来更多就业机会。

Meta正尝试将这样一件小众的事情做得更大。

 意想不到的Ray-Ban Meta智能眼镜无障碍功能 

就在Meta Connect大会上,扎克伯格意外地宣布了Ray-Ban Meta智能眼镜正与《Be My Eyes》合作推出一款新功能:

用户可以完全通过语音指令启动《Be My Eyes》的 “呼叫志愿者(Call a Volunteer)”功能,说出“嘿,Meta,在《Be My Eyes》上呼叫志愿者”,用户就能通过单向视频、双向音频呼叫,与语言匹配的志愿者取得联系。

通过Meta的软硬件整合,志愿者将通过智能眼镜的摄像头看到用户面前的画面,并通过用户的开放式扬声器向用户提供实时描述内容,让视障用户无需再依赖朋友和家人便能完成寻物、物品分类、描述食品保质期等日常活动,涵盖衣食住行等方方面面,同时免提功能也让用户解放双手。

《Be My Eyes》功能将很快推出,最初将面向美国、加拿大、英国、爱尔兰和澳大利亚的用户。其服务对用户全天免费提供,这项功能也可以在智能眼镜和智能手机之间轻松切换。

《Be My Eyes》是丹麦一家非营利组织开发的应用,致力于通过实时视频通话和AI为盲人或低视力者提供服务,该应用2015年1月推出以来,拥有全球70多万名视障用户,已有超过770万名视力健全的志愿者注册应用帮助视障人士,相当于1位视障用户拨通电话会有超过10名志愿者可以接线,基本不用担心他们无法得到帮助。

Be My Eyes首席执行官Mike Buckley表示:“我们与Meta的合作推出了一种新体验,满足了我们的盲人和低视力用户社区长期以来的要求,即免提访问我们的服务。Ray-Ban Meta智能眼镜已经实现了这一点,通过功能整合,我们现在已经打开了通往无障碍环境的大门,为人们开启了新的机遇。而这仅仅是个开始。”

“在Meta,包容性和创新我们的指导原则,它决定了我们如何构建和设计产品。我们正在努力构建能够真正反映全球近40亿用户多样性的技术,我们与《Be My Eyes》的合作是朝着让世界对盲人或低视力者更加包容和提供更多无障碍服务迈出的重要一步。”Meta公司首席多元化官Maxine Williams表示,“我们将继续努力,使无障碍性成为我们产品开发的核心部分。

《Be My Eyes》正为全球150多个国家的用户提供服务

此前,Be My Eyes还与谷歌、微软等公司合作过,直至2023年,该公司推出了新的生成式AI业务“Be My AI”,即与OpenAI和ChatGPT合作,推出了由人工智能驱动的虚拟志愿者,以提供即时聊天支持。

而Be My Eyes的团队,其联合创始人Hans Jørgen Wiberg就是一名视障人士,自从他推出这个项目以来,已经让全球数百万人自愿将自己的视力“分享”给有需要的人。《Be My Eyes》还陆续获得了Google Play Award年度的最佳辅助功能体验奖、苹果的社会影响力设计奖等。

 如何“说服”Meta关注视障群体需求 

也许对视障人士来说,能够安心在厨房烹饪,可以把壁画水平挂在墙上这类事情越容易做到越好,因此Be My Eyes社区的核心诉求是:除智能手机之外,他们需要一台能免提唤醒应用的设备。

YouTube博主“Double Tap”与Be My Eyes团队的首席执行官Mike Buckley及其副主席Bryan Bashin进行了一次对话,提到了他们是如何与Meta建立合作关系的过程、智能眼镜功能的整合以及他们对未来的期望。

首席执行官Mike Buckley(左二)和副主席Bryan Bashin(左三)

Mike Buckley自述曾在Facebook(Meta前身)工作过,与Meta的CEO扎克伯格和CTO安德鲁·博斯沃思都建立了良好的关系,但一开始Meta并未采纳他的建议,直到最后通过不断向Meta高层和技术工程师提出对Ray-Ban Meta智能眼镜的使用体验反馈,才最终“说服”Meta,并让他们意识到这里有个庞大的社区渴望获得更好的智能眼镜体验。

Be My Eyes的70多万名视障用户对智能眼镜的热情,让这家价值数万亿的科技公司开始认真对待全世界的视障群体。

Be My Eyes谈到,在合作期间注意到了一些仍未解决的问题:例如硬件上视场角的限制、文本的光学字符识别(OCR)距离限制,视障群体的学习成本等等。

更重要的是视障群体的使用体验几乎取决于AI功能、多模态模型,甚至是正确的提问方式。前面提到的Be My Eyes的AI业务则无法完全兼容该眼镜(且内置的Meta AI仍无法做到完全阅读用户面前显示的所有文本、而且会经常回复“对不起,我无法提供医疗或安全建议”这些对视障群体来说无意义的回答),在可访问性方面,Be My Eyes还将继续与Meta沟通并完成迭代,但这还需要一些时间。

Meta与Be My Eyes的合作既是一次富有成效的“谈判”,也是新的开始。目前智能眼镜上的《Be My Eyes》应用已经进入Beta测试阶段,数百名视障用户、Meta的技术工程师和公司内部的视障员工都在积极配合反馈。据透露,在理想的情况下,今年底这项功能将正式上线。

 写在最后 

VR陀螺曾基于苹果Vision Pro探讨过MR头显的无障碍功能" cms-width="677" cms-height="308.484"/>

使用Ray-Ban Meta智能眼镜的视障用户小组(图源:Facebook)

相比之下智能眼镜在价格、轻便性、易用性有较明显优势,Meta选择进入新的市场领域,将目标定位在视障群体,也能获得更加详细和切入痛点的产品使用反馈。

大多数视障人士对电子产品的需求主要集中在语音功能,Ray-Ban Meta智能眼镜的Meta AI结合《Be My Eyes》的功能还可以做到:描述正看到的内容、记录停车位置、发送消息、实时翻译等等。或许视障人士在生活中使用智能眼镜的频率会更高。

参考链接:

https://www.bemyeyes.com/blog/be-my-eyes-meta-accessibility-partnership

https://www.youtube.com/watch?v=XtWRo7TDMis

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部