Snap推出集合AI模型的新AR眼镜:支持语音交互,可搭积木可遛宠物

Snap推出集合AI模型的新AR眼镜:支持语音交互,可搭积木可遛宠物
2024年09月18日 10:13 多知网

  多知9月18日消息,Snapchat背后的公司Snap刚刚推出了第五代Spectacles——Spectacles’24,这是一款全新的AR眼镜。这款眼镜在视野、分辨率和手部追踪等方面进行了改进,并更新了其软件堆栈。

该眼镜的售价为1200美元,首批将面向开发者用户,采用“硬件即服务”的方式销售产品,提供了每月99美元的月租模式,为期一年。

Snap公司强调,Spectacles软件平台“没有开发者税”,意味着公司不会从开发者的收入中抽成。

  Snap对Spectacles的软件进行了全面升级,推出了全新的SnapOS操作系统。新系统以手部追踪为核心,提供了统一的界面和交互方式。

Spectacles佩戴者能够要求生成 AI 图像作为 AR 滤镜,或与 Snap 的 AI 聊天机器人 MyAI 互动,获取视野内物体的相关信息。

  此外,Spectacles ’24还支持社交功能,能够识别附近其他眼镜并无缝加入会话。

这款眼镜同时支持“旁观者”模式,允许智能手机用户看到你的AR会话。与Quest和Apple Vision Pro等头显的观众视角不同,智能手机视角实际上是从第三方用户自己的视角来感知AR内容,而不仅仅说头显用户的第一人称视角。

  智能手机同时可以作为控制器,或者你可以将智能手机中的应用镜像到眼镜之中,这样你就可以看到应用程序的浮动视图(但不是交互式)。上述社交和智能手机可扩展功能只适用于专门为它们设计的应用和体验,但在操作系统/SDK级别提供支持开辟了有趣的可能性。

  这款新眼镜的电池续航时间约为45分钟,电池安装在镜框内,靠近眼镜臂的柄部。眼镜重量为226 克,比Vision Pro轻了60%多,比Meta的雷朋智能眼镜重一些。与其他AR或混合现实产品不同,眼镜不需要太多校准或定制配件。

  与早期的眼镜型号一样,当内容被捕获时,一个小而可见的LED灯会闪烁。在拍摄照片或视频等内容时,也会发出钟声。

  Snap还发布了Lens Studio 5.0,用于构建Snapchat和Spectacles 的AR体验。新版本支持更复杂的Lens,包括TypeScript和JavaScript,并提供了改进的版本控制工具。

  此外,开发者能够使用SnapML直接在Lens中使用自定义ML模型,通过与OpenAI合作,将把云托管的多模态AI模型引入至Spectacles。

这款眼镜内置了多个应用程序,包括打击乐游戏、高尔夫模拟器和虚拟宠物体验。

  此外,Snap公司还与ILM Immersive、Niantic、乐高和Wabisabi Games等进行了合作为该平台打造定制 AR 体验。如ILM Immersive公司将为为可穿戴平台推出一款《星球大战》游戏,而 Pokémon GO 制造商 Niantic 将带来其游戏 Peridot 和 Scaniverse。

乐高与Snapchat合作,将Bricktacular引入Spectacles中。在一个简短的演示中,Lens体验可以在一个表面上渲染各种各样的积木块,就像在现实生活中一样。用户可以旋转和操纵每一个积木块,把一个放在另一个上,建造一个积木小房子。积木块用完了,用户还可以用内置的麦克风用语音命令系统制作新的积木块,还可以要求特定的颜色。

  《麻省理工技术评论》作者提到了使用体验:“在一个普通的房间内,佩戴上Spectacles’24,可以将乐高积木堆放在桌子上,将AR高尔夫球击入房间另一侧的洞中,用双手在天花板和墙壁上画花和藤蔓,并询问我正在看的物体并得到 Snap 虚拟 AI 聊天机器人的回答。甚至还有一只来自Niantic的紫色虚拟小狗,跟着我在房间里走来走去,然后走到阳台上。 ”

用户可以通过语音和手势的组合来控制这一切。

  Snap在2016年至2019年推出的前三代Spectacles为消费设备,没有任何显示屏或扬声器,它们纯粹作为相机眼镜使用,没有音频输出和AI功能。

  第四代Spectacles于2021年推出,配备了用于真正AR的波导显示屏,但仅以非常有限的数量提供给选定的开发者。它们是一种真正的太阳镜形态的独立AR设备,配备了高通Snapdragon XR1芯片组,视野非常小,活跃电池寿命仅为30分钟。

  新的第五代Snap Spectacles提供了更广阔的视野,更长的电池寿命,更强大的处理器,以及更高的透明度,以便旁观者可以看到佩戴者的眼睛。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部