苹果发布的AR Cloud,现实世界的数字副本,对未来有何影响?

苹果发布的AR Cloud,现实世界的数字副本,对未来有何影响?
2021年04月13日 14:27 VR陀螺

近年来,云计算、云服务在微软、亚马逊、腾讯、阿里、华为等众多大厂的竞争与参与下,成为了人们的关注焦点。

AR Cloud,连接虚拟世界与物理世界,被描述为真实世界的数字孪生,或者说是现实世界的数字副本,也是大厂默默发力的重点。

AWE创始人,同时也是Flyby(2016年被苹果收购,成为ARKit基础技术来源之一)联合创始人的Ori Inbar,曾在Super Ventures投资博客中这样评价AR Cloud:

可见AR Cloud在移动AR大规模应用中,扮演的角色之重要。近几年,在AR Cloud上看似寂寂无声的大厂其实都有动作。

比如苹果发布AR Cloud,ARKit 4.0版本增加核心功能Location Anchor;微软推出新AR平台Spatial Anchors,今年还与ARwayKit合作构建AR Cloud;Facebook收购AR云地图公司Space;Niantic收购AR Cloud公司6D.ai等等。不仅如此,还出现了与大厂们操作风格不一致的Open AR Cloud。

为什么说能实现移动AR大规模使用的是AR Cloud?大厂近期在AR Cloud上又有何具体动作?又为何会引起Open AR Cloud的出现?

移动AR缺的不仅是ARKit

而是虚拟与现实的连接介质AR Cloud

2017年,ARKit、ARCore由苹果、谷歌相继推出后,似乎一夜之间,开发者便可以轻松实现AR应用程序的免费创建。ARKit发布半年,便超1300万下载。

然而开发者经历过初期的新奇与追捧后,AR应用程序并未迎来预期的快速传播。2017年10月,App Store中在ARKit上线应用约300款,之后这一数字却快速减少,开发者的兴趣逐渐退烧。

图源:网络

这样几近沉默的状态,从2017年至今仍未有大的起色,有人这样形容:“基于ARKit & ARCore创建的应用程序,就像90年代没有网友的网上冲浪”。

AWE创始人Ori Inbar说:“ARKit的发布虽然对AR产业意义重大,但它无法承载AR应用程序的广泛采用。”

AWE创始人Ori Inbar(图源:网络)

开发者们单依靠ARKit开发出的体验,被限制在单人体验,不具备互联网的社交性与互通性,而且AR体验并不持久,无法在真实世界与虚拟世界之间持续。

想要实现AR应用程序的广泛采用,需要的是AR Cloud,让AR体验实现跨空间、时间与设备的持续存在。

在Ori Inbar的设想中,想要实现这一点,他对iPhone X的期待不是ARKit,而是后置深度摄像头,用于感知周围环境并创建用户间可共享的丰富、精确的3D世界地图。

去年9月,苹果发布的iPhone 12 Pro搭载的雷达扫描仪LiDAR,终于契合了Ori Inbar对后置深度摄像头的期待。

什么是AR Cloud?

有没有玩过MMO(大型多人在线游戏)?在MMO的开放世界中,充斥着由游戏制作者设定的各类角色、故事情节与内容,玩家与其他玩家在这个世界中协同战斗。

我们可以将AR Cloud想象成MMO,只是这个开放世界并非由游戏制作者设定,而是真实世界的数字版,所呈现的信息是与真实世界完美匹配的真实信息,玩家则是真实的伙伴。

正如前文所述,AR Cloud是真实世界的数字孪生,是地球上所有地点的数字副本。

AR Cloud系统需包含三大要素:

与现实世界坐标对齐的持久点云;

能够实现在任何地点,多个设备上进行即时本地化,即让虚拟世界与真实世界对齐;

能够将虚拟内容放置在真实/虚拟世界中,并能通过设备与之实时进行远程交互。

所谓点云,是指某个坐标系下点的数据集,点包含丰富的信息,比如三维坐标、颜色、分类值等等。

AR Cloud就是由这些点云数据构成,这些点云数据如何得来?通过类似LiDAR的激光扫描仪、深度摄像头等本地设备从真实世界获取后上传共享。

AR Cloud由不同的用户通过手机摄像头获取不同的数据,这些数据集合起来才能形成真正完整的AR Cloud。

在点云数据的采集中,会涉及一个关键性工具——深度摄像头。深度摄像头是非常重要的一个组件,它可以很大程度上帮助3D地图的创建,这是普通摄像头做不到的。

深度摄像头搭配人工智能算法,可以更好地理解场景的几何形状,其算法的工作方法与常规智能手机类似,但捕获的点云更密集、更精确,能产生更高质量的AR Cloud。

曾有少数设备提供这一功能但却并未被大面积采用,Tango仅销售数千台,Occpital传感器仅出售几千套,基于Tango的联想Phab 2 Pro是第一款带有深度摄像头的商用智能手机,同样采用率不高,Asus ZenFone AR设备更轻薄,但采用率同样理想。

也这是Ori Inbar为什么那么期待iPhone X搭载深度摄像头的原因。

此外,为使AR应用能够按创建者意图将虚拟内容放置到真实世界中,设备需要理解摄像头相对于环境的几何位置。

为了找到合适的位置,设备需要将摄像视野中的关键特征与AR Cloud中的点云进行匹配。

为了实现即时定位,AR Cloud定位设备必须基于设备的方向以及GPS定位(或是Wifi、蜂窝信号等其他信号)缩小搜索范围。搜索过程可通过使用更多的上下文数据与AR进行优化。

一旦设备被定位后,ARKi t& ARCore可利用IMU、计算机视觉接管并执行稳定的追踪。

现在已有多种解决方案用于像Google Tango、Occipital Sensor、ARKit & AR Core这样的设备定位,但这些开箱即用的解决方案,只能一次针对一个本地点云进行本地化。微软的HoloLens可以针对一组点云进行本地化,但仅限于HoloLens。

AR Cloud能做什么?

AR云能让整个世界变成一个共享空间,可实现多用户参与和协作。

基于ARKit & ARCore构建的应用均为单用户体验,而AR Cloud则可以实现共享体验,让用户可以像是在真实世界中一样,共同体验交流,比如共同学习、讨论、完成设计等等。

而且AR世界与真实世界相比,能实现更加快速的信息匹配。目前世界上大多数信息均以数字文档、视频等形式组织起来,存储在服务器上,但这些信息需要通过某种形式的搜索去发现。

此前谷歌有数据显示,超过50%的搜索是通过移动端实现的,人们对信息的及时性需求已经越来越强。

AR Cloud充当现实世界的3D副本,其自动识别与匹配能力可简化搜索,面对识别物体呈现相对应的信息。

因此,有说法认为,谁控制了AR Cloud,谁就控制了下一代计算平台组织与访问世界信息的方式。

然而AR Cloud的构建并不容易。首先,用户量得大,否则采集的范围与AR Cloud的数据完整度会大大受限,目前能实现这一用户量的设备,首选手机。

但数据采集有硬件上的要求,手机需搭载深度摄像头,否则基于算法的AR始终难做到真实的虚实融合,目前看到能将LiDAR做到如此小型搭载到手机上的也仅苹果一家。此外,三维空间重建所涉及的信息非常敏感,需要极高的安全保障。

那AR Cloud作为整个世界的数字孪生,谁有能力去建造如此大的项目?Ori认为只有苹果、谷歌、微软有这样的实力去推出完整的AR Cloud。

AR Cloud创企呢?13th Lab被Facebook收购,Obvious Engineering/Seene与Cimagine被Snap收购,Flyby被苹果收购,Georg Klein被Microsoft纳入......

AR创企有前瞻性的眼光,但却并不具备这样的实力,优秀的创企多被大厂直接收割。AR Cloud终究还是大型玩家们的游戏。

苹果、微软等一众大厂

均围绕AR平台、硬件深耕AR Cloud

自Facebook以20亿美元价格收购Oculus后,VR/AR产业迎来热潮,不少创企开始从事类似ARKit & ARCore的研究,但在作为大厂的苹果与Google推出ARKit、 ARCore后,他们的发展空间被挤压。

在这样的背景下,这些创企开始争相调整自己在AR中的定位,其中一些创企寻找的方向便是AR Cloud。AR研究员与部分行业内部人士早已预见,世界实时空间地图AR Cloud将成为计算中最为重要的软件基础架构。

然而就如前文所述,当中不少优秀的创企直接被大厂收购,ARKit也是在苹果收购Flyby后,在其基础上研发的。

苹果在AR上最引人注目的举动是ARKit与LiDAR。2020年,继iPad Pro搭载LiDAR后,iPhone 12 Pro/Pro MAX也搭载LiDAR,这直接降低了消费级设备可进行深度信息捕获的门槛,实现了Ori对苹果手机的设想。在iOS系统中,可通过ARKit获取LiDAR的数据。

在推出iPhone 12系列的同时,苹果将ARKit更新至4.0版本,其核心功能是Location Anchor(锚定位点)与深度API。

图源:Apple

锚定位点可将AR体验放置在特定的地方,例如某个地标。通过位置锚定点算法,用户可以将AR创建锚定在特定的纬度,经度和海拔坐标上。用户可以在虚拟对象周围移动,并从不同的角度查看它们,就像通过摄像机镜头看到的真实对象一样。

(“锚”的作用在于确保对象在空间中保持相同的位置与方向,每个锚点都有一个坐标系统,可以根据需要相对于其他锚点或参考系进行调整,以维持放置在现实世界中虚拟对象的视觉效果。)

深度API,在配备了LiDAR的设备上可理解周围环境的每像素深度信息,比如实现周围现实环境对AR虚拟物体的遮挡。ARKit 4.0版本加上激光雷达LiDAR,将能轻松实现三维重建、动捕以及虚实遮挡。

不仅如此,2020年6月,苹果还发布AR Cloud,并对迈阿密、洛杉矶、旧金山、芝加哥和纽约这五个城市进行了本地化图像描述,因此苹果的AR Cloud只能在这五个区域使用。苹果的AR Cloud可提高苹果地图的精度。

据了解,苹果的AR Cloud最可能来自于Apple Look Around(苹果地图的环顾功能),部分原因是他们收购了一家名为C3 Technologies的公司,该公司几乎无需使用人工输入便可创建高质量与精细的3D地图。

谷歌2017年推出ARCore对标ARKit,ARcore早已具备AR Cloud能力,官方将其称为Cloud Anchors(云锚点)于2018年推出。

图源:Google

通过Google 的云服务托管锚点,可以让多人在同一虚拟世界共享与互动,但受政策限制,其持久化功能限定在24小时,之后数据会清空。

之后更新的全新持久云锚点则加强了这一功能,让用户将虚拟内容“储存”到任意现实场景中,将文字、影像信息,或3D人物虚拟内容的和现实世界地点关联起来,永久保存共享。

不仅如此,在苹果搭载LiDAR后,谷歌似乎有意为Pixel旗舰机型增加双摄像头立体深度支持。

微软与苹果、谷歌不同,它在AR上拥有领先的设备HoloLens,HoloLens很早便能实现世界锚点(World anchor)与持久化功能,这意味着微软很早便看中AR Cloud市场。

2019年2月,微软推出新的云AR平台Microsoft Azure Spatial Anchors,Spatial Anchors使用户可创建云锚,应用程序可在多个HoloLens,iOS和Android设备之间共享空间锚点。通过让每个设备使用相同的空间锚点渲染全息图,所有用户都将看到全息图出现在现实世界中的同一位置。这样可以实现实时共享体验。

图源:微软

还可以在HoloLens,iOS和Android设备之间实现异步全息图的持久。通过共享持久的云空间锚,多个设备也可以随时间观察相同的持久全息图,即使这些设备未同时出现。

今年3月,微软还与ARwayKit合作构建AR Cloud,ARwaykit能提供AR软件套件,让开发者在短时间内构建数字世界,此外,ARWAY通过AI增强摄像头设备让需要能提供超精确定位的应用识别周围环境。

图源:ARWAY

开发人员可利用Azure Spatial Anchors使用ARwayKit创建高度可扩展的和位置持久的AR体验。

Facebook也于去年2月收购AR云地图公司Scape,据了解收购规模为4000万美元;《Pokemon Go》开发商Niantic收购AR Cloud公司6D.ai ......

AR Cloud成为大厂的重要布局方向,但目前尚未有真正的胜利者出现。然而被私有大厂所掌握的AR Cloud却也有显而易见的弊端,隐私的不安全性与高度封闭性。

为此,一个名为Open AR Cloud的组织走出来,站在了大厂私有的AR Cloud对立面。

封闭or开放,大厂策略下的Open AR Cloud

Open AR Cloud,从名字可以看出它与AR Cloud的不同之处,它想要的是AR Cloud的开放性。

其使命是推动计算、数据、标准的开放性与可互操作性的发展,让物理世界与数字世界更好的连接在一起,造福全人类。

微软、苹果、谷歌以及Facebook等大厂所构建的AR Cloud与其他竞争者之间竖立了围墙。而Open AR Cloud恰恰相反,它试图通过分布式体系结构与互操作性而构建的系统,将重点放在用户隐私上。

这是一个很少人讨论但是非常了不起的项目。与私有的AR Cloud相比,它能够解决几大关键性问题。

1、可访问性

苹果、微软、Facebook已经在构建AR Cloud,但并非人人都能使用。用户无法在AR中创建跨城市的AR体验,仅能使用AR Cloud部分功能,比如共享锚点或是基于地理位置的应用程序,但无法在大的空间开发自己的共享持久性体验。

图源:The Ghost Howls

Open AR Cloud却可以,AR Cloud的功能由创作者自己掌握。举个例子,如果想使用Facebook将来的AR Cloud,想要在自己的城市做一个AR的安装,需等待Facebook对自己的城市进行扫描,或者某些同样使用Facebook AR Cloud用户来到这个城市,进行扫描,Facebook将这位用户的点云信息进行整合并批准,通过其API为该区域的每个人提供信息。

这个过程的控制权不在用户手中。

Open AR Cloud却可以,用户可以直接去想要创建点云数据的地点,使用Augmented.City扫描应用程序,将扫描信息上传至AR Cloud,随后便可以使用。既无需征求任何形式的批准,也无需任何公司的人员来替她进行扫描。这对于在短时间内授权需要特定位置的内容创建者非常重要。

2、隐私问题

被巨头所掌握的AR Cloud未来可能会受广告的驱动,这可能会给用户带来巨大隐私问题。

Open AR Cloud建立在高标准的隐私保护基础之上,不会将用户数据出售给第三方,并会尽最大努力保证其存储数据的安全性。

图源:Open AR Cloud

分布式AR将引起巨大的隐私问题,如果我们都使用开放式系统,那么我们所有人都可以过上更安全的生活。我还询问了私人场所的问题,弗拉德回答我,可以从AR Cloud系统中禁止某个位置,以便无法对其进行扫描(这对于私人场所,政府建筑物,军营等都非常有用) …)。如果在禁止请求之前已经对系统进行了扫描,则系统会禁止将其用于本地化,因此无法再使用。

3、互操作性

Open AR Cloud的生态系统是开放的,只要用户支持该组织的创建协议,便可成为系统的一部分。

目前Open AR Cloud中的AR Cloud并非由一个提供商提供,而是由Augmented.City、Immersal两家公司提供。这两公司共同遵循Open AR Cloud协议,因此两个系统可以协作,互相开放,具有互操作性。

基于Open AR Cloud构建的游戏

4、收益共享

据介绍,用户扫描某个位置并将其上传到云中,Open AR Cloud可以将收到的有关该位置的所有呼叫收益分享给用户。

当前世界上大部分地区尚未进行扫描,第一个扫描某区域的人,可能会获得该区域所有AR操作的奖励。因此一旦Open AR Cloud普及并建立了系统,或许是赚钱(奖励的)好机会。

不过,目前该收益共享机制尚未确定下来。

5、扫描上传过程简单

使用Open AR Cloud相应的应用程序,用户完成扫描后,系统将直接在云中与世界数字孪生的其他部分进行合并。目前该应用程序还处于公开测试阶段。

结语

谷歌的卫星地图让用户从卫星上鸟瞰地球已经令人咋舌,基于全球地理位置的AR Cloud如果构建完成并投入实际应用,随时随地浏览任意地点,并显示相关信息,那将是更令人惊叹的存在。

现在AR Cloud之所以暂时无法大力推行的一个重要原因,或许就在于安全问题而非技术。

Open AR Cloud为AR Cloud提出了新的解决方案,用以降低隐私问题的危害,并尽可能的将控制权交还给用户。但面对多位强势的大厂,这条路最终会走向何方并不清楚。

从陀螺君的角度来看,AR Cloud或许很长一段时间内或者是永远,都将在限制下前行,难以完成全球数字孪生的宏大愿景。

如果人人都是信息的获取者,能将信息自由保存、上传至云端共享,即使有协议,有监管,一旦开启,如果没有得到好的利用,将又是一扇难以关闭的大门。

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部