起底苹果AR布局

起底苹果AR布局
2020年04月01日 22:04 VR陀螺

从近年来科技圈的表现来看,几乎绝大部分的世界级科技产业巨头都开始了对AR领域的布局。三星在CES 2020上展示了消费级AR概念眼镜,联想、佳能价值数万元的企业级AR眼镜已用于商用。2019年,Vivo、OPPO接连发布AR眼镜,谷歌推出第二代AR眼镜产品,微软的Hololens 2也已经开始发售。在科技行业风云变幻而又烟波诡谲的形势之下,苹果迄今为止似乎从未真正发布出一款AR光学硬件产品。

不过近日,苹果动作频频,发布ARKit 3.5版本,新的iPad Pro也加入激光雷达提升了AR应用体验,同时,也有传言苹果正在测试新AR头显及应用。

苹果到底是不重视AR这一战略方向,还是另有隐情呢?不妨,让我们一探究竟。

一、产品未动、专利先行

古人云:“兵马未动,粮草先行。”这句话放在今天的商业中依然不算过时,只是将冷兵器时代的“粮草”的概念换为了21世纪互联网时代的“技术专利”。

作为全球领先的科技企业,苹果深知技术专利的重要性。在产品进入市场之前,已经默默申请了无数AR相关专利。

2020年2月美国专利商标局公布一项苹果的虚拟会议方案相关专利,而专利中指出一种通过网络远程连接,让两个或两个以上的用户可在计算机、AR眼镜(专利图为一款配备双摄透视功能的MR头显)、平板电脑、智能手机多种平台上参与的线上虚拟会议方案。该方案适用于商务会议、远程办公、社交平台等。

同月,美国专利商标局公开苹果一项与MR头显光学相关专利,据了解,这专利指出一种透镜可调节的光波导光学系统,,可以让头显体积更小。而这MR头显采用分体式设计,可与iPhone、iPad或mac相连,并可采用叠加多层高透明度材料(玻璃或塑料)平面光波导,并且支持普通AR模式和摄像头透视模式。而MR头显的输入和输出耦合器或采用布拉格光栅、棱镜、有角度的透明结构或透镜结构,可采用全息耦合元件衍射耦合结构。

同年3月, USPTO公布了苹果公司最新的MR头戴式设备专利,其主要围绕前方盖板展开。具体来看,前侧盖板支持透明度调节,可在AR或VR模式下进行按需切换。如果你需要体验沉浸式VR内容,那么可以让前侧盖板变暗,把透光度变低;如果你需要体验AR内容,可以把透光度调高,画面也会变通透。

随即,苹果公司发布了第二项HMD发明专利,该专利指出:该设备可根据不同人的瞳距,面部轮廓等对透镜模组进行自适应调整,从而达到最佳的显示效果。可以满足家庭中爸爸、妈妈成年人,以及10岁以上的儿童,在不同人群之间进行自适应调整。而在专利描述中,描绘了一家人使用的场景。

诸如此类的专利还有很多,从美国专利商标总局官网以“苹果”、“Augmented Reality”(AR全称)为关键词进行搜索,可以找到多达2335项相关专利。

苹果AR相关专利布局分析图(仅部分)

苹果AR技术专利布局分析图

从专利布局上来看,苹果公司申请的AR相关专利涵盖了硬件、软件、系统、交互等诸多方面。仅在2020年1月,苹果公司就获得了增强现实与3D重建技术方面的59项专利,而这一数字随着时间发展,还在不断增多。由此看来,苹果已经建立了一条由核心技术专利的护城河,无论何时入局AR行业,专利都是苹果的重要保障,这些技术是很多AR领域的初创公司绕不开的壁垒。随着科技发展,21世纪的商业竞争逐渐演化为知识产权的竞争,这条规则在AR领域也同样适用。我们所有从事这一领域的科技公司,都应当要及时通过相应途径保护自己的产品及技术专利。

二、布局开发者生态

苹果在2017年WWDC推出的ARKit开发平台。开发人员可以使用这套工具为iPhone和iPad等iOS设备创建增强现实应用程序。开发者可以在苹果设备上开发出高质量的增强现实应用,此举极大的刺激了谷歌公司,随后重拾曾经放弃的Tango并推出ARCore平台与之抗衡。

 苹果每年都会召开 WWDC 全球开发者大会,WWDC是苹果公司每年定期在美国加州举办的会议活动,向全球的软件的设计师展示苹果公司最新的软件和技术。从2017起,AR技术也成为了WWDC大会夺目的亮点之一,每年都有极为重要且强大的功能更新。

2017年 WWDC ARKit 1 功能

在2017年的WWDC上,苹果首次推出ARKit技术,并推出了平面检测、SLAM、环境理解、光照估计等功能。

2018年 WWDC ARKit 2 功能特性

2018年WWDC,ARKit2.0版本正式推出,提供了图片识别、环境贴图、物体检测、多人AR等重要功能。

 2019年WWDC  ARKit 3 功能特性

2019年WWDC,ARKit3.0版本推出,提供了动作捕捉、协同会话、人体遮挡等功能。并在更大程度上推广 AR Quick Look 基于浏览器的AR功能,以及AR开发工具 Reality Composer等。

从技术角度来看,苹果对AR技术的投入非常巨大,发展日新月异,以至于不考虑自身设备的兼容性。每年推出的最新技术,几乎只有同一时期的最新设备才能支持。不仅刺激了大众用户花钱购买最新产品,也让很多追求新技术的开发者流出了感激的泪水。

以2017年推出的人脸表情追踪为例,需要A11以上处理器,也就是要求带有前置TrueDepth摄像头的iOS设备:iPhone X,iPhone XS,iPhone XS Max或iPhone XR,iPad Pro(11英寸)或iPad Pro(12.9英寸,第三代),iOS 11.0或更高版本,而完全不考虑在此之前的iOS设备是否兼容。

再以2019年推出的动作捕捉、人物遮挡这类功能为例,需要A12以上处理器,也就是iPhone XS、iPhone XR、iPhone 11等以上版本才可以支持。可以看出,苹果对AR技术的发展十分焦虑,几乎是在自我迭代,每年都在拼命更新更为强大的AR功能,放眼未来,不看过去。

这样做的后果是,最新的技术功能推出以来,由于支持的设备较少,无法满足所有用户,短时间内一直无法应用普及。但不难想象,凭借苹果iPhone XR、iPhone 11系列产品2019年全球第一、第二的销量,在未来几年,这些新技术又将会慢慢逐渐成为主流。

在很多报告中都可以得到iOS 最新系统中包含了XR眼镜相关功能的信息,所以把苹果的AR技术仅视为手机端AR技术来看,显然是不够长远的。

在苹果开发者平台,AR技术被放置在中心模块的第一位,甚至在Siri之上,这点看来有些耐人寻味。苹果可以说是世界上最重视开发者生态的科技公司之一,正是因为其深刻知道今天iOS AppStore的辉煌源于无数开发者一直以来的探索和创新,所以它对AR领域的布局,也一定会先从开发者群体出发。

苹果通过WWDC与开发者建立了长期且友好的互动关系,为其AR应用生态的建立提供了基础。

三、百花齐放,应用生态

苹果从iphone 6s/se以上版本的手机型号支持ARKit,可以运行高质量的AR应用。iPad同理,A9处理器以上全面支持ARKit技术。 

据统计,仅2019年,苹果商店上线AR应用就超过4000款,包括游戏、工具、旅游、商务等多个类型。苹果为此特地在AppStore中设置了AR游戏和AR应用的专栏,并为用户推荐优质iOS 平台AR应用。

相对安卓平台碎片化、缺乏标准的AR系统生态,苹果在iOS平台AR方面的表现可谓是业内良心。

四、三军夺帅,高管观点

据国外媒体报道,苹果高管2019年10月于加州总部召开了一场内部会议,由副总裁迈克 · 罗克韦尔(Mike Rockwell)主持,有超过1000名员工参与。明确提出,苹果计划于2022年推出AR头显,2023年发布轻量级AR眼镜。 

根据外媒报道,在爱尔兰IDA活动上,苹果公司CEO蒂姆·库克被问及未来5-10年技术最大的技术变革有哪些时?库克再次发表 “AR将是下一个重要的技术”观点。蒂姆·库克表示:“我对AR技术感到兴奋,并认为这是下一个重要的技术,AR技术将影响我们未来的一生的生活。”

五、从软到硬,贯通全局

苹果作为移动互联网时代的科技霸主,无论在硬件和软件领域都有着近乎绝对的资源优势。我们不妨看看苹果与AR有关的硬件产品和软件技术,提前瞻望一下苹果在AR领域暗中建造的通天塔。

从PC时代的电脑,到移动互联网时代的智能手机,再到AR时代的眼镜头显,苹果具有强大的硬件生态体系。不论iPhone还是iPad,从近几年的发展来看,这些产品对AR技术的支持都越来越好。

虽然AR眼镜还没有正式发布,但从苹果申请的大量AR眼镜专利来看,其想法已是路人皆知。Home Pod 智能音箱属于物联网智能家居类产品。而在一项专利中显示,Home Pod在设计的过程中为苹果的AR头显设计了隐藏接口,未来或许可以通过眼镜设备操控。

Apple Watch手表作为智能穿戴设备,已经用于和手机搭配使用,可以实现接听电话一类的功能,但其作用并没有被完全激发出来,如果在苹果推出AR眼镜以后,通过Apple Watch搭配眼镜使用,会发挥出更好的交互效果。

 在前文中所提到的苹果专利中,其中包含了数项车载AR显示专利,加上苹果本身有智能汽车的战略规划。在未来与谷歌在自动驾驶时代的竞争中,苹果一旦发布汽车产品,必定会搭载AR显示功能。

3D内容是一切AR应用的基础,苹果作为极端的科技统治者,深谙闭环生态的玩法。在发展AR技术的过程中,苹果做了一套可以称得上是“釜底抽薪”的操作。

苹果推出了一种叫USDZ 的模型格式,主要用于ARKit增强现实内容的展示。USDZ是苹果公司和皮克斯公司基于皮克斯公司的Universal Scene Description技术共同开发的一种新型文件格式。

这个模型的特点是,USDZ可以通过 fbx、obj 等诸多格式的3D模型转换而来,但并不提供USDZ转换为其他格式的方式。这意味着不支持逆向转换,也就是说只进不出。举个简单的例子,如果有一天,一个开发人员发现一款模型的其他格式的模型文件找不到了,只有USDZ,那就只能用USDZ格式的模型,而USDZ只能用于ARKit及其相关技术开发,进而就只能选择ARKit。

 那么问题来了,为什么开发者和设计人员一定要用USDZ呢,用别的格式不好吗?苹果早就考虑到了这点。苹果通过 ARKit Quick Look为用户提供了小白式的AR开发流程,在AR QuickLook 的WebAR生态下,USDZ格式模型拖进去就能用,可以在苹果手机上直接实现AR效果,无需复杂的编程。

 举个比较有代表性的,如苹果官网的Mac Pro AR展示就是通过 USDZ+AR QuickLook模型实现的。

除了ARQuick Look,苹果还为不会编程的美术、设计类开发人员提供了Reality Composer,通过Reality Composer这款软件,通过简单的拖、拉、拽,无需编程就可以实现AR开发。而Reality Composer 强制使用的模型格式就是——USDZ。

在早些时候,USDZ的转换过程有些繁琐,需要用到XCode进行复杂的编译和命令调整。苹果又很快推出了Reality Converter,进一步简化了 USDZ 的转换方式,小伙伴们终于可以快速转换USDZ格式模型的文件了。但别忘了,USDZ依然是只进不出。

面对Reality Composer和AR Quick Look的诱惑,如此便宜、简单又大碗的开发方式,谁不爱呢?

很快,就有电商公司、AR营销公司纷纷采用了USDZ 模型文件的技术方案。如AR广告营销解决方案公司NexTech宣布,将支持苹果的3D文件格式USDZ,进一步优化iPhone端用户体验,用户通过手机内置的Quick Look功能就可以开启应用和浏览器中的AR内容。

加拿大跨境电商公司Shopify宣布拥抱Apple AR Quick技术,采用USDZ格式模型文件,为商家带来增强现实展示功能,并为消费者提供AR预览体验。

之后,苹果也顺水推舟,把 Apple Pay (苹果支付)也加进来了,顺带着对AR QuickLook 做了一波优化。

2020年2月,基于Safari 浏览器和Quick Look技术实现的网页端WebAR加入了大量优化并加入部分新功能,其中在Quick Look(AR快速预览功能)加入了Apple Pay支付按钮,并且可跳转到购买页,通过Apple Pay打通电商购物从体验到购买的闭环。并且ARKit还新增空间音频效果,客户在与3D控件交互时可触发逼真的提示音、音乐等。移动虚拟物品时声音也会改变。

说到这,我们不难看出硬件、软件、技术、开发工具,苹果几乎已经把AR领域中能做的几乎都做了一遍了,甚至连模型格式都不放过。只有你想不到,没有它做不到。

苹果为AR开发者提供了开发工具、流程、文件格式全家桶套餐,覆盖了iOS开发者、Web前端人员以及零编程基础的小白创作用户,通过上图可以看出苹果已经形成了完整的AR开发流程体系。

六、苹果的AR上半场对决

由于苹果涉足了AR行业几乎所有方面,因此苹果的对手也极多,无论是从操作系统、硬件设备、开发工具、应用生态等诸多方面。

首当其冲的必定是操作系统,目前在AR领域可见的对手有谷歌旗下的安卓,微软的Windows Core、华为应用于IOT时代的鸿蒙OS、以及Linux等。很多AR硬件创业公司认为在AR时代操作系统市场会重新洗牌,便选择了自研操作系统,用来争那一角未来。所以在新的时代背景下,操作系统市场必定会乱战一团。如Linux这类较为原始的系统,凭借庞大的市场体量与永恒的开源精神在服务器端依旧稳如泰山,但在AR时代的客户端可能会被甩出边缘。

其次是开发工具,苹果先后推出了Reality Kit、RealityComposer。并且有着成熟的开发工具XCode和Swift编程语言。苹果希望通过 RealityKit ,iOS开发人员无需再学习Unity或虚幻引擎等游戏引擎工具,Reality Kit将是iOS开发人员更熟悉和更简单的选择。

苹果这些开发工具虽好,却只能用于开发iOS平台应用,而用户显然不可能只使用苹果的设备,当今AR市场风云变幻,除了安卓平台的ARCore还有Vuforia、SenseAR、HuaweiAR、EasyAR、VoidAR等群雄逐鹿。在MR眼镜平台,有微软的Hololens MRTK、创业公司Magic Leap,以及国内众多MR眼镜厂商自己的开发平台。但开发工具往往依赖编程语言,所以大部分AR技术公司不会选择自研开发工具。苹果在开发工具方面的对手并不是创业公司,所以可能更接近上图情况。

总之,苹果面临的挑战还是很多的,面对广泛的技术开发需求,开发者不可能完全摆脱Unity、Unreal这类开发工具。大部分开发者可能只是同时使用,或者极少部分开发者会选择只开发iOS平台AR应用。

苹果在智能手机、AR眼镜以及AR技术方面的对手会有很多,在未来会更多,可能有些主角正在成长中甚至目前还没有诞生,所以就不一一赘述了。

七、钞能力与时间线

2010年9月20日苹果收购面部识别技术公司Polar Rose。

2015年5月 苹果收购了增强现实创业公司Metaio,随即于2017年推出了ARKit。

2015年11月苹果收购瑞士实时运动捕捉技术公司Faceshift。

2016年1月7日 苹果收购情绪识别技术公司 Emotient。 

2016年1月29日 苹果收购增强现实技术公司Flyby Media。

2016年12月1日苹果收购室内地图导航技术公司 indoor.io。

2017年6月16日 苹果收购德国眼动追踪硬件和软件技术公司SensoMotoric Instruments。

2017年9月22日苹果收购加拿大AR头戴显示硬件公司Vrvana。

2017年9月29日苹果收购法国公司Regaind,这是一家计算机视觉技术公司。

2017年12月苹果收购丹麦专注机器学习绿幕抠像技术的AR初创公司 Spektral。

2018年 苹果收购机器学习技术公司Laserlike。

2018年9月24日苹果收购英国图像及音频识别技术公司Shazam。

2018年8月29苹果收购AR眼镜初创公司Akonia Holographics。

2019年6月25日 苹果收购自动驾驶汽车公司Drive.ai。

2019年10月3日苹果收购英国动作捕捉技术公司IKinema,完善ARKit人体姿态识别追踪技术功能。

2019年12月收购了英国AI初创公司Spectral Edge; 该初创公司使用机器学习来增强照片,从而可以改善iPhone图片。

2020年1月15日,苹果据收购AI公司Xnor.ai,传闻斥资2亿美元获得的低功率AI技术和相关专业技术可用于其AR头显。

自2015年开始,苹果收购了大量AR与AI技术的软件、硬件公司,市值超过万亿美元的苹果公司堪称一台没有感情的收割机。上面所述的苹果在AR领域周密的技术布局,很大程度依赖于对这些技术的投资和收购。

以上也只是仅仅一部分,苹果据传闻和国际光学巨头合作开发AR眼镜,随后又传闻取消AR眼镜研发,不久之后iOS 13内部版本又透露出AR头显相关功能。苹果的AR眼镜就像是一只薛定谔的猫,一会儿出现一会儿又消失,大家都在猜到底有没有,搞得跟量子纠缠一样。唯一不同的是,AR行业的从业者们心里很清楚,虽然不确定时间,但它一定会到来。

总结

苹果的优势在于其封闭的生态体系,一环扣一环,在这个平台上从硬件到软件,将开发者与用户牢牢锁住。在AR时代苹果宛如一座通天塔,封闭而独裁,绝立而高耸,它既是孤独的强者,同时也与世皆敌。

苹果迟迟未发布AR光学硬件产品,不意味着苹果不重视AR领域。相反,苹果非常重视AR,多年以来,都在这一领域默默耕耘。用一句古话来形容也不为过:“此鸟不飞则已,一飞冲天;不鸣则已,一鸣惊人”。

不论如何,苹果在AR领域的布局,已经慢慢的浮现出来。作为移动互联网时代抓住那一次科技范式变化的主角,凭借它在科技领域的影响力,以及与对下一代计算平台的执着,苹果的入场注定会为AR行业带来翻天覆地的变化。

来源:中国增强现实核心技术产业联盟

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部