作为自然交互方式，眼球追踪和手指追踪未来将成为VR体验的关键部分，因此这两种技术的发展也备受关注。在AWE 2022期间，Tobii和Ultraleap分别展示了最新的眼球追踪和手势追踪技术，以及它们的各类应用场景。
比如，Skarredghost就体验了集成Tobii眼球追踪模块的Neo 3 Pro Eye。这次体验的内容有五种：注视点渲染、VR培训、虚拟化身社交、眼球输入和投掷游戏。另外，Tobii还展示了一款眼镜形态的原型设备。
1）注视点渲染：使用Pico Neo 3 Pro Eye体验了一个以完整刷新率运行的场景，这个场景可以开启基于眼球追踪的实时照明。相比于预烘焙的光影，实时照明的好处是让视觉观感更加生动。但是，通常运行实时照明会降低刷新率，降低渲染效果的稳定性，这也是为什么Pico Neo 3、Quest 2等消费级VR一体机并不支持实时照明渲染。
2）VR培训：在培训场景中，参与者是否在合适的时机将注意力放在每一个步骤中，是评判培训效果的一项重要指标。使用眼球追踪，培训应用可追踪学员的注视点变化是否与操作顺序符合，是否在正确时机查看对应的按钮。
3）利用眼球追踪功能来控制虚拟化身的眼球，体验者表示：当适应了眼球追踪版本的虚拟化身后，眼球固定的虚拟化身看起来就不自然了。
4）眼球追踪控制UI：Tobii展示了一种结合VR手柄和眼球输入的交互方式，即通过注视点锁定/选择菜单中的按钮，然后按下手柄上的扳机来确定，无需移动手柄来进行选择。如果眼球追踪的速度和准确性足够好，这种混合的菜单交互方式会比传统手柄输入更加自然、灵敏。
也就是说，VR界面操作更加实用、流畅，无需移动双手。就像在现实生活中那样，人眼主要用来查看/探索周围环境和事务，通常不是用于交互。因此在VR中，眼球输入不应该只依赖注视点数据，配合手柄来输入会更加自然。而且，如果用注视点来触发菜单按钮，那么由于人眼移动速度快，会容易产生误触。
5）演示投掷物体：目前，在VR中准确模拟自然的投掷体验并不容易，人们常常无法只依靠注视来投中物体，失误率较高。因此，为了提升投掷体验感，Tobii演示了一种利用注视点来瞄准目标，然后调节投掷路径的应用。甚至，结合眼球追踪功能，还可以让手势瞄准更加准确。
Tobii硬件
硬件方面，Tobii眼球追踪模块由微型相机和一系列LED照明元件组成，其结构为环状，可叠加在VR头显的光学模组上。Tobii基于红外传感，因此采用了红外LED和红外相机。
另一个用于追踪眼球的有趣技巧是在头显镜头和显示器之间添加一个倾斜45°的反射镜，镜子的目的是将人眼图像反射到侧面的摄像头传感器中。这个反射镜只反射红外光，而忽略可见光。这也是Vive Pro Eye采用的方案。
不过，目前VR头显正在探索折叠光路、短焦等轻量化方案，现有的眼球追踪模组并不再适用。为此，Tobii已经找到一种全新的眼球追踪方式，采用微型红外相机，应用在眼镜形态的产品中，看起来就像是非常小的点。
Tobii不仅将缩小眼球追踪相机的尺寸，还会保持高分辨率300x200左右。Tobii为该方案设计了一个眼镜外观的原型设计，上面搭载的微型相机看起来就像是小小的尘埃颗粒。在放大后，可以看到微型相机复杂的内部构造。
这也是Tobii对接下来Pancake短焦VR、以及轻量化的AR眼镜提供的一个设计思路。当然，Magic Leap也是类似的设计思路。
Skarredghost还向Tobii询问了关于PS VR2是否建立合作的情况，Tobii暂未给出回复。
Ultraleap
除此之外，Skarredghost还体验了Ultraleap在Varjo XR-3头显上展示的IR-170手势追踪模块。他表示：Ultraleap手势追踪效果足够稳定，即使手放在头显视场角外，也能在看不见的地方持续追踪和操作。比如，可以用手抓住视觉边缘的物体，并放在眼前。在RGB透视AR模式中，Ultraleap手势追踪效果也足够好。
除了VR外，Ultraleap也展示了3Di手势追踪模块，可以应用于2D平台，比如智能屏幕、手机、电脑等等。参考：Skarredghost
