Vision Pro 带来了新的 Apple 芯片 R1 芯片，专用于所有板载传感器的实时数据处理。 它负责眼睛、手和头部跟踪、视频直通模式下用户环境的无延迟渲染以及其他 VisionOS 功能。
通过减轻主处理器的处理负担并优化性能，无论是在增强现实还是虚拟现实模式下使用耳机，R1都能将晕动症减少到难以察觉的水平。 让我们探讨 Apple R1 芯片的工作原理以及与主 M2 芯片的比较、它支持的 Vision Pro 功能等等。
Apple 的 R1 芯片
Apple 的 R1 芯片是什么？它是如何工作的？
Apple R1（不是主 M2 芯片）通过其 12 个摄像头、5 个传感器和 6 个麦克风处理传输到 Vision Pro 的连续实时数据流。
两个主要的外部摄像头记录您的世界，每秒将超过十亿像素推送到耳机的 4K 屏幕上。 最重要的是，一对侧面摄像头，以及两个底部安装的摄像头和两个红外照明器，即使在弱光条件下，也可以从各种位置跟踪手部运动。
外向传感器还包括 LiDAR 扫描仪和 Apple TrueDepth 摄像头，可捕获周围环境的深度图，使 Vision Pro 能够在您的空间中准确定位数字对象。 在内部，每个屏幕周围有一圈 LED 灯和两个红外摄像头跟踪您的眼球运动，这构成了 VisionOS 导航的基础。
R1 的任务是以难以察觉的延迟处理来自所有这些传感器（包括惯性测量单元）的数据。 这对于使空间体验流畅且可信而言至关重要。
Apple R1 与 M1 和 M2 相比如何？
M1 和 M2 是针对 Mac 计算机优化的通用处理器。 R1 是一款窄焦协处理器，旨在支持流畅的 AR 体验。 它比 M1 或 M2 更快地完成工作，并提供无延迟体验等福利。
注意
苹果没有具体说明 R1 有多少个 CPU 和 GPU 核心，也没有详细说明 CPU 频率和 RAM，因此很难直接比较 R1、M1 和 M2。
R1 的主要领域是眼睛和头部跟踪、手势以及通过 LiDAR 传感器进行实时 3D 绘图。 卸载这些计算密集型操作让 M2 能够高效运行各种 VisionOS 子系统、算法和应用程序。
Vision Pro R1 芯片的主要特性
R1 具有以下关键功能：
- 快速处理：R1 中的专门算法和图像信号处理针对理解传感器、摄像头和麦克风输入进行了优化。
- 低延迟：优化的硬件架构带来极低的延迟。
- 电源效率：得益于其高效的内存架构和台积电的 5 纳米制造工艺，R1 在处理一组特定任务时使用最少的能源。
不利的一面是，Vision Pro 的双芯片设计和 R1 的先进性导致了耳机的高价格和两小时的电池续航时间。
R1 为 Vision Pro 带来了哪些优势？
R1 能够实现精确的眼动和手部追踪，“恰到好处”。 例如，要导航 VisionOS，您只需将目光转向按钮和其他元素。
Vision Pro 使用手势来选择项目、滚动等。 眼动和手部追踪的复杂性和精确性使苹果工程师能够创造出不需要物理控制器的混合现实耳机。
R1 的跟踪精度和最小延迟可实现额外的功能，例如在虚拟键盘上进行空中打字。 R1 还支持可靠的头部跟踪，这对于创建围绕用户的空间计算画布至关重要。 同样，精度是这里的关键 – 无论您如何倾斜和转动头部，您都希望所有 AR 对象都能保持其位置。
空间意识是有助于体验的另一个因素。 R1 从 LiDAR 传感器和 TrueDepth 摄像头获取深度数据，执行实时 3D 测绘。 深度信息让耳机了解其环境，例如墙壁和家具。
反过来，这对于 AR 持久性很重要，AR 持久性是指虚拟对象的固定放置。 它还可以帮助 Vision Pro 在用户撞到物理物体之前通知用户，从而有助于降低 AR 应用中发生事故的风险。
R1 Sensor Fusion 如何缓解 AR 晕动症？
Vision Pro 的双芯片设计减轻了主 M2 芯片的传感器处理负担，该芯片运行 VisionOS 操作系统和应用程序。 根据 Vision Pro 新闻稿，R1 在 12 毫秒内将图像从外部摄像头传输到内部显示器，比眨眼速度快八倍，从而最大限度地减少延迟。
延迟是指摄像头看到的内容与耳机 4K 屏幕上显示的图像之间的延迟。 滞后越短越好。
当大脑从眼睛接收的输入与内耳感知的输入之间存在明显的滞后时，就会发生晕动病。 它可能发生在很多情况下，包括在游乐园、在船上或游轮上、在使用 VR 设备时等。
VR会让人因感觉冲突而生病，导致晕动病症状，如迷失方向、恶心、头晕、头痛、眼睛疲劳、久坐、呕吐等。
VR 也可能对眼睛造成伤害，因为眼睛疲劳，其症状包括眼睛酸痛或发痒、复视、头痛和颈部酸痛。 有些人在摘下耳机后的几个小时内可能会感觉到一种或多种此类症状。
注意
根据经验，VR 设备应至少每秒刷新显示 90 次（FPS），并且屏幕延迟应低于 20 毫秒，以避免让人产生晕动症。
据称，R1 的延迟仅为 12 毫秒，将延迟减少到难以察觉的水平。 虽然 R1 有助于最大限度地减少晕动病的影响，但一些 Vision Pro 测试人员报告在佩戴耳机超过 30 分钟后出现了晕动病症状。
专用 Apple Silicon 协处理器带来主要优势
苹果对专用处理器并不陌生。 多年来，其芯片团队生产出令业界羡慕的移动和桌面芯片。
苹果芯片严重依赖专用协处理器来处理特定功能。 例如，Secure Enclave 可以安全地管理生物识别和支付数据，而神经引擎则可以在不损坏电池的情况下加速 AI 功能。
它们是完美的例子，说明了通过使用高度集中的协处理器来完成正确的任务集，而不是使用主处理器来完成所有任务，可以实现什么样的效果。
