近日，美国专利商标局公布了苹果公司的一项专利申请，该专利涉及在XR头显、未来的Mac和iDevices（特别是iPad）上使用眼睛和手部追踪手势在3D环境中移动物体的方法。

苹果公司在其专利背景中指出，与至少包括一些虚拟元素的环境（如应用程序、增强现实环境、混合现实环境和虚拟现实环境）进行互动的方法和界面是麻烦、低效和有限的。

例如，为执行与虚拟物体相关的行动提供足够反馈的系统，需要一系列输入以实现AR环境中的预期结果，以及操纵虚拟物体复杂、乏味和容易出错的系统，给用户带来了很大的认知负担，并减损了对AR/VR环境的体验。此外，这些方法花费的时间超过了必要的时间，从而浪费了能源，这对需要考虑电池操作的设备特别重要。

因此，需要具有改进的方法和界面的计算机系统，以向用户提供计算机生成的体验，使用户与计算机系统的互动更加有效和直观。这样的方法和界面可以选择补充或取代向用户提供计算机生成的现实体验的传统方法。这样的方法和界面通过帮助用户理解所提供的输入和设备对输入的反应之间的联系，减少用户输入的数量、程度和/或性质，从而创造一个更有效的人机界面。

虽然苹果公司的专利可以适用于未来的Mac、Apple Watch、XR头显，但据苹果公司称，他们的专利申请侧重于用户使用应用于iPad的眼睛和手部追踪来操纵3D环境。

苹果公司指出，在一些实施方案中，计算机系统与一个应用程序的用户界面同时显示一个虚拟环境。在一些实施方案中，应用程序的用户界面能够被移动到虚拟环境中，并被视为存在于虚拟环境中的虚拟对象。

在一些实施例中，当移动到虚拟环境中时，根据移动到虚拟环境中的用户界面的距离，自动调整用户界面的大小。

在一些实施例中，在显示虚拟环境和用户界面的同时，用户能够要求将用户界面显示为一个沉浸式环境。

在本发明的另一个方面，苹果公司指出，输入设备的例子包括触摸屏、鼠标、触控板（可选择集成或外部）、触摸板（可选择集成或外部）、远程控制设备、另一个移动设备（例如，与电子设备分开）、手持设备（例如，外部）、控制器（例如，外部）、照相机、深度传感器、眼球追踪设备和/或运动传感器（例如，手部追踪设备、手部运动传感器）等。

在一些实施例中，电子设备与手部追踪设备（例如，一个或多个摄像头、深度传感器、接近传感器、触摸传感器）进行通信。在一些实施方案中，手部追踪设备是一个可穿戴设备，如智能手套。在另一些实施方案中，手部追踪设备是一个手持式输入设备，如遥控器或手写笔。

图源：patentlyapple

苹果公司的专利图15A-15D说明了一种电子设备的示例，该设备便于在iPad上使用眼睛和手部追踪技术在三维环境中移动和/或放置多个虚拟对象。（来源：VR陀螺）