具有世界传感器和用户传感器的显示系统

摘要

本发明公开了一种混合现实系统，该混合现实系统包括头戴式显示器(HMD)，该HMD提供用虚拟内容增强的用户的环境的3D虚拟视图。该HMD可包括收集有关用户的环境的信息(例如，视频、深度信息、照明信息等)的传感器和收集有关用户的信息(例如，用户的表情、眼睛移动、手势等)的传感器。该传感器将该信息作为输入向控制器提供，该控制器至少部分地基于来自该传感器的输入来渲染包括虚拟内容的帧。该HMD可显示由控制器生成的帧以提供包括虚拟内容的3D虚拟视图和用户环境的视图以供用户查看。