苹果宣布获得首个工业增强现实摄像头系统专利

日前，美国专利商标局（U.S. Patent and Trademark Office）授予苹果公司一项新专利：工业增强现实摄像头系统（industrial Augmented Reality camera system）。该系统与在真实环境中将数字信息投影到真实物体上的方法和系统有关。

苹果公司在该专利的背景中指出，增强现实（AR）系统可通过计算机生成的数字信息直接、直观地增强真实环境。例如，这种数字信息是能够增强真实环境中视觉印象的虚拟信息。典型应用有基于投影仪的AR、投影AR或空间AR。

数字信息可以是任何类型的可视数据，如真实物体、文本、图形、视频或上述物体的组合。通过使用投影仪将计算机生成的数字信息投射至全部或部分真实环境中的真实物体表面，就可以直接增强真实环境。

投影AR具有许多应用场景，例如架构设计的原型、汽车制造、新颖计算机用户界面开发所需的普适计算以及信息显示。但苹果公司尚未宣布是否将在泰坦项目中使用该发明。在工业领域，投影AR也被称为“投影或空间增强现实”。

为了实现投影式视觉数字信息与在真实环境中增强的真实物体对齐，就必须了解真实物体与投影仪之间的空间变换。为此，系统需要经常执行校准程序，从而评估基于2D-2D、2D-3D或3D-3D对应关系的空间转换，这对于构建投影AR系统来说非常具有挑战性。而这样的校准过程通常需要使用摄像头。

为计算投影仪和真实物体间的空间变换，业界已经提出并开发出许多校准方法。其中一种方法是通过使用摄像头和投影仪在汽车仪表盘上显示视觉数据。为实现一次校准，摄像头和投影仪应该连接牢固。摄像头获得的视觉数据经过处理，可大概判断投影仪汽车的外部特征（如相对空间位置和方向）。

摄像头还可检测出汽车上的标记，从而评估摄像头和汽车之间的空间变换，确定投影仪和汽车之间的空间变换。但该方法的问题在于必须预先测量标记相对于汽车坐标系的位置和方向。而商用投影AR系统Extend3D，可基于与投影仪牢固连接的摄像头传感器追踪一组数据标记。

苹果公司的此次发明提供了一套在真实环境中将数字信息投影在真实物体上的系统。该系统包括：可见光投影仪，可适用于在真实环境中将数字信息投影在真实物体或其部分上；摄像头，可使用投影数字信息捕获至少一个真实物体的图像；深度传感器，内置于摄像头中，可捕获真真实物体或其部分的深度数据；处理部件，可用于基于一个以上图像和深度数据计算可见光投影仪和真实物体间的空间转换。

根据特定安装方式，在优选实施例中，该方法包含基于已知真实物体的3D模型评估RGB-D摄像头系统和真实物体间的空间变换，计算投影仪的固有参数和投影仪和真实物体间的空间转换（基于使用投影仪在真实物体或其部分的一个或多个表面上投影一个或多个视觉图像），以及使用RGB-D摄像头捕获投影视觉图案的深度图。

专利声明所列发明人中，一位是英特尔前职员、计算机视觉机器学习高级工程经理Selim BenHimane；一位是高级机器学习经理Daniel Kurz，在苹果收购虚拟现实初创公司Metaio时加入苹果。该专利似乎最初来自Metaio。