3.4 自然交互与传感技术

在VR技术中，我们强调自然交互性，即人在虚拟世界中，与虚拟世界进行交互，甚至意识不到计算机的存在。在计算机系统提供的虚拟空间中，人可以使用眼睛、耳朵、皮肤、手势和语音等各种感觉方式直接与之发生交互，这就是虚拟环境下的自然交互技术。目前，与VR技术中的其他技术相比，这种自然交互技术相对还不太成熟。

在最近几年的研究中，为了提高人在虚拟环境中的自然交互程度，研究人员一方面在不断改进现有自然交互硬件的同时，加强了对相应软件的研究，另一方面则是将其他相关领域的技术成果引入到VR系统中，从而扩展全新的人机交互方式。在VR领域中较为常用的交互技术主要有手势识别、面部表情的识别以及眼动跟踪等。

3.4.1 手势识别

人与人之间交互的形式很多，有动作及语言等多种。在语言方面，除了采用自然语言（口语、书面语言）外，人体语言（表情、体势、手势）也是人类交互的基本方式之一。与人类交互相比，人机交互就呆板得多，因而研究人体语言理解，即人体语言的感知及人体语言与自然语言的信息融合，对于提高VR技术的交互性有重要的意义。

手势是一种较为简单、方便的交互方式，也是人体语言的一个非常重要的组成部分，它是包含信息量最多的一种人体语言，它与语言及书面语等自然语言的表达能力相同，因而在人机交互方面，手势完全可以作为一种手段，而且具有很强的视觉效果，因为它生动、形象、直观。手势识别系统根据输入设备的不同，主要分为基于数据手套的识别和基于视觉（图像）的手语识别系统两种。

基于数据手套的手势识别系统，就是利用数据手套和空间位置跟踪定位设备来捕捉手势在空间运动的轨迹和时序信息，对较为复杂的手的动作进行检测，包括手的位置、方向和手指弯曲度等，并可根据这些信息对手势进行分类，因而较为实用。这种方法的优点是系统的识别率高，缺点是做手势的人要穿戴复杂的数据手套和空间位置跟踪定位设备，相对限制了人手的自由运动，并且数据手套、空间位置跟踪定位设备等输入设备价格比较昂贵。