3.3三维虚拟声音的显示技术63时间因素产生的压力差较小。其实,头部阴影效应所产生的压力差影响更显著,使到达较远一侧耳朵的声波比近一侧耳朵的声波要小,这就存在一个压力差。这一现象在人的声源定位机能中起着重要的作用。研究表明:在声波频率较低时,混响强度差很小,声音定位依赖混响时间差,当声波的频率较高时,混响强度差在声音定位中起作用。但进一步研究表明,该理论不能解释所有类型的声音定位,即使双耳的声音中包含时间相位及强度信息,仍使听者感觉到在头内而不是在身外。1974年Shaw的研究表明大脑就是依靠耳廓加在入耳的压力波上的独特的“耳印”来获取空间信息的。每个耳朵有一个耳洞,但并不是简单的洞,声音在外耳上反射进入内耳,因此声音在听者的面部、肩部和外耳上发生反跳,并改变了声音的频谱。每当声音传播到身体的头部、躯体、外耳廓三个部位时,就会发生散射现象,而且左右耳产生的波谱分布不同,当进入的声波与外耳或耳廓产生交互作用时,发生与方向有关的滤波作用,这将对定位有着重要的影响。

头相关转移函数声音相对于听者的位置会在两耳上产生两种不同的频谱分布,靠得近的耳朵通常感受到的强度相对高一些。通过测量外界声音及鼓膜上的声音的频谱差异,获得了声音在耳附近发生的频谱波形,随后利用这些数据对声波与人耳的交互方式进行编码,得出相关的一组转移函数,并确定出双耳的信号传播延迟的特点,以此对声源进行定位。这种声音在双耳中产生的频段和频率的差异就是第二条定位线索。通常在VR系统中,当无回声的信号由这组转移函数处理后,再通过与声源缠绕在一起的滤波器驱动一组耳机,就可以在传统的耳机上形成有真实感的三维声音了。理论上,这些转移函数因人而异,因为每个人的头、耳的大小和形状各不相同。但这些函数通常是从一群人获得的,因而它只是一组平均特征值。而且,由于头的形状也要与耳廓的本身的行为作用,因此,转移函数是与头相关的,故称为头相关转移函数(Head-Related Transfer Function,HRTF)。事实上,HRTF的主要影响因素是耳廓,但除耳廓外还受头部的衍射和反射、肩膀的反射及躯体的反射等多方面因素的影响。举例来说,在虚拟世界中的一台正播放音乐的录音机,它的虚拟位置应该是不变的,只是和用户的相对位置会改变。但如果不考虑这一相对变化引起的传递函数变化,录音机就可能在虚拟世界中动起来,这样的声音效果不仅不能增强沉浸感,反而会造成莫名其妙的感觉。反之,头部位置固定而声音源发生移动,听到的声音也应随之变化,从而真正的实现三维声音定位。

3.3.4语音识别与合成技术语音是人类最自然的交流方式。与虚拟世界进行语音交互是实现VR系统中的一个高级目标,语音技术在VR技术中的关键技术是语音识别技术和语音合成技术,在目前技术上还很不成熟,和语音识别相比,语音合成技术相对说来要成熟一些。语音识别技术(Automatic Speech Recognition,ASR),是指将人说话的语音信号转换为可被计算机程序所识别的文字信息,从而识别出说话人的语音指令以及文字内容的技术。语音识别一般包括参数提取、参考模式建立、模式识别等过程。当通过一个话筒将声音输入到系统中,系统把它转换成数据文件后,语音识别软件便开始以输入的声音样本与事先储存好的声音样本进行对比工作,声音对比工作完成之后,系统就会输入一个它认为最“像”的声音样