基于听音者声场扰动特性的虚拟声像重建方法研究

摘要

随着多媒体影视技术的快速发展，三维音频已在电影、游戏、音乐等领域得到了初步应用。三维音频系统能够重建位于空间任意位置的虚拟声像，营造空间中任何方位的声音场景，实现真正意义上具有沉浸感、真实感的三维音效。 对虚拟声像三维空间位置的准确估计和重建是实现逼真的三维空间感知体验的关键。现有的使用较少扬声器进行虚拟声像重建的方法主要是幅度平移方法VBAP，该方法基于简单的几何模型，通过矢量合成来重建虚拟声像，所需扬声器数目相对较少（如NHK22.2声道系统）。但这类方法简单地将听音者当做一个几何点，未考虑听音者在声场中的双耳听觉特性对声场带来的扰动，导致听音者主观感知到的虚拟声像空间位置与该方法重建出的虚拟声像空间位置存在较大偏差。针对上述问题，本文以CIPIC HRTF数据库为研究基础，分析听音者对声场的扰动特性，提出了基于听音者声场扰动特性的虚拟声像重建模型，并进行了相关实验验证。 (1)本文首先阐述了VBAP重建虚拟声像的基本原理，并分析了VBAP方法的局限性。然后，给出了基于听音者声场扰动特性的虚拟声像重建算法，基于多扬声器合成的双耳信号与单声源双耳信号能量一致性约束，构建了多扬声器合成虚拟声像的重建模型。根据重建模型计算频域子带调制参数，并计算得到虚拟声像的双耳信号，最后进行了主客观实验验证。客观实验验证表明本文方法相比于VBAP方法，重建的虚拟声像的双耳信号与真实单声源双耳信号的谱距离更为接近，总体平均谱距离减小了16.21％。主观听音测试CMOS均值得分提升约为0.58分，表明本文方法提高了虚拟声像重建的准确度。 (2)子带划分数目的增多带来了调制参数数据量的增加。为了探究在哪种子带划分方式下更为高效，基于人耳听觉感知特性，本文选择了4种不同的子带划分方式，计算扬声器信号的频域调制参数，依据调制参数重建虚拟声像得到双耳信号，并进行了相关实验验证。实验验证表明，随着子带划分数目的增加，主观测试CMOS均值得分逐渐增加，并趋于平缓，调制参数的数据量随之显著增加。在32子带划分方式下，CMOS均值得分约为0.60，本文方法在保证重建虚拟声像准确度提高的同时，能够有效的减少频域调制系数的数据量。

目录

声明

摘要

1 绪论

1．1 研究背景和意义

1．2 国内外研究现状

1．2．1 虚拟声像估计与重建

1．2．2 听音者声场扰动特性及双耳听觉定位

1．3 目前存在的问题

1．4 论文主要工作

1．5 论文组织结构

2 基础理论分析

2．1 听音者声场扰动特性

2．2 多声源双耳信号的计算

2．3 小结

3 基于听音者声场扰动特性的虚拟声像重建

3．1 基于矢量幅度平移的虚拟声像重建

3．1．1 二维幅度平移定律

3．1．2 三维幅度平移定律

3．2 基于听音者声场扰动特性的虚拟声像重建

3．2．1 虚拟声像重建算法

3．2．2 虚拟声像重建框架

3．2．3 虚拟声像重建的扬声器选择

3．3 实验结果及分析

3．3．1 客观实验分析

3．3．2 主观实验分析

3．4小结

4 虚拟声像重建的频域子带调制参数计算

4．1．1 人耳听觉感知特性

4．1．2 频域子带划分现状

4．2．1 频域子带划分

4．2．2 调制参数计算

4．3．1 客观实验分析

4．3．2 主观实验分析

4．4 小结

5 总结与展望

5．1 现有工作总结

5．2 未来工作展望

参考文献

致谢

研究成果