全景声处理软件的设计与实现

摘要

随着虚拟现实技术的发展，全景图像采集技术在影视级和消费级两大领域得到了不同程度的发展，但是在通过声音营造沉浸感的技术方面却仍然处于较低的发展水平。要做到和全景视频完美结合的全景声，使用传统的录音设备和录音技术仍无法达到令人满意的效果。本文设计并实现了与全景声采集设备配套使用的全景声处理软件，在采集到带有指向性信息的声音后，对指向性声音进行预览、方位调整、音质处理、主流格式转换的功能，通过精准还原场景声音位置，营造更加强烈的沉浸体验。
　　本文设计的全景声处理软件采用了分层设计的方案，将底层算法封装成SDK，提高了算法的灵活性和可复用性，同时降低了与上层的耦合度。通过分析产品特点和用户特征，提炼出软件的需求，该软件主要包括主界面、全景声预览、全景声预处理、全景声算法SDK四大功能模块。作者独立设计并实现了该四大模块:
　　(1)主界面模块:包括登录、新版本检查、中英文切换、UUID管理、预览模式切换等功能，此外还包括了界面设计等部分的业务逻辑。
　　(2)全景声预览模块:为用户提供了人头模型预览、全景视频预览、音频播放器功能，以及波达方向可视化、头部角度调整和声场角度调整功能。
　　(3)全景声预处理模块:实现了主流格式的音频文件的渲染和格式处理、视频文件中音频的渲染和处理，对全景声ANS降噪处理和EQ均衡器处理。
　　(4)全景声算法SDK:通过头相关变换函数，实现了为上层功能实现提供的A Format、B Format、Stereo、QuadBinaural、5.1格式转换以及Ambisonic和HRTF两种渲染方式。
　　经系统验证，全景声处理软件已达到发布版本功能要求，并通过众筹期间用户使用反馈及建议，对功能细节进一步优化。目前，该项目已经发布在官网供用户下载使用，正在以较高的处理效率和精确的再现效果为用户提供优质的虚拟现实沉浸体验。

目录

声明

致谢

摘要

1 引言

1．1 项目背景

1．1．1 全景声介绍

1．1．2 全景声技术对虚拟现实产业的意义

1．2 课题相关国内外发展现状研究

1．3 课题的主要内容和论文的组织结构

2 全景声处理软件相关理论及技术综述

2．1 Qt跨平台软件架构

2．1．1 Qt基本模块结构及Qt界面类

2．1．2 Qt信号与槽机制

2．2 FFmpeg

2．3本章小结

3 全景声处理软件需求分析

3．1需求分析综述

3．1．1 产品特点分析

3．1．2 用户特征分析

3．2功能性需求分析

3．2．1 主界面模块

3．2．2 全景声预览模块

3．2．3 全景声预处理模块

3．2．4 全景声算法SDK

3．3非功能性需求分析

3．4本章小结

4 全景声处理软件概要设计

4．1设计目标

4．2总体功能结构

4．3技术实现架构

4．4数据存储及使用

4．5界面原型设计

4．6本章小结

5 全景声处理软件详细设计与实现

5．1主界面模块

5．1．1 启动软件，用户登录

5．1．2 语言和模式切换

5．1．3 版本更新

5．2全景声预览模块

5．2．1 人头模型预览

5．2．2 全景视频预览

5．2．3 声音角度旋转

5．3全景声预处理模块

5．3．1 音频文件渲染和格式处理

5．3．2 视频文件中音频的渲染和格式处理

5．3．3 ANS和EQ音质提升

5．4全景声算法SDK

5．4．1 Ambisonic渲染算法

5．4．2 HRTF渲染算法

5．4．3 格式转换算法

5．5本章小结

6 系统验证

6．1功能测试点划分

6．2软件功能测试用例

6．3本章小结

7 结论

7．1 全文总结

7．2展望

参考文献

作者简历及攻读硕士学位期间取得的研究成果

学位论文数据集