Unity3D中的Kinect声源定位与人机交互技术

摘要

Kinect是与Xbox360游戏机配套使用的一款外设,内置四元线性非对称麦克风阵列,可以根据各麦克风接收到声音信号的时延差,计算出声源方位与角度o Unity3D是一个可以创建三维视频游戏、建筑可视化、实时三维动画等类型互动内容的综合型游戏引擎,其本身缺少高级人机声音交互功能.为此,研究开发了基于Kinect的Unity3D人机声音交互接口.采用C++/C#混合编程技术,将Kinect API for Windows中关于声音的相关功能封装为非托管的C++动态链接库(DLL),利用该DLL把Unity3D引擎、Kinect体感设备和Visual Studio平台衔接起来;在Unity3D平台上对由Kinect获取到的声源位置进行识别定位,得到的实时数据可用于高级人机交互应用.