使用耳机听音乐时,虚拟场景的方式和技术越来越流行。一些听音App有些音效的设置。苹果的Airpods Pro和三星的Galaxy Buds Pro也添加了空间音频的功能。
虚拟声音渲染技术使得耳机用户可以获得超过传统耳机立体声的体验。双耳音频可以虚拟放置环绕听众的声源,用于环绕声音频再现并提高真实感。
之前的文章有介绍过一些背景知识,包括人耳的声源定位原理,以及各类空间声重放技术。
人听觉系统的单声源定位
空间声重放技术
使用耳机进行双耳音频重放的优势:
左右通道声音直接到达对应左右耳,无串扰
无墙面,房间物品等反射的影响
所以理论上,双耳音频可以模拟我们在任何声源下会听到的声音,并放置在收听者周围的任何地方。
而双耳音频信号的制作可以
直接用双耳人头录音
也可以常规音频信号 声源位置 声场信息,通过数字信号处理得到,“双耳音频渲染”
双耳滤波器被称为“头相关传递函数”(head-related-transfer-function,HRTF)。包括耳廓滤波器,双耳时间差(ITD),双耳声级差(ILD)。在之前文章有介绍分析过。
人听觉系统的单声源定位
当然还有不同方向入射的声源频谱因素
还可以包括一个混响滤波器,用于模拟虚拟听音室。添加混响有助于声源的真实感,例如对距离的感知,并减小头中效应。
常用的环绕声设置
但仅仅通过HRTF不足以说服用户听到的是外部的声源。因为人的头部转动也是识别声源方向的一个重要指标。通过头部转动,可以消除“混乱锥”、“前后混淆”等。
Airpods Pro的空间音频就是考虑了人头转动/移动的影响,实时动态调整双耳的音频渲染,所以真实感比之前的产品强。当然目前用于耳机只是小试牛刀,最终应该是应用于VR/AR产品中。
头部跟踪坐标系
同时还存在另一个挑战:用户可能在走路/跑步/开车/坐飞机。那这个时候虚拟的声源是应该留在原始位置,还是跟着用户移动?拐弯的时候虚拟声源是否需要跟着移动?需要分离好用户的移动和场景的移动。
要实时实现声临其境以假乱真的双耳音频渲染,还有很多工作可以做。