黑龙江新一代声学回声

时间:2021年09月11日 来源:

    噪声抑制和声源分离同属于语音增强的范畴,如果把噪声理解为广义的噪声三者之间的关系,噪声抑制需要准确估计出噪声信号,其中平稳噪声可以通过语音检测判别有话端与无话端的状态来动态更新噪声信号,进而参与降噪,常用的手段是基于谱减法(即在原始信号的基础上减去估计出来的噪声所占的成分)的一系列改进方法,其效果依赖于对噪声信号估计的准确性。对于非平稳噪声,目前用的较多的就是基于递归神经网络的深度学习方法,很多Windows设备上都内置了基于多麦克风阵列的降噪的算法。效果上,为了保证音质,噪声抑制允许噪声残留,只要比原始信号信噪比高,噪且听觉上失真无感知即可。单声道的声源分离技术起源于传说中的鸡尾酒会效应,是指人的一种听力选择能力,在这种情况下,注意力集中在某一个人的谈话之中而忽略背景中其他的对话或噪音。该效应揭示了人类听觉系统中令人惊奇的能力,即我们可以在噪声中谈话。科学家们一直在致力于用技术手段从单声道录音中分离出各种成分,一直以来的难点,随着机器学习技术的应用,使得该技术慢慢变成了可能,但是较高的计算复杂度等原因,距离RTC这种低延时系统中的商用还是有一些距离。噪声抑制与声源分离都是单源输入。

     AEC声学回声,电话的扬声器的声音。黑龙江新一代声学回声

黑龙江新一代声学回声,声学回声

    需要注意的是,如果index在滤波器阶数两端疯狂试探,只能说明当前给到线性部分的远近端延时较小或过大,此时滤波器效果是不稳定的,需要借助固定延时调整或大延时调整使index处于一个比较理想的位置。线性部分算法是可以看作是一个固定步长的NLMS算法,具体细节大家可以结合源码走读,本节重点讲解线型滤波在整个框架中的作用。从个人理解来看,线性部分的目的就是很大程度的消除线性回声,为远近端帧判别的时候,很大程度地保证了信号之间的相干值(0~1之间,值越大相干性越大)的可靠性。我们记消除线性回声之后的信号为估计的回声信号e(n),e(n)=s(n)+y''(n)+v(n),其中y''(n)为非线性回声信号,记y'(n)为线性回声,y(n)=y'(n)+y''(n)。相干性的计算(Matlab代码),两个实验(1)计算近端信号d(n)与远端参考信号x(n)的相关性cohdx,理论上远端回声信号的相干性应该更接近0(为了方便后续对比,WebRTC做了反向处理:1-cohdx),如图5(a),行为计算近端信号d(n),第二行为远端参考信号x(n),第三行为二者相干性曲线:1-cohdx,会发现回声部分相干值有明显起伏,比较大值有,近端部分整体接近,但是有持续波动,如果想通过一条固定的门限去区分远近端帧,会存在不同程度的误判。

     陕西数字声学回声设计非线性的声学回声消除问题,在实际声学系统里面非常普遍也非常棘手。

黑龙江新一代声学回声,声学回声

    以此来应对市面上绝大多数的移动设备。另外,线性滤波器虽然不具备调整延时的能力,但可以通过估计的index衡量当前信号的延时状态,范围为[0,kNormalNumPartitions],如果index处于作用域两端,说明真实延时过小或过大,会影响线性回声估计的效果,严重的会带来回声,此时需要结合固定延时与大延时检测来修正。非线性滤波非线性部分一共做了两件事,就是想尽千方百计干掉远端信号。(1)根据线性部分提供的估计的回声信号,计算信号间的相干性,判别远近端帧状态。(2)调整抑制系数,计算非线性滤波参数。非线性滤波抑制系数为hNl,大致表征着估计的回声信号e(n)中,期望的近端成分与残留的非线性回声信号y''(n)在不同频带上的能量比,hNl是与相干值是一致的,范围是[0,],通过图5(b)可以看出需要消除的远端部分幅度值也普遍在,如果直接使用hNl滤波会导致大量的回声残留。因此WebRTC工程师对hNl做了如下尺度变换,over_drive与nlp_mode相关,不同的抑制激进程度,drive_curve是一条单调递增的凸曲线,范围[]。由于中高频的尾音在听感上比较明显,所以他们设计了这样的抑制曲线来抑制高频尾音。我们记尺度变换的α=over_drive_scaling*drive_curve。

    

    如果设置nlp_mode=kAecNlpAggressive,α大约会在30左右。如果当前帧为近端帧(即echo_state=false),假设第k个频带hNl(k)=,hNl(k)=hNl(k)^α=,即使滤波后的损失听感上几乎无感知。如图8(a),hNl经过α调制之后,幅值依然很接近。如果当前帧为远端帧(即echo_state=true),假设第k个频带hNl(k)=,hNl(k)=hNl(k)^α=,滤波后远端能量小到基本听不到了。如图8(b),hNl经过α调制之后,基本接近0。经过如上对比,为了保证经过调制之后近端期望信号失真小,远端回声可以被抑制到不可听,WebRTCAEC才在远近端帧状态判断的的模块中设置了如此严格的门限。另外,调整系数α过于严格的情况下会带来双讲的抑制,如图9第1行,近端说话人声音明显丢失,通过调整α后得以恢复,如第2行所示。因此如果在WebRTCAEC现有策略上优化α估计,可以缓解双讲抑制严重的问题。延时调整策略回声消除的效果与远近端数据延时强相关,调整不当会带来算法不可用的风险。在远近端数据进入线性部分之前,一定要保证延时在设计的滤波器阶数范围内,不然延时过大超出了线性滤波器估计的范围或调整过当导致远近端非因果都会造成无法收敛的回声。先科普两个问题:。1)为什么会存在延时?首先近端信号d。

   声学回声消除,该技术的出现旨在消除这种因远程网络会议所带来的回授现象。

黑龙江新一代声学回声,声学回声

    黑色这条线是标准NLMS算法的回声抑制比。我们可以看到,NLMS算法在收敛之后,回声抑制比只能到10个分贝左右,相对比较低。而双耦合算法在收敛之后,可以达到25个分贝以上,也就是说它比NLMS算法多15个分贝,这个优势是很明显的。接下来我们再看第二个示例,针对弱非线性失真的情况,左边是语谱,右边是回声抑制比。我们评估单讲性能的主要指标是回声抑制比和收敛速度。首先看一下NLMS算法,它在收敛之后,大概可以抑制22~25个分贝。这个算法的收敛速度很慢,大概经过100多帧之后才会进入到相对收敛的状态。再来看一下双耦合算法,在稳定之后,可以抑制35~40个分贝,比NLMS算法大概提升15~20个分贝的回声抑制比。同时它还有一个很明显的优势:收敛速度很快,几乎是回声到了之后,他瞬间就进入到收敛状态。接下来这个是针对不同手机机型的回声抑制比的比较。红色是双耦合算法,蓝色是NLMS算法,从这组数据里面,我们可以看到双耦合算法比NLMS算法普遍提升了大概10个分贝以上的回声抑制比,具有比较大的优势。再进入双讲测试场景。我首先介绍一下测试的示例,这组数据是一个视频会议的数据,左边这个是原始的麦克信号语谱,右边这个是回声参考信号语谱。

     回声消除AEC(AcousticEchoCancellation)一般指的是声学回声消除,其主要用于抑制产品本身发出的声音。北京数字声学回声设计

的是声学回声的路径。黑龙江新一代声学回声

    为什么又这么冷呢?我能想到的一个答案是它太难了,它非常有挑战性。下面就来看一下它的技术难点。5非线性声学回声消除的技术难点,我从6个不同的维度比较了线性的和非线性这两种回声消除问题。个维度,系统传递函数。在线性系统里面,我们认为系统传递函数是一个缓慢时变的系统,我们可以通过自适应滤波的方式去逼近这个传递函数,来有效抑制回声。而在非线性系统里面,系统传递函数通常是快变、突变的,我们如果用线性的方法去逼近的话,会出现滤波器的更新速度,跟不上系统传递函数变化的速度,就会导致声学回声消除不理想。第二个维度是优化模型,在线性里面我们是有一套非常完备的线性优化模型,从目标函数的构建到系统优化问题的求解,整个脉络是很清晰的。而在非线性的系统里面,目前是缺少一种有效的模型来对它进行支撑的。接下来的四个维度对应4个问题,它们是线性回声消除领域普遍存在的4个难点问题,这些问题在非线性领域也同样存在。比如强混响问题,我们如果在一个小型会议室里开视频会议,那么声音会经过多次墙壁反射,带来很强的混响,混响的拖尾时间会很长。如果想抑制这样的强混响回声,就需要把线性滤波器的长度加长。

    黑龙江新一代声学回声

深圳鱼亮科技有限公司位于龙华街道清华社区建设东路青年创业园B栋3层12号,交通便利,环境优美,是一家服务型企业。深圳鱼亮科技是一家有限责任公司(自然)企业,一直“以人为本,服务于社会”的经营理念;“诚守信誉,持续发展”的质量方针。公司拥有专业的技术团队,具有智能家居,语音识别算法,机器人交互系统,降噪等多项业务。深圳鱼亮科技以创造***产品及服务的理念,打造高指标的服务,引导行业的发展。

信息来源于互联网 本站不为信息真实性负责