深度学习降噪 与回声消除aec 配合的相关分享

1、回声消除aec 与降噪ns的关系:

a、回声消除与ns 的前后关系: 回声消除aec 与降噪算法之间的衔接问题一直存在,由于回声消除算法的建模基本都是自适应滤波模拟回声路径,为了尽可能缩短路径,确保自适应滤波的准确性,一般来说aec 都会在ns 之前使用。

b、当前aec与ns如何搭配:   aec 目前大部分aec 算法单靠自适应滤波是很难完全去除回声,因为线程的波动,回声路径的变化等原因往往需要加入非线nlp处理,由于自适应滤波,特别是非线性处理对噪声的影响都非常大,我们往往会在自适应滤波之前就加入噪声估计模块,在nlp处理后加入频带等量的舒适噪声,然后aec 输出后在经过ns时,ns 就能很好的估计出噪声能量,进行降噪处理。

c、深度学习降噪引入的新的搭配问题:   webrtc 采用的就是在aec 中加入舒适噪声,然后ns 进行平稳噪声估计处理的方案,但是深度学习降噪,虽然目前针对语音处理,大部分都会使用有更长记忆的rnn,但是总体而言,我们知道相对平稳噪声估计500ms~2s 的估计时长,深度学习算法属于的非平稳的,这就与之前的平稳噪声有很大的区别。

2、深度学习降噪 对 aec 数据处理的问题 及优化思考:

a、babble 噪声的处理的建议和思考 :如果训练的数据没有经过任何前处理,直接是设备采集的语音,此时如果前处理有aec 最后控制噪声源的babble的幅值已经babble 的类型,因为经过aec 处理后,特别是双讲后,语音和babble 噪声的相识度会很高,往往会噪声严重失真,如果没有前处理没有aec,就可以加大babble 噪音的数据量以及幅值,因为深度学习降噪对babble 噪声的效果非常好。

b、aec 的非线性处理带来的问题:非线性处理往往会破坏语音特征,导致深度学习算法对语音的失真往往比传统算法的大,对于这个问题,可以尝试aec 和ns 深度融合,在aec 线形滤波后就做深度学习降噪,然后在做nlp 。

 

欢迎大家加音频算法讨论群:153268894 (作者 zeark)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章