深度學習降噪 與回聲消除aec 配合的相關分享

1、回聲消除aec 與降噪ns的關係:

a、回聲消除與ns 的前後關係: 回聲消除aec 與降噪算法之間的銜接問題一直存在,由於回聲消除算法的建模基本都是自適應濾波模擬回聲路徑,爲了儘可能縮短路徑,確保自適應濾波的準確性,一般來說aec 都會在ns 之前使用。

b、當前aec與ns如何搭配:   aec 目前大部分aec 算法單靠自適應濾波是很難完全去除回聲,因爲線程的波動,回聲路徑的變化等原因往往需要加入非線nlp處理,由於自適應濾波,特別是非線性處理對噪聲的影響都非常大,我們往往會在自適應濾波之前就加入噪聲估計模塊,在nlp處理後加入頻帶等量的舒適噪聲,然後aec 輸出後在經過ns時,ns 就能很好的估計出噪聲能量,進行降噪處理。

c、深度學習降噪引入的新的搭配問題:   webrtc 採用的就是在aec 中加入舒適噪聲,然後ns 進行平穩噪聲估計處理的方案,但是深度學習降噪,雖然目前針對語音處理,大部分都會使用有更長記憶的rnn,但是總體而言,我們知道相對平穩噪聲估計500ms~2s 的估計時長,深度學習算法屬於的非平穩的,這就與之前的平穩噪聲有很大的區別。

2、深度學習降噪 對 aec 數據處理的問題 及優化思考:

a、babble 噪聲的處理的建議和思考 :如果訓練的數據沒有經過任何前處理,直接是設備採集的語音,此時如果前處理有aec 最後控制噪聲源的babble的幅值已經babble 的類型,因爲經過aec 處理後,特別是雙講後,語音和babble 噪聲的相識度會很高,往往會噪聲嚴重失真,如果沒有前處理沒有aec,就可以加大babble 噪音的數據量以及幅值,因爲深度學習降噪對babble 噪聲的效果非常好。

b、aec 的非線性處理帶來的問題:非線性處理往往會破壞語音特徵,導致深度學習算法對語音的失真往往比傳統算法的大,對於這個問題,可以嘗試aec 和ns 深度融合,在aec 線形濾波後就做深度學習降噪,然後在做nlp 。

 

歡迎大家加音頻算法討論羣:153268894 (作者 zeark)

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章