|
楼主 |
发表于 2022-1-18
|
最后根据经验选择的阈值通过比较 中的信号能量确定完整的风噪掩膜 。这一方法的缺点是低频的语音信号可能会包含进风噪掩膜中被滤除。
' D" Z/ j' H9 ^
; H9 q) L; ~' I+ U+ X! r/ Y% ~+ i5 n* j% r
* G8 P. Z. ] z; @: W$ W# |8 R& n& a, P Z# H
图8 形态学方法估计风噪掩膜步骤[2]
; Q$ Y0 h* C) z$ ^# X ] o c( L. Q! b, u( Q
噪声模板方法 该方法的基本思想是将风噪的声谱图分解为谱包络和精细结构,倒谱分析可以实现这个目的。首先计算带噪信号的倒谱系数。
8 T4 q& O! b3 L0 p1 W {3 @7 {6 L) s, M
保留带噪信号倒谱的高阶系数,处理低阶系数。将低阶系数变换回STFT域生成谱包络。1 f9 E" e9 L0 Y" ]# u
( P) T4 I, \& |$ F4 O0 s2 r将谱包络与预先训练好的风噪声参考谱包络模板 进行比较,取平方和误差最小的模板 计算低阶倒谱系数来替换带噪信号的低阶倒谱系数,并与带噪信号的高阶倒谱系数组合,经逆倒谱运算即可得到风噪短时功率谱的估计。
* G0 M9 z& C2 Q
( e& k: G L8 m% C6 _) ?
: a" \& d3 O. {; R: P) }图9 噪声模板方法[2]
! ]* I6 s* p& G. t& G& i1 Z: Q, y) ?7 l
谱质心方法 谱质心是信号能量关于频率的一阶矩,可以反映信号主要能量的频率分布。谱质心方法的核心思想是通过谱质心和其他信号特征分析带噪信号的组成成分,先对信号进行分类,然后进一步决定风噪STPS的估计策略。 z! G( x* }5 A, g
6 f: I: U8 z6 E6 q4 e. v& u7 z! j
计算谱质心 可以将带噪信号分为三类[10]:纯风噪( <200Hz)、风噪语音混合信号(200Hz< <550Hz)、纯语音( >550Hz)。
. M% x) o# v; d+ @! N4 D; t8 T& g
% u8 d7 H+ Q7 Y
: |7 v' k& p- W" S图10 不同信噪比下谱质心的差异[2]* U9 X1 w$ E! M' i4 b0 L9 ~
8 J4 F: Q! \1 E8 j0 i! \$ |
通过谱质心和短时平均等特征对输入带噪信号进行三分类。第一步判断是否为纯语音,若为纯语音则该时频窗风噪的STPS为零。第二步判断是否为纯风噪,若为纯风噪则风噪的STPS就等于输入信号的STPS。若信号被判断为语音和风噪的混合信号,则进行进一步的风噪估计,方法包括最小拟合估计法[10]和自适应音高估计法[11]等。$ b! ?! }+ ^* R! s3 g/ d7 P& V0 C! k
7 T. }/ U' L8 [( ?" U. h6 q
; R0 h; n# o& j$ J0 G
图11 谱质心方法流程图[2]
" f- C5 r" ^" }( |' {3 p# Q/ q- D* x; u6 n4 c( I
深度学习方法 风噪声可以通过深度神经网络来估计,[12]提出通过前向深度神经网络(FNN)来估计风噪声的幅度谱。方法是先估计语音信号和风噪声的理想幅值掩膜(IAM) 和 ,然后从带噪信号中分离出语音成分和风噪成分。% {& h: S6 c; u ~7 y4 F
) G5 t8 i3 z& W! n. \: v- X/ k& C9 N
使用两个FNN分别估计 和 ,如下式所示, 和 表示网络参数。神经网络的训练使用[13]中方法使估计的信号和风噪声幅度谱与目标幅度谱的均方误差最小。
* P: Q0 [* a: l' c% d5 y
' c, n, d; f6 o% q. w2 ?% |* }6 Q z, Y% {; d* S
图12 深度学习方法流程图[12]) K0 p s" g: S! p
' Q7 C! c5 f5 R' p6 p/ }! m% j% m( k
增益估计7 H2 U9 D2 O7 y: K
, Q# v4 E! i7 P) x4 K' k如图7所示,基于频谱滤波的风噪抑制方法重点是求解增益。传统方法如维纳滤波法和谱减法不能取得很好的效果,下面总结几种增益的求解算法。* l* M( J5 O! A/ v
: }5 c3 k; r& X" M$ H! ]* Z
决策导向信噪比估计 该方法[14]在维纳滤波的框架下提出了一种更新先验信噪比 的方法求解增益 。$ W; h9 x8 T) _" l. l
( t! ?% T6 Q5 |" I$ K' j& P
风噪抑制系统的后验信噪比估计 可由下式得到。该方法可以提升被增强语音的主观质量,尤其是减少“musical tones”。
0 o, A+ {3 Z% M6 `: j- X7 o# {# z/ g8 f& w- \" x& }5 c. u
递归增益的谱减法 该方法[8]的目的是为了避免单个离群值对增益计算造成的影响。因此引入一种使用前一时频块增益的回归运算来计算当前时频块的增益。1 Q0 y' p' m' q1 ~' u5 I% X
+ S/ | s+ S' z6 `3 v软可听噪声掩膜法 该方法[15]的基本想法是根据心理声学模型在噪声抑制和引入失真之间寻找平衡,即令下式最小。5 p% K' d0 z7 Q, h9 f
0 I) g/ C* V; e e) R6 P
其中 是根据心理声学模型计算得到的掩膜阈值。由上式推导可得增益估计值如下,参数α可设经验值1。
1 y7 s! X* j7 {3 _- H7 o6 S5 ^% U2 s0 h! T
多传声器风噪抑制技术: m } b/ W5 _
3 \& A# ^: W- [当前最新的智能手机和TWS耳机配备有2个或更多的传声器。因此可以考虑基于双传声器的风噪抑制方法。
d1 S3 A0 q1 e" b3 o5 N6 ]4 Q% F" d
相关加权方法 该方法[16]的思想就是利用语音和风噪的相关性差异,使用幅度平方相关(MSC) 来计算增益,
8 j! A4 c: g, r9 H. [8 W t6 z! b& i6 g
差分阵列方法 该方法[17]利用了传声器阵列对于不相关噪声(如风噪声)比较敏感的特点来降风噪,引入功率比的概念,: t) D. ^2 K; _" [
4 |( E0 a S4 C l5 N0 R* x. n其中 和 定义如下,
' s2 Z/ c4 f# {: l/ B) K0 n$ X3 K+ J
功率比可以有效分离语音和风噪,如下图所示。从图中可以看出,当传声器间距较小时( )功率比可以较好的分离风噪声和语音。增益函数通过计算纯净语音功率比和带噪信号功率比的比值确定。
- ]7 Z. }# k1 ?6 N" d' B5 k2 ?
3 `1 j3 q6 |% T
4 p3 Y# X$ B% C2 e5 O1 L
图13 风噪声和语音功率比[2]" T3 A& M7 X/ \0 k" b6 r2 @. T+ n
8 |& t9 z) E! a/ m# E! [8 A复相关风噪估计方法 根据[18],假设传声器x和y处的风噪不相关且能量相当,传递函数也相似,则可以得到如下关系," l6 x% h1 l( z
3 i( h0 j y# t
于是风噪声的功率谱密度可以用下式来估计,
. B) Z: O1 U9 G' x0 _$ f5 m
! o' _1 L/ T b c$ n9 b在信号DOA已知的情况下引入复相关的相位信息 [19],
. @6 }2 z) D, l' W7 R; O1 x& A
) M/ t# E4 H6 G9 B; Y对于相关的语音信号, ;而对于不相关的风噪声, 呈现均匀分布。) b) O% I; d- n) J9 }
' n/ h; z+ f5 N* `' m# c, e
2 o+ E$ y% ~- Y( S
图14 语音与风噪声复相关的相位信息分布[2]
- R. a' y; }/ B% ^4 _2 \' l7 _8 F# k4 G1 ]. N
风噪声的STPS估计由下式给出。. y8 ?2 w a v) v$ \1 ?) n3 f- z% t
; ~! |- f q4 r# O% k
部分语音合成2 d' [9 V& @5 f1 x, g; p: g1 v
1 P8 E# {. E v5 e- K% Q实现风噪场景下的语音增强,除了通过抑制风噪,还可以通过部分语音合成的方式。称其为部分语音合成是因为算法保留了原始带噪信号中的不受风噪影响的高频语音(主要为清音),只合成受风噪声影响严重的低频语音(主要为浊音)。实现方法如下图所示,系统可以在抑制风噪的同时合成语音,二者结合生成对语音信号的估计。
. K9 ?' c( |/ j8 S; d v! U5 @5 A4 r0 S- f9 O. T- w
$ l9 ?4 P! z4 O Z U6 P; @. D- G
图15 结合语音生成的风噪抑制框架[2]0 Q+ M0 h4 |+ ~3 O+ u
( H7 Y0 Q H+ R基于重建的部分语音合成 该方法[20]的基本思想是关注被风噪破坏的低频语音部分,将问题转化为带限语音的增强问题。语音生成部分采用线性预测编码(LPC)实现。带噪语音信号通过截止频率 的高通滤波器保留未被风噪影响的高频部分,滤波器截至频率由下式给出。
5 t: L! q0 i8 W+ U! _: w0 ~+ K! E
6 S+ b$ Z+ ]$ t; l5 S纯风噪上限频率 和语音重构上限频率 可根据经验取值(100Hz和1500Hz)。原始信号中包含风噪声的低频部分由人工合成的语音替代。# Z" k0 r. K% O" ]: Z3 V
N% Q0 ~' n$ R7 h% P' _
& h9 X# U9 j T) Z6 U
图16 基于重建的部分语音合成框图[2]
9 }$ X: }- f& P1 U1 Z7 R" ?, y2 y, R3 L' D7 d. t
基于语料库的部分语音合成 与基于重建的部分语音合成相比,该方法的主要区别是引入了预先训练好的语音信息,方法的流程图如下图所示。方法的主体部分由三部分构成,一是语音合成,不同点在于该方法的激励信号通过音高模板循环(TPC)生成,声道滤波器系数通过比较特征向量的相似程度在预先训练好的字典中寻找合适的系数。二是计算用于结合风噪估计和语音合成的二值掩膜,三是使用传统噪声抑制手段抑制残留噪声,具体实现方案参见[21]。
$ u M) W. D9 R5 r" _1 A
* e& k2 e$ x6 V; L1 L+ H
9 E9 ~! T; B' x( N5 u5 n& @, h9 e图17 基于语料库的部分语音合成框图[2]* |% m* T; B) V8 J+ E
* z5 s! R( E. C$ f
展望
+ H9 d8 ], x6 }' z7 g' T7 E+ @- H5 K9 l
到目前为止,人们从多个角度出发,想出了多种抑制风噪的方案并取得了巨大的进展,但距离完全解决声频采集中的风噪问题仍有很长的路要走。例如在大风噪情况(SNR<-10dB)时语音增强算法失效问题,实时风噪抑制问题等还没有得到很好的解决。作为声学领域最具挑战的课题之一,风噪问题还需要更多能人志士投身其中,继续研究。% J% ]4 K) h; L& K b5 G
& y) s- z- P$ s5 k, W7 K, U
参考文献: U/ z# v8 g0 i( C! b6 O4 s( N
[1] 戈尔茨坦. 气动声学[M]. 国防工业出版社, 2014.
& J! N7 S5 L+ m[2] Nelke C M. Wind Noise Reduction: Signal Processing Concepts[D].2016.
5 z8 J: H+ w: y3 U$ n9 k; H[3] Fisol U M M, Ripin Z M, Ismail N A, et al. Wind noise analysis of atwo-way radio[C]. 2013 IEEE International Conference on Smart Instrumentation,Measurement and Applications (ICSIMA). 1–5.( E3 R$ t7 g* E0 K/ b# ~6 ?8 B
[4] Nemer E, Leblanc W. Single-microphone wind noise reduction byadaptive postfiltering[C]. 2009 IEEE Workshop on Applications of SignalProcessing to Audio and Acoustics. : 177–180.
4 Z3 Q. a! o3 a[5] Nelke C M, Vary P. Measurement, analysis and simulation of windnoise signals for mobile communication devices[C]. 2014 14th InternationalWorkshop on Acoustic Signal Enhancement (IWAENC). 327–331.; b4 g# \- O: {/ z! g; X
[6] LIM J S,OPPENHEIM A V. Enhancement and bandwidth compression of noisy speech[J].Proceedings of the IEEE, 1979, 67(12): 1586–1604. C+ z6 }: T" a0 i; P: i
[7] BOLL S.Suppression of acoustic noise in speech using spectral subtraction[J]. IEEETransactions on Acoustics, Speech, and Signal Processing, 1979, 27(2): 113–120.
" z) { x3 Z& d0 M; U% ^[8] Hofmann C,Wolff T, Buck M, et al. A Morphological Approach to Single-Channel Wind-NoiseSuppression[C]. IWAENC 2012; International Workshop on Acoustic SignalEnhancement. 1–4.
# |1 D: |( t: z# C( S4 F; h! S[9] Kuroiwa S, Mori Y, Tsuge S, et al. Wind noise reduction method forspeech recording using multiple noise templates and observed spectrum finestructure[C]. 2006 International Conference on Communication Technology. 1–5.) M8 @* R8 C: i3 S' n) n
[10] Nelke CM, Chatlani N, Beaugeant C, et al. Single microphone wind noise PSD estimationusing signal centroids[C]. 2014 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP). 7063–7067.
& A$ `& ]+ @! N5 S: R[11] Nelke CM, Vary P. Wind noise short term power spectrum estimation using pitch adaptiveinverse binary masks[C]. 2015 IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP). 5068–5072." H, x! E9 b) h5 ^& {
[12] Bai H, GeF, Yan Y. DNN-based speech enhancement using soft audible noise masking forwind noise reduction[J]. China Communications, 2018, 15(9): 235–243.
" [- s1 c0 p# q C6 O. k[13] Wang Y,Narayanan A, Wang D. On Training Targets for Supervised Speech Separation[J].IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2014, 22(12):1849–1858.
N; G3 M( G+ k* L5 k" O/ [% ~[14] Ephraim Y, Malah D. Speech enhancement using a minimum-mean squareerror short-time spectral amplitude estimator[J]. IEEE Transactions onAcoustics, Speech, and Signal Processing, 1984, 32(6): 1109–1121.
7 B- I8 @, M" A[15] Yu R. Speech enhancement based on soft audible noise masking andnoise power estimation[J]. Speech Communication, 2013, 55(10): 964–974.
* [% q3 E& w, y1 [( o. ~ O- d8 o& s! ^[16] Franz S,Bitzer J. Multi-channel algorithms for wind noise reduction and signalcompensation in binaural hearing aids[C]. IWAENC 2010; International Workshopon Acoustic Echo and Noise Control. Tel Aviv, Israel.
1 n# b# }+ Q0 C. ]: |[17] ELKO G W.Reducing Noise in Audio Systems: USA, US7171008 B2[P]. 2007-01-30.% e: A* I' R# _
[18] Dörbecker M, Ernst S. Combination ofTwo-Channel Spectral Subtraction and Adaptive Wiener Post-Filtering for NoiseReduction and Dereverberation[C]. European Signal Processing Conference(EUSIPCO). Trieste, Italy.2 E+ o# X+ W9 v; N& a5 W- V
[19] Nelke CM, Vary P. Dual Microphone Wind Noise Reduction by Exploiting the ComplexCoherence[C]. Speech Communication; 11. ITG Symposium. Erlangen, Germany.8 w8 O# d4 p! O6 y
[20] Nelke CM, Nawroth N, Jeub M, et al. Single microphone wind noise reduction usingtechniques of artificial bandwidth extension[C]. 2012 Proceedings of the 20thEuropean Signal Processing Conference (EUSIPCO). Bucharest, Romania: IEEE.
9 ~3 z( J$ g* P' `+ S+ t[21] Nelke CM, Naylor P A, Vary P. Corpus based reconstruction of speech degraded by windnoise[C]. 2015 23rd European Signal Processing Conference (EUSIPCO). Nice:IEEE: 864–868. |
|