基于深度學(xué)習(xí)的有監(jiān)督語音分離方法研究.pdf

1、語音分離技術(shù)一直是語音信號處理領(lǐng)域的重要研究方向，尤其是近年來隨著智能設(shè)備的普及，一個好的前端語音分離模塊直接影響了語音交互技術(shù)的發(fā)展。但是由于外界環(huán)境的復(fù)雜多變，且早期的淺層模型在處理語音的非線性結(jié)構(gòu)信息方面的能力不足，因此單通道、低信噪比和非平穩(wěn)噪聲環(huán)境下的語音分離性能一直不盡人意。近年來隨著深度學(xué)習(xí)的發(fā)展，深層模型由于其本身復(fù)雜的多層非線性結(jié)構(gòu)，很適合挖掘語音數(shù)據(jù)中的時空結(jié)構(gòu)信息，并能夠自動學(xué)習(xí)深層次的抽象化特征，因此把深度學(xué)習(xí)應(yīng)

2、用到語音分離領(lǐng)域具有重要的研究意義。本文重點研究了單通道非平穩(wěn)噪聲條件下的有監(jiān)督語音分離問題，利用深層模型挖掘出從原始的帶噪語音到純凈的目標(biāo)語音之間的非線性映射關(guān)系。本文的主要工作如下:
　　首先，本文對基于深度神經(jīng)網(wǎng)絡(luò)(DNN)的語音分離方法進行了研究和實現(xiàn)，并針對現(xiàn)有的DNN模型的缺陷提出了改進的模型C-DNN，即在一般的DNN網(wǎng)絡(luò)結(jié)構(gòu)之前增加一個一維的卷積層（包括池化層）。所提的C-DNN模型可以利用前面的卷積層直接對語音的

3、幀級特征建模，通過一維的卷積預(yù)處理操作，自動學(xué)習(xí)隱藏在數(shù)據(jù)中的抽象特征，然后利用后面的全連接層挖掘混合語音的特征與理想目標(biāo)之間的非線性映射關(guān)系。該模型可以充分利用每個時間幀中的相鄰頻帶之間的相關(guān)性信息，同時減小了特征選擇的困難，降低了輸入特征的數(shù)據(jù)維度。本文基于語音的單幀特征對所提的C-DNN模型進行了實驗驗證，并和網(wǎng)絡(luò)深度相同的DNN模型進行了對比，其中輸入特征選擇64通道的GF(Gammatone Feature)特征及其一階差分值

4、的組合特征，分離目標(biāo)選擇了常用的理想二值掩蔽(IBM)。實驗結(jié)果表明，在相同實驗條件下，參數(shù)更少的C-DNN模型的語音分離效果明顯優(yōu)于DNN模型，即可以獲得可懂度和感知質(zhì)量更好的分離語音。同時我們對不同的信噪比和背景噪聲條件下的混合語音進行了多組實驗，驗證了所提方法的有效性及泛化能力。
　　然后，本文提出基于CNN的語音分離方法和框架，利用CNN處理二維信號的本質(zhì)優(yōu)勢及其強大的特征學(xué)習(xí)能力，挖掘語音時頻信號中的時空結(jié)構(gòu)信息。該方法

5、可以直接對語音頻譜的上下文特征進行建模，充分利用了語音信號的時頻相關(guān)性和局部特征，因而對提高語音分離系統(tǒng)的性能非常有益。本文對基于CNN的語音分離方法進行了實驗驗證，并和DNN模型進行了對比實驗。輸入特征選擇64通道的GF特征及其一階差分值，上下文特征窗口大小選為5個時間幀，對分離目標(biāo)為理想二值掩蔽(IBM)和理想浮值掩蔽(IRM)的兩種情況進行了測試，并從分離語音的客觀可懂度、感知質(zhì)量及分離目標(biāo)的可視化三個方面對模型進行了評價。兩種分