高斯視聽覺信息融合模型及其應(yīng)用研究.pdf

1、隨著計算機技術(shù)和信號處理理論的發(fā)展，利用機器對視覺和聽覺信號進行類似于人類感知的信息處理，已經(jīng)成為當(dāng)前信息領(lǐng)域的一個重要的研究課題。傳統(tǒng)的語音信號處理系統(tǒng)通常采用單模式的形式，即只利用聽覺信息。近年來，研究表明，人類語音信號的感知通常是雙模式的，即聲源的視覺和聽覺感知間存在相關(guān)性，如何有效的將視聽覺信息融合成為一個新的研究課題。
　　 本文主要研究視聽覺信息融合模型及其在語音信號提取中的應(yīng)用。在本文中利用視覺與聽覺信息的特征，通

2、過高斯混合模型(Gaussian mixture model，GMM)，構(gòu)建視聽覺信息融合模型，并將其用于語音信號的提取。首先，采用語音信號的梅爾倒頻譜系數(shù)（Mel-scale Frequency Cepstral Cofficients，MFCC）作為語音信號的特征;利用視覺信息判斷出聲源的空間位置，估計出聲源到達不同的麥克風(fēng)的時間差作為視覺特征。然后，采用高斯混合模型作為視聽覺信號融合模型，并利用最大期望估計(Expectation