使用HMM的人臉語音動畫合成技術研究.pdf

1、語音信號和視覺信號是多媒體交互信息的主要載體.人們對語音、圖像的處理技術已經有了比較深入的研究,但是對于語音和圖像之間的內在關系的研究卻還不夠深入.作為綜合考慮語音和圖像的一種技術,智能人機接口技術尤其是虛擬人臉合成成為近年來國內外的一個熱點研究領域.該項技術也被稱為多模態(tài)(Multimodal)、視覺語音(Visual Speech)和說話人頭(Talking Head).將語音和圖像兩種模態(tài)結合到一起,能夠對單一使用某一種模態(tài)的不足

2、進行合理、有益的補充,加深了信息的可理解性.通過虛擬人臉,可以增強人們與計算機的交互,而將語音和圖像相結合同時也給相關的研究領域帶來新的研究方法.例如,引入同步的人臉動畫信息,可以提高在環(huán)境噪聲較大、以及語音信號不穩(wěn)定等情況下對語音識別與理解的識別率和穩(wěn)健性.該論文通過分析研究已有的人臉語音動畫合成技術,引申出一套使用改進的隱馬爾可夫模型結構來存儲語音和圖像之間的內在聯(lián)系,利用隱馬爾可夫模型的既有算法來實現從新語音樣本序列到新圖像樣本序

3、列的映射的人臉語音動畫合成方法.作者開發(fā)的實驗系統(tǒng),能夠實現特定對象的語音動畫合成,其結果具有照片真實感,通過使用平滑技術加強了人臉圖像之間的平滑過渡,能夠使得虛擬人臉更加真實.該論文的方法和結論,為進一步提高語音動畫合成的實時性、真實感、以及適應性提供了一個比較好的理論基礎和實驗平臺.該論文所完成的工作如下:1)充分調研了語音信號處理方法,實現了從語音信號中提取魯棒的語音特征參數的方法.2)在人臉特征點提取方面,參考Active Ap

4、pearance Models(AAM)技術【Cootes,l,2,4,Edwards,3,5】,通過較少手工標識樣本的訓練,系統(tǒng)可以自動的提取預定義的特征點坐標,并生成人臉特征參數矢量.3)通過對隱馬爾可夫模型應用技術的大量調研和分析,提出修改隱馬爾可夫模型的存儲結構以及部分隱馬爾可夫模型算法,使之適用于該文開發(fā)的系統(tǒng).4)使用改進的隱馬爾可夫模型結構來實現從語音信號構造同步的、有照片真實感的語音動畫序列.5)完成了一個基于改進的隱馬