視頻多模態(tài)信息處理的關(guān)鍵技術(shù)研究.pdf

1、視覺(jué)(圖像序列)信息和聽(tīng)覺(jué)(音頻)信息是構(gòu)成視頻的兩種主要信息模態(tài)。隨著計(jì)算機(jī)性能的重大突破和互聯(lián)網(wǎng)應(yīng)用的普及，視頻數(shù)據(jù)量劇增。為了充分有效地利用和發(fā)揮這些分布廣泛、內(nèi)涵信息豐富的視頻內(nèi)容的作用，視頻信息處理技術(shù)應(yīng)運(yùn)而生。視頻信息處理是智能信息處理的重要組成部分，它分為基于視頻數(shù)據(jù)的低層處理(對(duì)感興趣目標(biāo)的檢測(cè)、跟蹤和識(shí)別)和在此基礎(chǔ)上的高層(語(yǔ)義層)的行為判別、理解等研究?jī)?nèi)容。視頻數(shù)據(jù)中包含視覺(jué)(圖像)和聽(tīng)覺(jué)(音頻)兩種模態(tài)的信息，基

2、于視頻數(shù)據(jù)內(nèi)容的處理涉及對(duì)感興趣目標(biāo)的檢測(cè)、識(shí)別、跟蹤等關(guān)鍵技術(shù)。雖然已有眾多研究人員開(kāi)展了大量相關(guān)的研究工作，取得了較多的實(shí)驗(yàn)性成果，然而這些技術(shù)距離實(shí)用化還有待深入研究。本文面向視頻監(jiān)控，以信號(hào)處理、圖像處理及模式分類等理論為基礎(chǔ)，針對(duì)視頻多模態(tài)信息處理中，關(guān)于聽(tīng)覺(jué)信息處理的音頻流(語(yǔ)音流)檢測(cè)和話者識(shí)別及視覺(jué)信息處理中的運(yùn)動(dòng)目標(biāo)檢測(cè)、跟蹤等關(guān)鍵技術(shù)問(wèn)題進(jìn)行了研究。論文主要研究?jī)?nèi)容概括為四點(diǎn)：
　　 (1)提出了一種基于希爾

3、伯特變換的經(jīng)驗(yàn)?zāi)７纸夂透唠A統(tǒng)計(jì)量的語(yǔ)音流檢測(cè)算法。在提取語(yǔ)音流特征時(shí)小樣本的端點(diǎn)飛翼效應(yīng)問(wèn)題一直是存在于信號(hào)的經(jīng)驗(yàn)?zāi)７纸庵械摹榻鉀Q這一問(wèn)題，需要對(duì)端點(diǎn)進(jìn)行延拓處理，經(jīng)分析可知采用回歸支持向量機(jī)是一種可行的解決方案。但在采用SVRM方法時(shí)，又帶來(lái)了如何進(jìn)行參數(shù)選取的問(wèn)題。為此。本文給出了微粒群優(yōu)化的參數(shù)選擇方法。既解決了端點(diǎn)延拓問(wèn)題，最終又實(shí)現(xiàn)了視頻中的語(yǔ)音流的有效檢測(cè)問(wèn)題。實(shí)驗(yàn)結(jié)果表明，提出的算法無(wú)論在高斯噪聲環(huán)境下，還是非高斯噪聲環(huán)

4、境下，對(duì)語(yǔ)音流的檢測(cè)都很有效，說(shuō)明該方法的抗噪聲能力較強(qiáng)。
　　 (2)提出了一種分別以美爾倒譜系數(shù)和翻轉(zhuǎn)美爾倒譜系數(shù)為特征的多分類器融合的話者識(shí)別算法。MFCC對(duì)語(yǔ)音信號(hào)低頻段信息的表征能力十分強(qiáng)，但它又弱于表征語(yǔ)音的高頻段信息。為了提取能較全面表征語(yǔ)音信息的特征，本文經(jīng)分析后分別從語(yǔ)音信號(hào)中提取美爾倒譜系數(shù)和翻轉(zhuǎn)美爾倒譜系數(shù)作為語(yǔ)音片段的兩組不同的特征進(jìn)行分類器設(shè)計(jì)，最終應(yīng)用基于信息融合理論的方法，得出關(guān)于該語(yǔ)音段話者的雙分

5、類器的綜合判定結(jié)果。實(shí)驗(yàn)結(jié)果表明，本文提出的基于MFCC與IMFCC特征的多分類器融合的話者識(shí)別算法，比僅僅依靠其中之一的單一特征的分類算法性能更優(yōu)。
　　 (3)提出了一種基于顏色空間向量差法的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。針對(duì)背景模型在實(shí)時(shí)更新時(shí)受環(huán)境噪聲影響大的問(wèn)題，本文提出了采用自適應(yīng)K分布數(shù)混合高斯法進(jìn)行背景建模，利用EM迭代算法對(duì)背景模型進(jìn)行提取和更新，實(shí)驗(yàn)驗(yàn)證了方法的快速及有效性。針對(duì)基于灰度圖像的目標(biāo)檢測(cè)方法中對(duì)色彩信息的損

6、失問(wèn)題，提出利用顏色空間向量差中長(zhǎng)度和方向兩個(gè)屬性的統(tǒng)計(jì)特性，將運(yùn)動(dòng)目標(biāo)與噪聲進(jìn)行分類，對(duì)于運(yùn)動(dòng)模板中的孤立噪聲，借助數(shù)學(xué)形態(tài)學(xué)方法進(jìn)行刪除，并對(duì)不完整運(yùn)動(dòng)目標(biāo)進(jìn)行修補(bǔ)完善。實(shí)驗(yàn)結(jié)果表明所提出算法的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果比較理想。
　　 (4)提出了一種基于歐式距離判斷的改進(jìn)的粒子濾波跟蹤算法。針對(duì)聯(lián)合多目標(biāo)概率密度算法在目標(biāo)狀態(tài)估計(jì)時(shí)計(jì)算量過(guò)大的問(wèn)題，采用N個(gè)加權(quán)粒子的組合來(lái)近似聯(lián)合多目標(biāo)概率密度p(X，T|Z)的分布。提出了一種改

7、進(jìn)的粒子濾波算法，根據(jù)粒子對(duì)于不同目標(biāo)之間的歐式距離的大小，對(duì)粒子進(jìn)行獨(dú)立劃分或者關(guān)聯(lián)劃分，實(shí)現(xiàn)對(duì)同一視頻中的多個(gè)運(yùn)動(dòng)目標(biāo)的跟蹤。在室內(nèi)和室外兩種不同的環(huán)境中，實(shí)驗(yàn)結(jié)果表明該算法可以有效地對(duì)多目標(biāo)進(jìn)行跟蹤。
　　 上述四個(gè)創(chuàng)新點(diǎn)，按照其在文中給出的視頻多模態(tài)信息處理框架中所示的處理順序來(lái)加以研究。期望本文的研究成果，能為下一步的工作--在智能視頻監(jiān)控系統(tǒng)的實(shí)施中提供技術(shù)儲(chǔ)備，達(dá)到對(duì)視頻所反映的內(nèi)容--感興趣目標(biāo)的行為進(jìn)行自動(dòng)分析