多模態(tài)特征融合和變量選擇的視頻語(yǔ)義理解.pdf

1、隨著計(jì)算機(jī)技術(shù)及互聯(lián)網(wǎng)應(yīng)用的迅速發(fā)展，多媒體數(shù)據(jù)特別是視頻數(shù)據(jù)呈海量趨勢(shì)增長(zhǎng)，如何有效存儲(chǔ)、管理、傳輸、檢索和使用這些多媒體數(shù)據(jù)，是擺在人們面前巨大的挑戰(zhàn)和亟待解決的研究問(wèn)題。視頻數(shù)據(jù)蘊(yùn)含了豐富的語(yǔ)義，同時(shí)視頻又是時(shí)序數(shù)據(jù)，視頻中存在圖像、音頻和文本三種媒質(zhì)數(shù)據(jù)，并呈現(xiàn)時(shí)序關(guān)聯(lián)共生特性。本文針對(duì)視頻數(shù)據(jù)中多種模態(tài)之間的時(shí)序關(guān)聯(lián)特性，通過(guò)特征融合和變量選擇來(lái)進(jìn)行視頻語(yǔ)義分析與理解。
　　 在視頻語(yǔ)義信息理解和挖掘中，充分利用圖像、

2、音頻和文本等多模態(tài)媒質(zhì)之間的交互關(guān)聯(lián)是非常重要的研究方向?？紤]到視頻的多模態(tài)和時(shí)序關(guān)聯(lián)共生特性，提出了一種基于多模態(tài)子空間相關(guān)性傳遞的語(yǔ)義概念檢測(cè)方法來(lái)挖掘視頻的語(yǔ)義信息。該方法對(duì)所提取視頻鏡頭的多模態(tài)底層特征，根據(jù)共生數(shù)據(jù)嵌入和相似度融合進(jìn)行多模態(tài)子空間相關(guān)性傳遞而得到鏡頭之間的相似度關(guān)系，接著通過(guò)局部不變投影對(duì)原始數(shù)據(jù)進(jìn)行降維以獲得低維語(yǔ)義空間內(nèi)的坐標(biāo)，再利用標(biāo)注信息訓(xùn)練分類模型，從而可對(duì)訓(xùn)練集外的測(cè)試數(shù)據(jù)進(jìn)行語(yǔ)義概念檢測(cè)，實(shí)現(xiàn)視頻

3、語(yǔ)義信息挖掘。實(shí)驗(yàn)表明這一方法有較高的準(zhǔn)確率。
　　 傳統(tǒng)視頻表達(dá)所采用的向量模型除了會(huì)產(chǎn)生高維向量而導(dǎo)致“維度災(zāi)難”問(wèn)題外，同時(shí)在降維過(guò)程中，由于特征向量過(guò)高的維度及訓(xùn)練樣本的數(shù)據(jù)不足，將不同類型特征進(jìn)行拼合會(huì)引起“過(guò)壓縮”問(wèn)題，以致丟失大量信息。另外，不同類型特征通過(guò)簡(jiǎn)單向量拼接也在一定程度上減弱或忽略了視頻中這些多種模態(tài)特征之間的時(shí)序關(guān)聯(lián)共生性。為了解決這一問(wèn)題，提出了一種基于高階張量表示的視頻語(yǔ)義分析與理解框架。在這個(gè)框

4、架中，視頻鏡頭首先被表示成由視頻中所包含的文本、視覺(jué)和聽(tīng)覺(jué)等多模態(tài)數(shù)據(jù)構(gòu)成的3階張量；其次，基于此3階張量表達(dá)及視頻的時(shí)序關(guān)聯(lián)共生特性設(shè)計(jì)了一種子空間嵌入降維方法，稱為“張量鏡頭”；由于半監(jiān)督學(xué)習(xí)從已知樣本出發(fā)能對(duì)特定的未知樣本進(jìn)行學(xué)習(xí)和識(shí)別，最后在這個(gè)框架中提出了基于“張量鏡頭”的直推式支持張量機(jī)算法以及兩種基于主動(dòng)學(xué)習(xí)的后精化處理策略，其不僅保持了張量鏡頭所在的流形空間的本征結(jié)構(gòu)，而且能將訓(xùn)練集合外數(shù)據(jù)直接映射到流形子空間，同時(shí)充分

5、利用未標(biāo)記樣本改善分類器的學(xué)習(xí)性能。實(shí)驗(yàn)結(jié)果表明本方法能有效地進(jìn)行視頻鏡頭的語(yǔ)義概念檢測(cè)。
　　 為了更加有效利用標(biāo)記樣本，基于壓縮感知和稀疏表示理論，結(jié)合稀疏表達(dá)、非負(fù)矩陣分解和監(jiān)督學(xué)習(xí)，提出了基于(非負(fù))組稀疏表示的分類方法對(duì)圖像和視頻進(jìn)行分類思路。其基本思想是將測(cè)試樣本表示為訓(xùn)練樣本的加權(quán)線性組合：即在非負(fù)ι1正則化因子約束下，對(duì)每個(gè)訓(xùn)練樣本求取一個(gè)回歸系數(shù)，同時(shí)每一類別也求取加權(quán)系數(shù)，使得在訓(xùn)練過(guò)程中能基于稀疏系數(shù)對(duì)類別