基于語義的跨媒體一致性研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展和數(shù)字采集設(shè)備的普及，文本、圖像、聲音、視頻等信息呈爆炸式增長，信息內(nèi)容的呈現(xiàn)形式也愈發(fā)復(fù)雜多樣，呈現(xiàn)交叉融合的趨勢(shì)?，F(xiàn)階段基于單模態(tài)的媒體處理方法已經(jīng)不能有效應(yīng)對(duì)這一趨勢(shì)，因此研究能跨越媒體形態(tài)的信息處理技術(shù)變得愈發(fā)重要?？缑襟w計(jì)算旨在于自動(dòng)的分析、理解來源多樣、形態(tài)各異的媒體信息，實(shí)現(xiàn)信息內(nèi)容的準(zhǔn)確表達(dá)和理解。跨媒體計(jì)算的一個(gè)核心內(nèi)容是研究跨媒體的語義一致性，即挖掘異構(gòu)媒體信息實(shí)體之間的語義一致性，實(shí)現(xiàn)異構(gòu)信

2、息實(shí)體的互聯(lián)互通和協(xié)同計(jì)算。本文針對(duì)跨媒體語義一致性問題展開深入研究，取得如下創(chuàng)新成果。
　　1.提出一種新的基于類語義信息的文本特征表示方法(TF-ICF)。和傳統(tǒng)方法不同，TF-ICF不再為每一個(gè)單獨(dú)文檔統(tǒng)計(jì)特定詞的數(shù)量，而是將每一類語義包含的所有文檔作為一個(gè)特定類字典，對(duì)每一個(gè)特定類字典中的詞進(jìn)行統(tǒng)計(jì)。實(shí)驗(yàn)結(jié)果表明該方法通過引入帶有類別信息的語義特征，從而顯著提升跨媒體語義一致的有效性。
　　2.提出一種新的基于累積重

3、構(gòu)誤差向量的跨媒體檢索一致性模型（AREV）。整體過程包括:特定類別字典學(xué)習(xí)、跨媒體樣本重構(gòu)和累積重構(gòu)代價(jià)向量串聯(lián)。從而避免直接學(xué)習(xí)同一語義類別中異構(gòu)信息實(shí)體之間的相關(guān)關(guān)系。本文在跨媒體檢索領(lǐng)域常用的Wikipedia及NUS數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法能在查準(zhǔn)率和檢索效率之間取得一個(gè)很好的平衡。
　　3.設(shè)計(jì)一個(gè)基于跨媒體關(guān)聯(lián)一致性的街景Logo檢測(cè)與識(shí)別算法。該算法的核心思想是利用街景圖像中Logo內(nèi)容和圖像GPS位置信息