基于語(yǔ)義一致性和矩陣分解的跨模態(tài)哈希檢索研究.pdf

1、多模態(tài)是大數(shù)據(jù)的重要特性，隨著大數(shù)據(jù)時(shí)代的到來(lái)，像圖像檢索文本之類(lèi)的跨模態(tài)數(shù)據(jù)之間的檢索已成為潛在的需求?？缒B(tài)哈希(Cross-ModalHashing)方法通過(guò)哈希函數(shù)將查詢(xún)數(shù)據(jù)轉(zhuǎn)變?yōu)闈h明，空間中的二進(jìn)制編碼，即哈希編碼，形式上統(tǒng)一了各模態(tài)數(shù)據(jù)，從而將跨模態(tài)數(shù)據(jù)之間的檢索轉(zhuǎn)變?yōu)楣＞幋a之間的檢索，降低了存儲(chǔ)消耗同時(shí)加快了檢索速度。另外，哈希編碼之間通常保持了對(duì)應(yīng)數(shù)據(jù)之間的相似性，包括模態(tài)內(nèi)相似性和模態(tài)間相似性。
　　相似性保持

2、是本文研究的出發(fā)點(diǎn)，同時(shí)也是跨模態(tài)哈希方法的重要組成部分。然而當(dāng)前大多數(shù)跨模態(tài)哈希方法僅依據(jù)底層特征對(duì)數(shù)據(jù)之間的相似性進(jìn)行度量，忽略了語(yǔ)義的重要性，不利于縮小語(yǔ)義鴻溝，也不利于提高檢索的準(zhǔn)確率。人類(lèi)是從語(yǔ)義層面對(duì)事物進(jìn)行區(qū)分和判斷的，因此數(shù)據(jù)之間的真實(shí)關(guān)系取決于語(yǔ)義。在底層特征具有噪聲或者判別性不強(qiáng)時(shí)，語(yǔ)義相似性的使用有利于生成具有較好判別性的哈希編碼，進(jìn)而提高檢索的準(zhǔn)確率。
　　本文從語(yǔ)義層面度量模態(tài)內(nèi)相似性和模態(tài)間相似性，提出

3、了兩種跨模態(tài)哈希方法，分別為:語(yǔ)義一致性跨模態(tài)哈希與基于語(yǔ)義一致性和矩陣分解的跨模態(tài)哈希。通過(guò)在現(xiàn)存的兩個(gè)主流的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，驗(yàn)證了方法的有效性。
　　本文的主要研究?jī)?nèi)容和創(chuàng)新點(diǎn):
　　(1)語(yǔ)義一致性跨模態(tài)哈希僅使用語(yǔ)義度量數(shù)據(jù)之間的相似性，降低了計(jì)算量和哈希編碼到高層語(yǔ)義的語(yǔ)義鴻溝，確保哈希編碼之間的相似性與原始數(shù)據(jù)之間的相似性具有語(yǔ)義上的一致性。哈希函數(shù)通過(guò)線性映射和二值化將數(shù)據(jù)轉(zhuǎn)變?yōu)楣＞幋a。
　　(2)基