基于時空上下文的視頻人物關系挖掘.pdf

1、隨著信息技術的發(fā)展，越來越多的圖像和視頻出現(xiàn)在人們的生活中和互聯(lián)網(wǎng)上。如何有效的管理和組織這些多媒體數(shù)據(jù)成為一個亟待解決的問題。對多媒體內容進行分析與理解，進而對多媒體數(shù)據(jù)進行基于內容的分類，為有效的管理和組織這些數(shù)據(jù)提供了新途徑。在大量的視頻中，人物關系是幫助用戶理解視頻故事情節(jié)的重要線索。尤其是在連續(xù)劇和電影這種故事性強的視頻中，人物關系包含能夠揭示關于視頻故事內容的更高層的語義信息。
　　在過去的研究中，基于人物的視頻分析主

2、要集中在主要演員列表、人物索引、會議視頻分析等幾個方面。但是，這些研究只是停留在把每個人物看做獨立個體，忽略了他們之間客觀存在的社會聯(lián)系的層面上。隨著用戶需求的不斷提高，用戶關心的不僅僅是關于某個特定人物的視頻內容，還包括能夠有效地反應視頻中故事情節(jié)發(fā)展的人物關系網(wǎng)絡。
　　挖掘視頻中人物共生關系目的是根據(jù)視頻內容，把人物作為研究中心，通過視頻分析技術來獲得視頻中的高層語義信息。本文通過建立視頻人物關系的分析模型，量化人物關系矩陣

3、并提出通用的局部人物關系描述子，為視頻分析和視頻檢索提供了一種新穎而有效的方法。
　　本文主要研究工作如下：
　　首先，提出一種基于時序上下文的人物關系挖掘的方法。通過對視頻數(shù)據(jù)進行預處理，包括進行視頻鏡頭和場景的切分、人物特征提取和索引，建立了人物關系分析的基礎。進一步的，采用一種基于上下文高斯加權的方法來計算人物在每個視頻鏡頭上的共生關系，同時考慮到空間位置對視頻人物關系的貢獻，融合時空上下文來建立人物關系模型。

4、　　其次，以基于時空上下文人物關系的挖掘方法為基礎，本文提出了基于人物共生性語義的人物關系表達方法，通過對視頻進行語義的局部區(qū)域劃分，自動確定每個描述子的時序數(shù)據(jù)描述范圍，并結合本文已經(jīng)提出的挖掘方法構成局部人物關系描述子。
　　最后，本章將基于上下文的人物關系挖掘方法和局部人物關系描述子應用到連續(xù)劇的視頻分析和索引中。在實驗中，本文使用了20小時的視頻(電視劇“Friends”)作為數(shù)據(jù)，結合視頻層次結構修正的方法構成全局人物關