融合深度數(shù)據(jù)的人機(jī)交互手勢(shì)識(shí)別研究.pdf

1、基于圖像信息的生物特征識(shí)別是近些年來計(jì)算機(jī)視覺研究中的一個(gè)重要領(lǐng)域，其中針對(duì)人類的各種生物特征的識(shí)別是該領(lǐng)域的主要研究內(nèi)容，相關(guān)研究成果多用于自然人機(jī)交互、虛擬現(xiàn)實(shí)和智能視頻監(jiān)控等方面。進(jìn)一步地，人類的手勢(shì)識(shí)別研究是人類的生物特征識(shí)別中重要的研究內(nèi)容，它主要從圖像數(shù)據(jù)中分割、跟蹤和識(shí)別出不同的手勢(shì)，最終對(duì)其加以描述和理解。然而，由于人手的個(gè)體差異性，加之其復(fù)雜的各種形變，再加上手勢(shì)在空間和時(shí)間上的變化性，以及視覺問題與生俱來的不適定性，

2、這些困難和原因使手勢(shì)識(shí)別成為了一個(gè)非常具有挑戰(zhàn)性的研究領(lǐng)域。
　　經(jīng)典的手勢(shì)識(shí)別研究一般包括手勢(shì)分割、手勢(shì)跟蹤、手勢(shì)識(shí)別等三個(gè)階段，這三個(gè)階段分別對(duì)應(yīng)于計(jì)算機(jī)視覺研究的圖像分析和圖像理解兩個(gè)研究層次。其中手勢(shì)分割屬于圖像分析層次，這一階段把圖像中屬于手勢(shì)的像素點(diǎn)劃分標(biāo)識(shí)出來，這是整個(gè)研究的起點(diǎn)也是最為重要的部分，其結(jié)果的優(yōu)劣會(huì)直接影響到后續(xù)的研究階段。手勢(shì)跟蹤也屬于圖像分析層次，它對(duì)圖像序列的每一幀圖像中屬于手勢(shì)的像素點(diǎn)進(jìn)行連續(xù)的

3、定位和標(biāo)注。手勢(shì)識(shí)別則屬于圖像理解層次，它首先將海量的圖像數(shù)據(jù)經(jīng)過表示與描述成為一系列特征或特征組合，而后在特征空間中對(duì)其中的特征點(diǎn)進(jìn)行分類，最終實(shí)現(xiàn)手勢(shì)的識(shí)別。
　　另一方面，多模態(tài)數(shù)據(jù)融合理論認(rèn)為單一種類傳感器數(shù)據(jù)只能獲得被測(cè)物體的不完備信息并且較易受環(huán)境影響，而多模態(tài)信息融合將多種傳感器數(shù)據(jù)進(jìn)行組合，可以提高系統(tǒng)的可靠性?；诖耍疚脑趥鹘y(tǒng)視覺數(shù)據(jù)的基礎(chǔ)上引入了深度數(shù)據(jù)，在深度與圖像數(shù)據(jù)融合的基礎(chǔ)上分別研究了手勢(shì)的分割、跟蹤

4、和識(shí)別三個(gè)階段的算法。
　　基于動(dòng)態(tài)深度閾值的手勢(shì)分割算法。首先基于MCG-Skin(A BenchMark Human SkinDatabase，中國科學(xué)院計(jì)算技術(shù)研究所多媒體計(jì)算課題組)數(shù)據(jù)庫建立膚色的高斯模型，并獲得模型的均值與方差;其次根據(jù)深度信息建立人體包括手勢(shì)部分的深度的高斯混合模型;再次根據(jù)深度高斯模型可以得到粗略的動(dòng)態(tài)深度閾值，從而劃分出包括手勢(shì)在內(nèi)的部分圖像;最后將這部分圖像輸入第一步得到的膚色高斯模型，即可得出

5、每個(gè)像素點(diǎn)與膚色的相似度，進(jìn)而得到膚色相似度圖像，然后對(duì)該圖像應(yīng)用Otsu's算法得到手勢(shì)分割結(jié)果。通過多個(gè)實(shí)驗(yàn)從不同的角度對(duì)手勢(shì)分割算法的可用性進(jìn)行了檢驗(yàn)。
　　基于權(quán)重漂移重采樣的手勢(shì)跟蹤算法。首先建立相對(duì)深度直方圖及其相似性概念，以此作為手勢(shì)跟蹤的模板;其次針對(duì)傳統(tǒng)粒子重采樣算法中的粒子退化問題，以后驗(yàn)概率密度梯度非遞減為原則進(jìn)行了粒子重采樣，在重采樣的過程中不刪除粒子，更能保證粒子的多樣性。通過多個(gè)實(shí)驗(yàn)從不同的角度對(duì)手勢(shì)跟

6、蹤算法的可用性進(jìn)行了檢驗(yàn)。
　　基于相對(duì)徑向距離的手勢(shì)識(shí)別算法。針對(duì)超球支持向量機(jī)在超球相交時(shí)類別劃分可能出現(xiàn)的問題，提出了不僅基于絕對(duì)距離，還要同時(shí)基于相對(duì)徑向距離的超球支持向量機(jī)，通過特征點(diǎn)到超球球心的距離與超球半徑之比來確定特征點(diǎn)的歸屬，即滿足這個(gè)值最小的超球?yàn)樵撎卣鼽c(diǎn)的最終歸屬。通過多個(gè)實(shí)驗(yàn)從不同的角度對(duì)手勢(shì)識(shí)別算法的可用性進(jìn)行了檢驗(yàn)。
　　最后建立了一個(gè)面向手勢(shì)識(shí)別的手勢(shì)圖像數(shù)據(jù)集合，并在上述研究的基礎(chǔ)上，設(shè)計(jì)開發(fā)