基于內(nèi)容的視頻應(yīng)用中運(yùn)動(dòng)對(duì)象分割與運(yùn)動(dòng)估計(jì)技術(shù)的研究.pdf

1、隨著信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，多媒體信息量增長(zhǎng)越來(lái)越快，視頻信息量更呈現(xiàn)爆炸式增長(zhǎng)。如何有效地管理和利用這些海量視頻數(shù)據(jù)成為當(dāng)前的研究熱點(diǎn)，而人們對(duì)多媒體信息的需求也從簡(jiǎn)單的播放要求轉(zhuǎn)向?qū)?nèi)容的訪問(wèn)、檢索、操作和分析上。在新興的視頻應(yīng)用中，基于內(nèi)容的視頻應(yīng)用日益加速發(fā)展，例如基于內(nèi)容的視頻編碼和視頻檢索。而基于內(nèi)容的視頻應(yīng)用的一個(gè)關(guān)鍵的問(wèn)題就是如何獲得視頻對(duì)象。該問(wèn)題即為視頻對(duì)象分割問(wèn)題。視頻對(duì)象分割是由視頻處理到視頻分析的關(guān)鍵環(huán)

2、節(jié)。鑒于視頻對(duì)象分割在基于對(duì)象的視頻應(yīng)用中的重要性，本文對(duì)這該問(wèn)題進(jìn)行了研究。而視頻對(duì)象分割充分利用了運(yùn)動(dòng)特征來(lái)實(shí)現(xiàn)更有效和精確的分割，運(yùn)動(dòng)特征體現(xiàn)了視頻的時(shí)域相關(guān)性。此外，運(yùn)動(dòng)特征也是基于對(duì)象的視頻應(yīng)用中所經(jīng)常使用的重要的一個(gè)特征。因此作為運(yùn)動(dòng)特征獲得的手段-運(yùn)動(dòng)估計(jì)技術(shù)也是一個(gè)非常重要的研究課題?？紤]到本文的視頻對(duì)象分割研究所需要的運(yùn)動(dòng)特征，本文也對(duì)運(yùn)動(dòng)估計(jì)法進(jìn)行了深入研究。 本文在第二章首先概括了當(dāng)前的視頻對(duì)象分割的發(fā)展，

3、并分析了各類視頻分割算法，對(duì)其中的空時(shí)融合分割算法進(jìn)行了深入分析。對(duì)于本文分割問(wèn)題中的運(yùn)動(dòng)估計(jì)，由于在運(yùn)動(dòng)估計(jì)法中，光流法因?yàn)槠漭^好的性能得到了廣泛的重視。本文對(duì)當(dāng)前的各類光流算法進(jìn)行了總結(jié)，對(duì)其理論基礎(chǔ)和模型進(jìn)行了進(jìn)一步研究，指出了模型理論中所存在的問(wèn)題，以及光流評(píng)價(jià)問(wèn)題。在后面章節(jié)安排上，為了便于理解分割算法中運(yùn)動(dòng)場(chǎng)的獲得，本文首先介紹了光流運(yùn)動(dòng)估計(jì)方法，然后介紹了分割方法。 在光流算法中，全局光流算法能夠進(jìn)行全局平滑，從而

4、具有“填充效果”，這樣全局算法可以產(chǎn)生稠密運(yùn)動(dòng)場(chǎng)。全局算法中，開創(chuàng)性的HS算法因?yàn)槠浜?jiǎn)單性和合理的性能可能已成為應(yīng)用最廣泛的光流算法。然而，HS算法有一些應(yīng)用限制，特別是光照敏感性、體現(xiàn)平滑和“填充”效果的局部平均的不可靠性，以及運(yùn)動(dòng)邊緣模糊。本文第三章采用傳統(tǒng)的擴(kuò)展了HS算法。考慮到圖像序列中光照在很短的時(shí)間內(nèi)變化很輕微的特點(diǎn)，提出一種簡(jiǎn)單的基于實(shí)體的光照預(yù)濾波方法EIPF，該方法稍微調(diào)整這很短時(shí)間內(nèi)各幀的像素的亮度，使光流模型滿足光

5、照不變的條件。根據(jù)前向光流和后向光流的雙向?qū)ΨQ性的特點(diǎn)定義了反映光流可靠性的置信度，并提出了基于該置信度的光流估計(jì)算法。根據(jù)置信度，可靠的光流估計(jì)對(duì)局部平均具有較大的貢獻(xiàn)，而不可靠的光流估計(jì)則被抑制。這樣，實(shí)現(xiàn)了可靠的“填充”效果。同時(shí)該算法保持了迭代公式的簡(jiǎn)單性。該算法利用圖像驅(qū)動(dòng)和流驅(qū)動(dòng)的運(yùn)動(dòng)邊緣保存算法具有互補(bǔ)性的特點(diǎn)，有效地將兩種方法結(jié)合在一起提出了基于區(qū)域的運(yùn)動(dòng)邊緣保存方法。第三章進(jìn)一步利用該置信度對(duì)光流的可靠性進(jìn)行評(píng)價(jià)，并擴(kuò)

6、展了基于能量的置信度，使其能夠評(píng)價(jià)非能量方法得到的光流。 由于上述算法利用了傳統(tǒng)OFE，而傳統(tǒng)OFE一般只能應(yīng)用于低速運(yùn)動(dòng)的光流估計(jì)，高速運(yùn)動(dòng)會(huì)造成傳統(tǒng)OFE的一階線性近似方法具有較大的誤差，所以上述算法因?yàn)閭鹘y(tǒng)OFE的限制在高速運(yùn)動(dòng)的估計(jì)中具有較大的誤差。為了克服傳統(tǒng)OFE的限制，第四章分析了高速運(yùn)動(dòng)的光流估計(jì)技術(shù)難點(diǎn)。提出了基于補(bǔ)償OFE的兩步光流法。通過(guò)預(yù)測(cè)光流，從而能夠在正確光流附近進(jìn)行泰勒級(jí)數(shù)展開，盡管上述預(yù)測(cè)可減小這

7、種誤差，但是OFE的這種一階線性近似仍是光流算法誤差的主要因素，特別是當(dāng)預(yù)測(cè)光流與準(zhǔn)確光流仍然相差較大時(shí)。為了克服上述問(wèn)題，對(duì)OFE進(jìn)行了二階補(bǔ)償從而減小模型進(jìn)行線性近似所帶來(lái)的誤差。此外，第四章對(duì)非二次偏差抑制的平滑方法進(jìn)行了分析，鑒于傳統(tǒng)的非二次偏差抑制具有較大的求解難度和算法實(shí)現(xiàn)的復(fù)雜度，提出一種基于非二次偏差抑制的平滑方法。它巧妙有效地將非二次抑制函數(shù)作用在局部平均計(jì)算上。 前面介紹了分割算法中運(yùn)動(dòng)場(chǎng)(運(yùn)動(dòng)特征)的獲得方

8、法，在此基礎(chǔ)上，第五章提出了一種有效的基于特征的運(yùn)動(dòng)檢測(cè)補(bǔ)償和權(quán)重分水嶺的時(shí)空分割算法。考慮到視頻的空時(shí)關(guān)系的空時(shí)融合分割算法是一類有效的分割方法，第五章首先分析了空時(shí)分割算法的技術(shù)難點(diǎn)，指出了它所存在的問(wèn)題。本章所提出的分割算法通過(guò)考慮一種新的特征，用基于塊的運(yùn)動(dòng)檢測(cè)方法既提高了噪聲的魯棒性又保持了對(duì)運(yùn)動(dòng)的靈敏性。為了補(bǔ)償運(yùn)動(dòng)目標(biāo)粗糙的時(shí)域模板以實(shí)現(xiàn)有效的融合，提出基于邊界的形態(tài)膨脹方法實(shí)現(xiàn)對(duì)初始模板的各向異性的空間補(bǔ)償；并利用運(yùn)動(dòng)目

9、標(biāo)的慣性特征，提出時(shí)域補(bǔ)償方法成功地克服了運(yùn)動(dòng)目標(biāo)的“暫?！爆F(xiàn)象。并提出一種簡(jiǎn)單有效的“孔洞”填充方法用來(lái)填充其中的“孔洞”。另一方面，空域分割考慮一種全局信息來(lái)提高分水嶺算法的精確性，并用改進(jìn)的均值濾波器抑制一些極小點(diǎn)減輕過(guò)分割問(wèn)題。該空時(shí)分割算法一個(gè)突出性能就是它的融合閾值對(duì)于不同的序列可以是固定的. 第五章采用了基于6參數(shù)仿射模型的全局運(yùn)動(dòng)補(bǔ)償方法來(lái)對(duì)齊背景，該補(bǔ)償方法計(jì)算難度和計(jì)算量較大.為了減小分割算法的計(jì)算量，第六章

10、根據(jù)第五章所分析的空時(shí)融合分割算法的技術(shù)難點(diǎn)，提出了一種基于時(shí)空補(bǔ)償?shù)目諘r(shí)融合分割算法。該算法設(shè)計(jì)了一種基于齊異點(diǎn)消除的方法來(lái)估計(jì)全局運(yùn)動(dòng)矢量。為了檢測(cè)運(yùn)動(dòng)目標(biāo)，將每一運(yùn)動(dòng)場(chǎng)分解為不重疊的塊：然后通過(guò)比較每一塊的運(yùn)動(dòng)矢量和全局運(yùn)動(dòng)矢量來(lái)得到目標(biāo)的初始模板。為了補(bǔ)償該粗糙模板，提出了具有距離約束的區(qū)域生長(zhǎng)算法來(lái)實(shí)現(xiàn)空域補(bǔ)償，其增加的距離約束項(xiàng)可防止生長(zhǎng)點(diǎn)偏離于相應(yīng)的目標(biāo)區(qū)域；并提出了一種預(yù)測(cè)時(shí)域補(bǔ)償來(lái)解決運(yùn)動(dòng)目標(biāo)的“暫?！爆F(xiàn)象。這樣得到較