視頻檢索中的場景摘要技術(shù)研究.pdf

1、隨著多媒體技術(shù)的迅速發(fā)展，多媒體數(shù)據(jù)正以指數(shù)級的速度增加，如何對其進(jìn)行有效地存儲、分段和檢索已成為目前需要解決的迫切問題。視頻摘要技術(shù)是解決該問題的一種途徑。同時，視頻摘要還能輔助建立視頻檢索和索引系統(tǒng)。因此對于視頻摘要的研究有著重要的意義。
　　 本文在綜合分析已有的基于內(nèi)容的視頻摘要的方法的基礎(chǔ)上，提出基于群體智能與k均值相結(jié)合的關(guān)鍵幀提取算法、基于鏡頭運動特征和時間信息的場景分割方法和基于視覺注意模型的場景摘要生成方法，并

2、設(shè)計實現(xiàn)相應(yīng)的原型系統(tǒng)。具體內(nèi)容如下：
　　 (1)提出一種基于群體智能與k均值相結(jié)合的關(guān)鍵幀提取算法。通過引入基于群體智能的聚類算法，并將它和k均值聚類算法進(jìn)行結(jié)合，應(yīng)用于關(guān)鍵幀提取。該方法先通過基于群體智能的聚類算法自組織地形成一個初始聚類，再對初始聚類結(jié)果執(zhí)行k均值算法，優(yōu)化初始聚類結(jié)果并加快算法收斂，最終提取出代表整個鏡頭內(nèi)容的關(guān)鍵幀。從而有效地解決傳統(tǒng)聚類法提取關(guān)鍵幀時對初值敏感、容易出現(xiàn)早熟和需利用先驗知識來確定聚類

3、類別數(shù)等問題。
　　 (2)提出一種基于鏡頭運動特征和時間信息的場景分割方法。針對傳統(tǒng)場景分割方法只利用視覺特征進(jìn)行場景分割造成的場景分割不準(zhǔn)確問題，在衡量鏡頭相似度時，綜合考慮了鏡頭的視覺特征，全局運動特征和鏡頭所包含的時間信息，并采用鏡頭鏈聚類算法將相似的鏡頭聚到同一個場景中，達(dá)到較好的場景分割效果。
　　 (3)提出基于視覺注意模型的場景摘要生成方法。將視覺注意模型引入到場景摘要生成過程中，通過提取鏡頭的運動顯著度

4、和靜態(tài)顯著度，將運動顯著度和靜態(tài)顯著度進(jìn)行結(jié)合得到鏡頭的視覺注意度；同時，考慮鏡頭的持續(xù)時間對鏡頭重要度的影響，將鏡頭的視覺注意度和時間持續(xù)度加權(quán)求和，得到鏡頭的重要度。根據(jù)鏡頭重要度的大小選出場景中重要的鏡頭，通過把重要鏡頭的關(guān)鍵幀按時序排列輸出，生成代表場景主要內(nèi)容的場景摘要。
　　 (4)采用面向?qū)ο笏枷朐O(shè)計并開發(fā)場景摘要生成的原型系統(tǒng)。該系統(tǒng)包括鏡頭邊界檢測，關(guān)鍵幀提取，場景分割，場景摘要生成等功能模塊。并通過實驗對比驗