自然場景文本信息提取關鍵技術研究.pdf

1、圖像中的文字信息作為場景內容的一部分,往往為人們或計算機理解場景提供了直接而關鍵的線索。比如路牌、商店招牌、交通提示牌和各種建筑物上的文字信息,這些文字信息都具有明確的含義,是場景信息的重要表現(xiàn)形式。因此,自動提取場景中的文本信息可廣泛應用于各種需要對場景中的文本進行分析和理解的場合,如視頻和圖像檢索系統(tǒng),涉外導游自動翻譯、盲人引路、機器人行走和智能監(jiān)控系統(tǒng)等。該課題目前已成為計算機視覺和文檔分析領域的研究熱點之一。本文對自然場景文本信

2、息提取的關鍵技術進行了深入的研究,論文取得了以下主要研究成果:
　　1.從頻域出發(fā),提出了一種將紋理分析和模板匹配驗證策略相結合的復雜文本定位方法。考慮到具有一定寬度和方向的文字筆畫可視為一種帶通信號,而小波變換在捕捉這種帶通信號方面具有較大的優(yōu)勢。首先將輸入圖像進行小波變換,提取每個像素局部區(qū)域的紋理統(tǒng)計特征,采用蟻群聚類算法進行聚類分析,并結合基于密度的區(qū)域生長算法得到文本候選區(qū)域;然后提取候選文本塊的LBP-HF特征,利用模

3、板匹配的方式進行文本和非文本的確認,最后得到文本區(qū)域的位置。
　　2.針對復雜場景中文本和非文本難以有效區(qū)分的問題,將小波變換和多尺度LBP算子相結合,提出了一種能夠有效表達文本模式的WTLBP特征。在此基礎上,提出了一種基于WTLBP特征和支持向量機(Support Vector Machine,SVM)的復雜場景文本定位方法。算法首先根據(jù)中文文字的結構及筆畫方向特點,設計合適的邊緣檢測算子提取文字的筆畫邊緣,進行形態(tài)學濾波后形

4、成備選文本區(qū)域集合;然后提取候選文字區(qū)域的WTLBP特征,結合SVM分類器實現(xiàn)文本區(qū)域的確認。
　　3.針對文本驗證時僅考慮其區(qū)域特征而忽視文本區(qū)域的空間位置關系的問題,提出了一種基于多特征和圖割模型的場景文本驗證方法。算法首先分析了候選文本連通區(qū)域的空間關系及其在候選文本區(qū)域驗證中的作用;然后根據(jù)文本區(qū)域的空間關系,建立候選文本區(qū)域的鄰域連接圖。在此基礎上,將候選文本區(qū)域映射為一個有權無向圖,以組合優(yōu)化的方式將候選文字區(qū)域標記為

5、文本或背景。實驗結果驗證了算法的有效性。
　　4.針對復雜場景文本難以有效分割的問題,提出了一種基于擴展馬爾可夫隨機場(Markov Random Field,MRF)模型的場景文本分割方法。首先分析了經(jīng)典MRF模型的優(yōu)勢和不足,提出了一種擴展的 MRF模型。其次,在分析場景文本特點的基礎上,提取文本的顏色和最大梯度差(Maximum Gradient Difference,MGD)特征,將文本的上下文信息與多特征統(tǒng)一在同一概率框

6、架下,利用圖割算法對所建立的模型進行推斷。最后在兩種數(shù)據(jù)庫上,對算法的性能進行了測試比較,結果表明了所提出的模型適合處理復雜情況下的文本分割問題。
　　5.針對復雜場景文本的多樣性,提出了一種基于局部顏色一致性和圖割模型的復雜場景文本分割方法。算法首先利用文字筆畫顏色一致性特點,采用SLIC算法將輸入圖像分割為若干局部同質區(qū)域,將局部區(qū)域代替像素點構建圖模型;其次,根據(jù)文字筆畫的雙邊緣特點,自動提取文字和背景種子點;提出采用兩種模