基于人工神經網絡的光學字符識別系統及硬件實現

1、1,基于人工神經網絡的光學字符識別系統及硬件實現,指導教師：李 祥 教授答 辯 人：楊 揚,貴州大學計算機軟件與理論研究所,2,選題背景及意義,人工神經網絡目前已經廣泛地用來解決模式識別和人工智能領域的一些復雜問題。由于人工神經網絡的非線性以及并行性和魯棒性等特點，在上述領域，其取得了以往傳統算法無法獲得的成功。由于人工神經網絡等新技術的引入，從上世紀70年代以來，光學字符識別技術逐漸走向成熟。對于脫機印刷體字符的識別，目前

2、已經有了很高的識別率；對于小規(guī)模的手寫體字符識別，也已經走向實用。 當前，由于半導體加工工藝的進步，微處理器的體積越來越小，速度越來越快。這使得構建能夠替代PC機功能而體積更小、造價更低的硬件平臺成為可能。,貴州大學計算機軟件與理論研究所,3,選題背景及意義,小規(guī)模光學字符識別系統應用廣泛，有著巨大的商業(yè)前景。如：郵政編碼識別、汽車照牌識別、交通標示識別、產品編碼識別等。能夠處理視頻的嵌入式設備也有著廣泛的應用前景。如視頻監(jiān)控、視頻

3、通訊、機器視覺系統等。,貴州大學計算機軟件與理論研究所,4,研究了人工神經網絡及光學字符識別的基本理論、一般方法：對人工神經網絡的發(fā)展、現狀、理論做了深入的研究。重點研究了BP網絡的原理、特點、應用方法。研究了脫機光學字符識別的方法、理論。重點研究了基于K-L變換的字符圖像的特征抽取方法。研究了基于ARM技術的嵌入式系統的構造、設計：通過實際動手，研究了基于ARM技術的處理器的基本構造、使用方法；使用并比較了三星4510b、atm

4、el at91rm9200芯片的性能；掌握了高頻印刷版的設計工藝。研究了Linux操作系統的結構及移植方法：本文的嵌入式系統使用ucLinux或Linux操作系統。通過對操作系統的移植及對其代碼研究，掌握了在ARM系統上移植ucLinux操作系統和Linux操作系統的方法、步驟。,本文所做的主要工作與創(chuàng)新之處,貴州大學計算機軟件與理論研究所,5,實現了圖像處理函數庫：針對脫機光學字符處理的應用需要，實現了一套高效的圖像處理函數庫，

5、包含圖像轉換、圖像抽取、圖像調整、圖像變換、圖像濾波、邊緣檢測、輪廓跟蹤、輪廓檢測、簡單幾何形狀識別幾大類。實現了BP人工神經網絡函數庫：實現了基于矩陣運算的BP神經網絡算法。能夠利用Matlab生成的網絡數據進行快速的運算。 掌握了利用Matlab工具構建人工神經網絡系統的方法：Matlab包含了能強大的人工神經網絡工具箱。BP神經網絡的規(guī)模、激活函數的選擇，直接影響了BP神經網絡的效果。而BP神經網絡的規(guī)模、激活函數的選擇，

6、目前并沒有完善的理論做支持，必須通過實驗來確定其規(guī)模或者激活函數。另外，BP神經網絡的訓練算法也必須通過實驗來選取一種最佳的方案。 由于Matlab工具具有可視化效果、Matlab具有完善的訓練算法，因此，我們使用Matlab來確定網絡規(guī)模、結構，并使用Matlab訓練BP網絡。,本文所做的主要工作與創(chuàng)新之處,貴州大學計算機軟件與理論研究所,6,實現了小規(guī)模光學字符識別算法：利用K-L變換，完成字符圖像的特征抽取，利用BP網絡，以K-

7、L變換抽取的特征為輸入，完成光學字符識別。文中利用美國USPS數據庫，訓練了手寫體阿拉伯數字識別網絡，識別率高于92%。對樣本的每個分類，單獨構造一個BP神經網絡分類器：通常，在構造BP神經網絡分類器時，輸出層節(jié)點數目等于分類的數目，輸出層每個節(jié)點就對應于一個分類。本文中對每個分類都構造一個BP網絡分類器，每個分類器輸出層包含一個節(jié)點，表示樣本為本分類的概率。這樣的設計，大大降低了BP網絡的訓練難度。利用阿拉伯數字的拓撲結構。使用

8、2級分類器，提高了識別率：在初級網絡識別結果的基礎上，進一步利用阿拉伯數字的拓撲結構，成像特征，構建了第2級分類器。第二級BP網絡分類器的加入，大大提高的數字的識別率。 實現了用于郵件自動分揀機的郵政編碼識別裝置：綜合上述的研究工作，文中實現了一個郵政編碼識別裝置。該裝置能夠識完成郵編的定位、郵編抽取、識別等系列工作。配合郵件自動分揀機的其他物理動作單元，完成郵件的自動分揀工作。,本文所做的主要工作與創(chuàng)新之處,貴州大學計算機軟件與

9、理論研究所,7,技術概述技術詳解 應用前景,內容提要,貴州大學計算機軟件與理論研究所,8,人工神經網絡及BP網絡,神經網絡領域研究的背景工作始于19世紀末和20世紀初。它源于物理學、心理學和神經生物學的跨學科研究 。人工神經網絡的第一個實際應用出現在20世紀50年代后期，Frank Rosenblatt提出了感知機網絡和學習規(guī)則 。神經網絡的基本組成單元是神經元，在數學上的神經元模型是和在生物學上的神經細胞對應的?；蛘哒f，人工神經

10、網絡理論是用神經元這種抽象的數學模型來描述客觀世界的生物細胞的。BP神經網絡是一種多層前饋神經網絡，或被稱為多層感知機。嚴格地說，這種神經網絡之所以被稱為BP神經網絡，并非由于其網絡結構，而是由于其連接權值的訓練是基于一種叫做誤差反向傳播的算法(backpropagation)。BP算法實質是求取誤差函數的最小值問題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數的負梯度方向修改權系數。,貴州大學計算機軟件與理論研究所,9,光學字

11、符識別,光學字符識別（Optical Character Recognition，OCR）技術出現于上個世紀50年代。它是屬于模式識別（Pattern Recognition，PR）領域的一個重要分支。50多年以來，光學字符識別技術隨著模式識別和人工智能研究的發(fā)展而逐步趨于成熟 。字符識別包含聯機識別和脫機識別兩種。本文研究對象為脫機識別。結構模式識別方法是人們最初用來進行手寫字符識別研究的方法，早期的研究主要集中在如何準確地抽取基元

12、、輪廓、特征點等能夠反映字符結構信息的特征上。然而，單純采用結構模式識別方法的脫機手寫字符識別系統，識別率較低，這就促使人們將目光轉向了統計模式識別方法。統計法具有良好的抗噪聲、抗干擾的性能，其魯棒性主要體現在統計特征的抽取和模式匹配方法上。用于脫機手寫字符識別的統計特征，根據特征抽取區(qū)域的不同可粗略地分為全局統計特征和局部統計特征兩大類。,貴州大學計算機軟件與理論研究所,10,光學字符識別,全局統計特征是將整個字符點陣作為研究對象，

13、從整體上抽取特征。常用的是全局變換特征：對字符圖象進行各種變換，利用變換系數作為特征，常用的變換有Fourier變換、Hadamard變換、DCT變換、Walsh變換、Rapid變換、K-L變換等。另外還有：不變矩（Moment）特征、筆畫穿透數目特征、全局筆畫方向特征、背景特征。局部統計特征是將字符點陣圖象分割成不同區(qū)域或網格，在各個小區(qū)域內分別抽取統計特征，主要包括局部筆畫方向特征、細胞特征、相補特征、方向線素特征、Gabor特征

14、、四角特征。根據抽取特征的不同，可以選用不同的匹配方法，常用的統計匹配方法有模板匹配、相關匹配、樹分類器等。常用的距離度量有歐氏距離、城市塊距離、馬氏距離等。,貴州大學計算機軟件與理論研究所,11,準備樣本,針對特定的應用，準備樣本集。并利用圖像處理技術，將樣本標準化。,,例：美國郵政服務（USPS）數據庫,貴州大學計算機軟件與理論研究所,12,對樣本做主分量分析（PCA）,計算樣本集的主分量（特征圖），準備K-L變換矩陣,,例：美國

15、郵政服務（USPS）數據庫的特征圖,,貴州大學計算機軟件與理論研究所,13,抽取樣本的特征,利用前面計算的K-L變換矩陣，計算每個樣本圖的特征,,例：本文的數字識別研究中，利用K-L變換將16X16點陣的圖像變換為維度為32或20的特征向量。,,貴州大學計算機軟件與理論研究所,14,訓練BP網絡分類器,利用樣本集對應的特征向量集，在Matlab中設計、訓練BP神經網絡,,例：本文的數字識別研究中，構造了10個[20,20,16,8,1]

16、、輸出層使用purelin函數，其他層使用logsig函數的BP神經網絡。,,貴州大學計算機軟件與理論研究所,15,圖像采集,利用攝像頭采集大小適中、亮度適中的信封圖像,,,貴州大學計算機軟件與理論研究所,16,郵政編碼的定位,利用郵政編碼邊框的顏色信息，分割出郵政編碼邊框圖像,,,貴州大學計算機軟件與理論研究所,17,郵政編碼的定位,輪廓提取，并使用Hough變換，檢測出郵政編碼的具體位置,,,貴州大學計算機軟件與理論研究所,18,郵

17、政編碼圖像的提取,提取出郵政編碼圖像，并根據圖像傾角，進行姿勢校正,,,貴州大學計算機軟件與理論研究所,19,灰度化,將圖像灰度化,,,貴州大學計算機軟件與理論研究所,20,二值化,將圖像二值化,,,貴州大學計算機軟件與理論研究所,21,筆畫粗細調整,將圖像中的文字筆畫粗細做調整,,,貴州大學計算機軟件與理論研究所,22,圖像標準化并識別,將圖像標準化為16X16大小，并識別,,,貴州大學計算機軟件與理論研究所,23,貴州大學計算機軟件

18、與理論研究所,24,貴州大學計算機軟件與理論研究所,25,應用前景,提高視頻部分的分辨率，使識別效果進一步提高。使其能夠作為機器視覺系統應用于生產線做為產品質量監(jiān)控。生成汽車牌照號字符集，訓練分類器，使其能夠應用于汽車牌照號識別應用中。,貴州大學計算機軟件與理論研究所,26,發(fā)表論文及參加學術會議,在讀研究生期間，已在國家中文核心期刊《計算機科學》發(fā)表一篇科研論文。參加學術會議2005年全國理論計算機科學學術年會，并在會上做學術報

19、告2005第四屆中國嵌入式系統技術應用研討會,貴州大學計算機軟件與理論研究所,27,致謝,衷心感謝我的導師李祥教授！從論文的選題、可行性研究、文獻的收集到研究工作的開展，特別是論文的撰寫，導師都給予了無微不至的關懷，提出了許多寶貴的建設性意見。感謝答辯委員會主席，感謝各位評委，感謝在座的各位來賓！最后，我還要感謝我的家人及朋友對我的學習工作的全力支持。 謝 謝！