圖像拼接畢業(yè)設計--圖像拼接技術(shù)研究

1、<p><b>　　畢業(yè)設計（論文）</b></p><p>　　專 業(yè)：電子信息科學與技術(shù) </p><p>　　題 目：圖像拼接技術(shù)研究 </p><p>　　2014年 6 月12日</p><p>　　本科畢業(yè)設計（論文）任務書</p><p>

2、;　　Ⅰ 畢業(yè)設計（論文）題目</p><p>　　中文：圖像拼接技術(shù)研究</p><p>　　英文：Research on Image Mosaic Technology</p><p><b>　?、?原始資料</b></p><p>　　[1] 朱廣新.基于特征點匹配的圖像拼接以及醫(yī)學應用[D].南京理工大學碩

3、士學位論文，</p><p><b>　　2007:3-4.</b></p><p>　　[2] L.G. Brown. A survey of image registration techniques [J].ACM Computing </p><p>　　Surveys, 1992, 24(4):325-376.</p>

4、;<p>　　[3] B. Zitova, J. Flusser. Image registration methods: a survey [J].Image and Vision </p><p>　　Computing, 2003, 21(11):977- 1000. </p><p>　　[4] R. Szeliski. Image

5、 Alignment and stitching: A Tutorial[R].Preliminary </p><p>　　Draft, Technical Report, 2005.</p><p>　　[5] Richard Szeliski. Video Mosaics for Virtual Environments [J].IEEE Computer </p>

6、<p>　　Graphics and Applications, 1996, 16(2):22-30.</p><p>　?、?畢業(yè)設計（論文）任務內(nèi)容</p><p><b>　　1、課題研究的意義</b></p><p>　　圖像拼接的研究意義在于通過技術(shù)手段實現(xiàn)全景圖像，而不需要對圖像采集設備的硬件性能提出過高的要求。事實

7、上，在現(xiàn)實生活中，專業(yè)的用于拍攝全景圖像的相機的成本太大，而用普通的攝像機是不能得到全景圖像的。通過圖像拼接的算法，可以用一個普通的攝像機得到同一副場景的不同區(qū)域的圖像，同時相鄰區(qū)域之間有交疊，這樣就可以利用交疊區(qū)域的匹配，將多幅同一場景下的圖像拼接成一副全景圖像。</p><p>　　圖像拼接在實際應用中使用非常廣泛。遙感圖片在軍事目標監(jiān)視、陸地水資調(diào)查、土地資源調(diào)查、植被資源調(diào)查、環(huán)境監(jiān)測和規(guī)劃管理等方面都得

8、到了廣泛的應用。隨著科學技術(shù)的發(fā)展以及人類認知范圍的擴大，圖像拼接在航空航天領域也有著很大的發(fā)展和應用前景。圖像拼接在國民生產(chǎn)和生活中發(fā)揮的作用也將越來越大，如在農(nóng)業(yè)上，可以通過圖像拼接的方法，對某一片區(qū)域的全景圖像描繪出來，可以得到某一片的地形地貌和區(qū)域環(huán)境，對農(nóng)業(yè)生產(chǎn)和生活提供指導。</p><p>　　2、本課題研究的主要內(nèi)容：</p><p>　　通過圖像特征點的匹配使多幅圖像拼接

9、成一副全景圖像。其要過程為：圖像采集、圖像預處理、特征點提取、圖像匹配和圖像融合。</p><p><b>　　3、提交的成果：</b></p><p>　?。?）畢業(yè)設計（論文）正文；</p><p>　?。?）仿真圖和代碼；</p><p>　?。?）至少一篇引用的外文文獻及其譯文；</p><p

10、>　?。?）附不少于10篇主要參考文獻的題錄及摘要。</p><p>　　指導教師（簽字） </p><p><b>　　教研室主任（簽字）</b></p><p>　　批 準 日 期2014年1月4日</p><p>　　接受任務書日期2014年1月10日</p><p>　　完 成

11、 日 期2014年6月12日</p><p>　　接受任務書學生（簽字）</p><p><b>　　圖像拼接技術(shù)研究</b></p><p><b>　　摘 要</b></p><p>　　圖像拼接技術(shù)就是將數(shù)張有重疊部分的圖像拼接成一副大型的全景圖像的技術(shù)。圖像拼接的研究意義在于通過技術(shù)手

12、段獲得全景圖像，降低了對圖像采集設備的硬件性能的要求。圖像拼接技術(shù)融合了多個學科，涉及多個領域，在實際生活中的應用非常的廣泛，研究圖像拼接技術(shù)具有非常重要的意義。</p><p>　　本設計的主要內(nèi)容是通過圖像特征點的匹配使多幅圖像拼接成一副全景圖像。其主要流程：首先，將待拼接的圖像進行預處理，消除噪聲等干擾因素，同時利用Harris角點檢測算法提取圖像特征點。其次，利用塊匹配法對圖像角點匹配，利用重疊區(qū)域等長法

13、來消除誤匹配。最后，利用加權(quán)平均法進行圖像融合，完成全景圖像的拼接。實驗結(jié)果表明，此法得到了較為滿意的結(jié)果，實現(xiàn)全景圖像無縫拼接。</p><p>　　圖像拼接在實際應用中使用非常廣泛。遙感圖片在軍事目標監(jiān)視、陸地水資調(diào)查、土地資源調(diào)查、植被資源調(diào)查、環(huán)境監(jiān)測和規(guī)劃管理等方面都得到了廣泛的應用。隨著科學技術(shù)的發(fā)展以及人類認知范圍的擴大，圖像拼接在生活中會有著更大的發(fā)展和應用前景。</p><p

14、>　　關(guān)鍵字：圖像拼接；Harris角點；特征點提??；圖像匹配；重疊區(qū)域等長法</p><p>　　Research on Image Mosaic Technology</p><p><b>　　Abstract</b></p><p>　　Image stitching is the technology that splices

15、several overlapping images into a large-scale panoramic image. The research significance of image mosaic is that it could obtain panoramic image by means of a technology and reduces the hardware requirement of image acqu

16、isition equipment. Image mosaic technology combines multiple subjects, involving many fields, so its applications are very extensive in real life and it is very important to research the image mosaic technology.</p>

17、;<p>　　The main content of the design is that it can splice several images into a panoramic image through matching feature points. The main processes are as follows: firstly, the image that will be spliced is pret

18、reated so as to eliminate noise and other interference factors. At the same time, image feature points are extracted by using the Harris corner detection algorithm. Secondly, the block matching method is used to match im

19、age points, then overlapping area equal length method is used to eliminate</p><p>　　Image mosaic is widely used in practical application. It is widely applied to remote sensing images in military survei

20、llance, land water resources survey, land resource investigation, vegetation resources investigation, environment monitoring and management etc. With the development of science and technology and the scope’s amplificatio

21、n of human cognition, image mosaic will have larger development and wider application prospect in life.</p><p>　　Keywords: image mosaic; Harris corner; feature extraction; image matching;

22、 overlapping area equal length method</p><p><b>　　目錄</b></p><p><b>　　引言- 1 -</b></p><p>　　第1章 緒論- 2 -</p><p>　　1.1課題的研究背景及意義- 2 -&l

23、t;/p><p>　　1.2 國內(nèi)外研究現(xiàn)狀- 2 -</p><p>　　1.2.1 國外研究現(xiàn)狀- 3 -</p><p>　　1.2.2 國內(nèi)研究現(xiàn)狀- 4 -</p><p>　　1.3 本課題研究的主要內(nèi)容- 5 -</p><p>　　第2章 圖像拼接的基本理論- 6 -</p><

24、;p>　　2.1 圖像采集和預處理- 6 -</p><p>　　2.2.1 圖像采集- 6 -</p><p>　　2.1.2 圖像預處理- 7 -</p><p>　　2.2 圖像特征點提取- 7 -</p><p>　　2.2.1 SIFT算子- 7 -</p><p>　　2.2.2 SUSAN

25、檢測算子- 9 -</p><p>　　2.3 圖像匹配- 11 -</p><p>　　2.3.1 歸一化互相關(guān)（NCC）算法- 11 -</p><p>　　2.3.2 序列相似性（SSDA）算法- 12 -</p><p>　　2.4 圖像融合- 13 -</p><p>　　2.4.1 平均值法-

26、13 -</p><p>　　2.4.2 小波變換法- 13 -</p><p>　　2.4.3 多頻帶融合法- 13 -</p><p>　　第3章 基于Harris算法的圖像特征提取- 14 -</p><p>　　3.1 Harris算法原理分析- 14 -</p><p>　　3.2 圖像特征點提取結(jié)果

27、- 15 -</p><p>　　第4章 圖像特征點匹配- 16 -</p><p>　　4.1 特征點初次匹配- 16 -</p><p>　　4.2 消除誤匹配- 17 -</p><p>　　4.3 特征點匹配結(jié)果與分析- 17 -</p><p>　　第5章 圖像融合- 19 -</p>

28、<p>　　5.1 加權(quán)平均法原理- 19 -</p><p>　　5.2 圖像融合區(qū)域分析- 20 -</p><p>　　5.3 圖像融合結(jié)果與分析- 21 -</p><p>　　總結(jié)與展望- 24 -</p><p><b>　　致謝- 25 -</b></p><p&

29、gt;　　參考文獻- 26 -</p><p>　　附錄A 實驗仿真結(jié)果圖- 28 -</p><p>　　附錄B 引用外文文獻及其譯文- 30 -</p><p>　　附錄C 10篇參考文獻的題錄及摘要- 37 -</p><p>　　附錄D 主要源程序- 42 -</p><p><b>　　插

30、圖清單</b></p><p>　　圖2- 1 圖像拼接的流程圖- 6 -</p><p>　　圖2- 2 DOG尺度空間的構(gòu)造- 8 -</p><p>　　圖2- 3 尺度空間極值點的構(gòu)造- 8 -</p><p>　　圖2- 4 SUSAN模板離散圓與核- 9 -</p><p>　　圖2-

31、5 模板圓和模板核在典型圖像的不同位置的USAN變化- 10 -</p><p>　　圖2- 6 相似度（y軸）與像元之間的差值（x軸）之間的關(guān)系圖- 11 -</p><p>　　圖3- 1 Harris算法對圖像特征提取的結(jié)果圖- 15 -</p><p>　　圖4- 1 角點鄰域像素分布圖- 16 -</p><p>　　圖4-

32、 2 待匹配簡圖- 17 -</p><p>　　圖4- 3 圖像特征點匹配結(jié)果圖- 18 -</p><p>　　圖5- 1 重疊區(qū)域及加權(quán)漸變- 19 -</p><p>　　圖5- 2 全局重疊圖- 20 -</p><p>　　圖5- 3 局部重疊圖- 20 -</p><p>　　圖5- 4 補零后

33、的局部重疊圖- 21 -</p><p>　　圖5- 5 三種重疊情況的圖像拼接結(jié)果- 23 -</p><p><b>　　引言</b></p><p>　　在實際生活和工作中常常需要獲得大視角、高分辨率的全景圖像，但由于攝像設備硬件的性能限制，一般只能得到局部的圖像，而得到全景圖像的硬件設備一般比較昂貴，不適合普遍使用，于是人們提出了利

34、用計算機軟件進行圖像拼接來獲得全景圖的方法。目前圖像拼接技術(shù)已廣泛應用于數(shù)字視頻、運動分析、虛擬現(xiàn)實技術(shù)、醫(yī)學圖像分析、遙感圖像處理等一系列領域。</p><p>　　在現(xiàn)實環(huán)境中，由于圖像采集設備的限制，想要獲得一副場景的全景圖像是不可能的。為了能夠獲得同一幅場景的完整景象，人們嘗試了不同的方法，如擴大圖像采集設備的視場角。但是這種方法帶來的問題是，視場角過大的圖像會有很明顯的畸變，同時圖像的分辨率沒有提高，所

35、得到的的寬視角的圖像分辨率很低，因此為了解決這個問題，人們考慮采用圖像拼接的方法，對采集到的圖像采取適當?shù)钠ヅ渌惴ǎ密浖詣油瓿蓪Χ喾鶊D像的無縫拼接，以生成全視角的高清晰的圖像。</p><p>　　基于特征點匹配的圖像拼接算法是目前圖像拼接算法的研究熱門。由于基于特征的圖像拼接算法具有一系列的優(yōu)勢，因此國際上有許多針對此類特征的算法的研究。Harris特征點檢測提取算法是最早提出的算法模型。該算法的特征是具

36、有旋轉(zhuǎn)不變性。在光照和噪聲不強的情況下也有很好的適應能力。后來有人提出基于Harris特征點的歸一化函數(shù)來提取圖像中的特征點，然后通過匹配的算法進行求精。基于尺度不變變換特征的算法，是由David G Love提出的算法，其本人在后續(xù)的算法中進行了改進和總結(jié)?；诔叨炔蛔冏儞Q特征的算法具有很好的旋轉(zhuǎn)不變性。其對圖像的平移、旋轉(zhuǎn)和縮放等操作都具有較好的魯棒性。該算法同時對由光照和噪聲引起的干擾也具有很好的適應程度。因此在進行圖像拼接的時候

37、，如果圖像的質(zhì)量沒有達到很好的效果，在采用其他拼接算法不能取得很好的效果的時候，采用基于尺度不變特征的算法的時候，也能夠很好的效果。不過由于該算法的數(shù)學計算量大，這也是該算法本身所固有的缺點，因此影響了該算法的整體速度。</p><p>　　本設計的主要是通過圖像特征點的匹配使多幅圖像拼接成一副全景圖像。實驗結(jié)果表明，此法得到了較為滿意的結(jié)果，實現(xiàn)全景圖像無縫拼接。</p><p><

38、;b>　　第1章 緒論</b></p><p>　　1.1課題的研究背景及意義</p><p>　　視覺是人類獲得外界信息的主要手段,圖像是視覺系統(tǒng)對客觀世界的直接反映。由于設備以及感官的限制,得到的圖像的視野是有限的。在許多研究和應用領域,經(jīng)常需要獲得視野大、分辨率高的全景圖像進行分析處理,但是由于硬件設備以及技術(shù)或者成本方面的問題,不能獲取比較滿意的大視野圖像。在實際

39、中要想獲得寬視野、高分辨率的圖像,通?？梢酝ㄟ^兩種途徑實現(xiàn):一種方式是購買特殊的設備,但是此類設備價格都相當昂貴,并且獲得的圖像也有不盡如人意的地方;另一種方式是利用多圖像的拼接技術(shù),其中每幅圖像都可以通過普通手持相機獲取,這樣就大大降低了成本,也能滿足我們的需求,因此圖像拼接技術(shù)成為各個領域研究的熱點。</p><p>　　圖像拼接的研究意義在于通過技術(shù)手段實現(xiàn)全景圖像，而不需要對圖像采集設備的硬件性能提出過高

40、的要求。事實上，在現(xiàn)實生活中，專業(yè)的用于拍攝全景圖像的相機的成本太大，而用普通的攝像機是不能得到全景圖像的。通過圖像拼接的算法，可以用一個普通的攝像機得到同一副場景的不同區(qū)域的圖像，同時相鄰區(qū)域之間有交疊，這樣就可以利用交疊區(qū)域的匹配，將多幅同一場景下的圖像拼接成一副全景圖像。</p><p>　　圖像拼接在實際應用中使用非常廣泛。遙感圖片在軍事目標監(jiān)視、陸地水資源調(diào)查、土地資源調(diào)查、植被資源調(diào)查、環(huán)境監(jiān)測和規(guī)劃

41、管理等方面都得到了廣泛的應用。隨著科學技術(shù)的發(fā)展以及人類認知范圍的擴大，圖像拼接在航空航天領域也有著很大的發(fā)展和應用前景。圖像拼接在國民生產(chǎn)和生活中發(fā)揮的作用也將越來越大，如在農(nóng)業(yè)上，可以通過圖像拼接的方法，對某一片區(qū)域的全景圖像描繪出來，可以得到某一片的地形地貌和區(qū)域環(huán)境，對農(nóng)業(yè)生產(chǎn)和生活提供指導。</p><p>　　圖像拼接在虛擬現(xiàn)實的實現(xiàn)方面也有著十分廣泛的應用。首先全景圖像的生成是通過圖像拼接，將一幅幅

42、圖像拼接而成。然后將拼接而成的多幅全景圖像通過適當?shù)目臻g映射，生成最終的虛擬全景，最終形成虛擬現(xiàn)實的效果。目前，已經(jīng)有部分基于虛擬現(xiàn)實的軟件的產(chǎn)生，這些軟件主要可以用于在虛擬環(huán)境下進行購物、旅游等活動?？梢灶A見，在不久的將來，隨著技術(shù)的不斷發(fā)展，會有越來越多的基于圖像拼接的虛擬現(xiàn)實軟件的產(chǎn)生，將極大的改變?nèi)藗兊纳罘绞健?lt;/p><p>　　圖像拼接技術(shù)在醫(yī)學成像方面同樣有著非常廣闊的前景。傳統(tǒng)的醫(yī)學成像方法，是

43、通過射線、超聲波等醫(yī)學成像手段，將人體的某個部位拍攝成圖像進行觀察。但是此時獲得的僅僅是某一部分的圖像，很難對病變得周圍組織信息以及病變的整體情況獲得一個準確而全面的把握。因此在現(xiàn)有的醫(yī)學條件下，沒有重大的技術(shù)突破，為了獲得完整的病變組織的整天信息，得到完整的網(wǎng)絡圖或者超聲波圖像，需要通過對從不同角度、不同方向獲得圖像進行拼接，從而形成完整的圖像信息，醫(yī)生可以在此基礎上，對圖像進行全面的分析，得到對患者疾病的更進一步的認識和全面的把握。

44、為后續(xù)的病情醫(yī)治提供更加可靠和精確的數(shù)據(jù)。可以預見，在不久的將來，隨著技術(shù)的不斷發(fā)展，會有越來越多的基于圖像拼接的醫(yī)學成像技術(shù)的產(chǎn)生，將極大的改變?nèi)藗兊纳罘绞胶歪t(yī)生的就診方式[1]。</p><p>　　1.2 國內(nèi)外研究現(xiàn)狀</p><p>　　在傳統(tǒng)相機的時代，獲得全景照片是比較困難的，除非你擁有一臺昂貴的全景照相機，否則就只能靠暗房技術(shù)和手工拼接的方法來完成。進入數(shù)字化時代，借助數(shù)

45、碼相機等設備，數(shù)碼照片的獲取變得非常容易。借助數(shù)字計算機實現(xiàn)大量數(shù)字圖像的快速、準確、自動拼接，成為國內(nèi)外數(shù)字圖像處理領域的一個研究熱點。特別是近20年來，每年都有大量的圖像拼接相關(guān)論文發(fā)表。多種圖像拼接的理論和算法被提出和應用，各種方法都是面向一定的應用領域，具有各自的特點，但目前還沒有通用的拼接技術(shù)和方法使得人們可以快速高效地實現(xiàn)圖像的拼接。</p><p>　　圖像配準和圖像融合是數(shù)字圖像拼接技術(shù)的兩個關(guān)鍵

46、技術(shù)。圖像配準是指將同一場景的兩幅或多幅具有重疊區(qū)域的圖像進行對準，得到圖像之間的運動關(guān)系，以便于將圖像旋轉(zhuǎn)到統(tǒng)一坐標系下進行后續(xù)的融合操作。圖像融合技術(shù)是將經(jīng)過配準的圖像的重疊區(qū)域合成一副無縫圖像，用來消除由于幾何失真、關(guān)照變化等引起的相鄰圖像間的灰度或顏色不連續(xù)問題?？梢姡瑘D像配準較圖像融合計算復雜度和耗時要大的多，可以說圖像配準直接關(guān)系到圖像拼接的速度和成功率。因此，圖像拼接算法的發(fā)展主要與圖像配準理論的發(fā)展密切相關(guān)。</p

47、><p>　　1.2.1 國外研究現(xiàn)狀</p><p>　　在國外，對于圖像拼接技術(shù)的研究比我國要早，Richard Szeliski教授和Sevket Gumusteki博士是比較具有權(quán)威性的研究人員。Richard Szeliski教授針對的是手持攝像機拍攝的圖像的拼接情況，要求在拍攝圖像序列的時候基本保持光心不發(fā)生變化，可以根據(jù)需求拼接出不同形狀的全景圖。Sevket Gumusteki

48、博士的研究重點則是放在了透視變換上面，深入地研究了由于攝像機繞光心旋轉(zhuǎn)而造成的投射變換的消除方法。Stein在求解攝像機焦距和幀間偏移量時加入了對紋理特征的跟蹤，使得求解精度有所提高，但同時也加大了計算量。J Davis在1998年提出了在靜態(tài)場景中加入動態(tài)物體的全景圖像拼接方法。Apple公司研制開發(fā)了一個圖像拼接的軟件—Quiktime VR系統(tǒng)，它所拼接的圖像是通過攝像機固定在三腳架上旋轉(zhuǎn)360度獲得的，對旋轉(zhuǎn)的角度有嚴格的要求，

49、并且要求相鄰圖像間在2/3以上的重疊區(qū)域，因此需要高端的拍攝器材和嚴格的校準工作。</p><p>　　1992年，劍橋大學的Lisa Gottesfeld Brown 提出了圖像配準技術(shù)的基本理論以及主要方法[2]。2003年，Zitova等人綜述了隨后10年的圖像配準領域的相關(guān)方法[3]。</p><p>　　2005年，Szeliski詳細全面地介紹了圖像拼接的理論架構(gòu)和主要方法[4

50、]。</p><p>　　縱觀近年來發(fā)表的關(guān)于圖像拼接和圖像配準的論文，其中提出的相關(guān)理論和算法大致可分為兩類：基于特征的方法和基于區(qū)域的方法。</p><p>　　基于特征的方法首先從待配準圖像中提取特征，利用特征的對應關(guān)系進行特征匹配，通過特征匹配實現(xiàn)全局匹配?；谔卣鞯姆椒ɡ昧藞D像的顯著特征，如角點、特征點和輪廓等，具有計算量小，速度快的特點，對于圖像的噪聲、畸變、遮擋等具有一定的

51、魯棒性，但是它的匹配性能在很大程度上取決于特征選取的合理性和特征提取的質(zhì)量。</p><p>　　美國微軟研究院的Richard Szeliski教授對數(shù)字圖像拼接理論做出了巨大的貢獻。1996年，Richard Szeliski提出了一種2D空間八參數(shù)投影變換模型，將圖像之間的剛性和仿射變換歸結(jié)為一個八參數(shù)線性變換。手工選取n大于等于4對匹配點，得到2n個方程，通過采用Levenberg-Marquardt迭代

52、非線性最小化方法求出圖像間的幾何變換參數(shù)來進行圖像匹配[5]。這種方法在處理具有平移、旋轉(zhuǎn)、尺度關(guān)系以及仿射等多種變換的待拼接圖像方面效果好，收斂速度快，因此成為圖像拼接領域的經(jīng)典算法。許多后續(xù)的研究工作都是基于Szeliski的理論體系展開的。多種特征點的自動提取和匹配算法被應用到圖像拼領域。典型的特征點自動提取算法有以下三種：</p><p>　　1988年，Harris提出了Harris角點檢測器[6]。該

53、方法使用自相關(guān)函數(shù)來確定信號發(fā)生二維變化的位置，提取的角點被證明具有旋轉(zhuǎn)、平移不變性。Harris角點檢測算法對存在旋轉(zhuǎn)、縮放和光照變化時仍有較好的魯棒性，但缺點是對噪聲比較敏感。</p><p>　　1997年，英國牛津大學的Smith和Brady提出了最小單值分割相似核（Smallest Univalue Segment Assimilating Nucleus：SUSAN算法）角點檢測算法[7]。</

54、p><p>　　1999年，David G.Lowe提出SIFT（Scale Invariant Feature Transform）特征點匹配算法，并于2004年完善總結(jié)[8]。該算法利用圖像關(guān)鍵點的SIFT特征向量進行匹配，對信號的旋轉(zhuǎn)、平移、尺度關(guān)系、噪聲、關(guān)照變化、仿射乃至透射變換都具有較高的魯棒性[9]。SIFT特征配準是目前國內(nèi)外特征點配準領域的研究點。</p><p>　　除了特

55、征點，輪廓特征也被用來進行圖像配準。輪廓的匹配準則可以選取鏈碼相關(guān)或者其他一些相似性準則，如主軸和不變矩等。</p><p>　　基于區(qū)域的方法主要包括模板匹配法和頻域法。</p><p>　　1972年，Barmea和Silverman[10]提出的序貫相似檢測法就是一種經(jīng)典的模板匹配算法。模板匹配算法是一種全搜索算法，通過匹配選定的圖像模板來實現(xiàn)兩幅圖像的全局配準。這類算法冗余度高、計

56、算量非常大，計算速度慢，而且僅僅適用于圖像間的平移檢測。對圖像間的旋轉(zhuǎn)和尺度關(guān)系無能為力。</p><p>　　1975年，由Kuglin和Hines提出相位相關(guān)法。借助傅里葉變換將兩幅待配準的圖像變換到頻域，然后利用互功率譜直接計算出兩幅圖像間的平移量[11]。</p><p>　　1987年，De Castro和Morandi發(fā)現(xiàn)利用傅里葉變換的性質(zhì)，進行旋轉(zhuǎn)配準與平移配準一樣有效，提

57、出了擴展相位相關(guān)法[12]。</p><p>　　隨著快速傅里葉變換算法的提出以及信號處理領域?qū)Ω道锶~變換的成熟應用，1996年，Reddy和Chatterji改進了De Castro的方法，提出基于快速傅里葉變換進行圖像配準的方法，大大提高了運算速度，同時，采用對數(shù)據(jù)坐標變量分離技術(shù)，將頻域配準技術(shù)成功的應用于存在平移、旋轉(zhuǎn)和尺度的圖像配準問題上[13]。</p><p>　　隨著極坐標

58、Fourier變換計算方法的改進，Keller等人利用偽極坐標Fourier變換技術(shù)改進了圖像平移、旋轉(zhuǎn)和尺度的檢測穩(wěn)定性[14]。</p><p>　　1.2.2 國內(nèi)研究現(xiàn)狀</p><p>　　在國內(nèi)，對重疊區(qū)域的邊界確定這方面，華中科技大學和CAD&CG以及模式識別兩個國家重點實驗室分別提出了截然不同的方法。華中科技大學主要利用相鄰圖像間對應圖形存在數(shù)學關(guān)系，通過識別同名點

59、紅日校正幾何變形來確定匹配區(qū)域。CAD&CG以及模式識別兩個實驗室則是搜索的方式，利用模板進行匹配搜索以得到最佳配準位置，這種算法容易實現(xiàn)，但計算量相對較大且容易產(chǎn)生錯誤匹配。計算量和拼接精度間的矛盾，清華大學將兩者進行折中，要求攝像機在垂直于地面上的方向上做水平旋轉(zhuǎn)運動，對具體的旋轉(zhuǎn)角度不作要求。2002年，杜威和李華視頻紋理加入到全景圖拼接當中，實現(xiàn)了動態(tài)全景圖。</p><p>　　國內(nèi)外對圖像拼接

60、的研究中，主要的研究重點大部分都放在圖像配準這一圖像拼接關(guān)鍵技術(shù)上，配準速度快和配準精度高是國內(nèi)外研究人員尋求的目標。因此，產(chǎn)生了圖像配準方法，將這些圖像配準方法按照匹配方法可分為兩類：</p><p>　　第一類是基于灰度信息的圖像拼接方法</p><p>　　圖像的灰度信息是最直接且最容易利用的信息，到目前已經(jīng)發(fā)展的較好?；趫D像的灰度信息的方法是從一副圖像中選取一塊區(qū)域，根據(jù)區(qū)域的灰

61、度陣列的相似屬性在另一副圖中進行搜索，尋找相似度最高的相匹配區(qū)域。根據(jù)模板的選取方式的不同可以分為三種匹配方式即塊匹配、比值匹配和網(wǎng)格匹配。塊匹配方法就是從重疊區(qū)域中選取一個窗口作為匹配模板，在另一幅圖像的重疊區(qū)域中進行搜索相似度最高的窗口，這種方法雖然計算量較大，可是精確度比較高。比值匹配方法就是設定一個固定的距離間隔，選取間隔為一個距離的兩列的比值作為匹配模板，它是從塊匹配的基礎上做的改進，從而減少了計算量，但是同時也降低了精確度。

62、網(wǎng)格匹配時粗匹配與精匹配的結(jié)合，定義一個步長，每次水平或垂直移動一個步長的距離并記錄下最好的位置，從這個位置出發(fā)，步長減半然后進行匹配，如此反復循環(huán)知道使步長為零。</p><p>　　第二類是基于特征的圖像拼接方法</p><p>　　基于特征的圖像拼接方法是目前圖像配準領域中占主導地位的圖像拼接方法，它將提取出在圖像中灰度變化較顯著的特征，如點、線、面等作為特征樣本集，通過一定的算法挑

63、選出正確的對應對作為匹配樣本集。圖像特征提取的算法包括Moravec算子、Forstner算子、Harris算子、Canny算子、SIFT特征提取算法等，我們可以根據(jù)實際的需要進行對算法的選擇。</p><p>　　圖像拼接技術(shù)經(jīng)過幾十年的研究已經(jīng)取得了很大的進展和廣泛的應用。但是，由于拍攝環(huán)境復雜多變，沒有一種算法能夠解決所有的圖像拼接問題?，F(xiàn)有的算法各有其優(yōu)缺點，如果能綜合利用這些方法的優(yōu)點將會取得更好的拼接

64、效果。</p><p>　　1.3 本課題研究的主要內(nèi)容</p><p>　　本設計的主要內(nèi)容是通過圖像特征點的匹配使多幅圖像拼接成一副全景圖像，其中包括特征點提取、圖像匹配和圖像融合。</p><p>　　利用Harris角點檢測算法提取圖像特征點，通過塊匹配法實現(xiàn)圖像匹配，利用加權(quán)平均法進行圖像融合，完成全景圖像的拼接。</p><p>

65、　　第2章 圖像拼接的基本理論</p><p>　　本設計主要介紹了基于角點匹配的圖像拼接。本章主要介紹了圖像拼接的基本過程，其包括圖像采集、圖像預處理、特征點提取、特征點匹配和圖像融合。圖像拼接的流程如圖2-1所示：</p><p>　　圖2- 1 圖像拼接的流程圖</p><p>　　2.1 圖像采集和預處理</p><p>　　2.2.

66、1 圖像采集</p><p>　　圖像采集是圖像拼接的第一步，目的是獲取場景的原始圖像，為圖像拼接提供原始的圖像素材。原始圖像素材的質(zhì)量的高低直接決定著全景圖像拼接的效果，因此在圖像采集階段要盡量的使用高性能的圖像采集設備，獲取高質(zhì)量的原始圖像。原始圖像的采集方式有很多種，必須根據(jù)不同的環(huán)境采取不同的圖像采集方法，如醫(yī)學圖像采集就必須使用顯微鏡等?？偟膩碚f，原始圖像的獲取主要有三種途徑[15]：</p>

67、;<p><b>　　旋轉(zhuǎn)式相機拍攝</b></p><p>　　首先將三腳架放置在一個平面上，然后將三腳架調(diào)節(jié)到合適的高度，在放置好三腳架后，將攝像機固定到三腳架上，攝像機只能圍繞一個固定的軸旋轉(zhuǎn)，當攝像機拍攝完一張圖像后需要將攝像機旋轉(zhuǎn)一定的角度拍攝下一張圖像。攝像機旋轉(zhuǎn)的角度不應過大，要保證相鄰圖像之間有足夠的重疊區(qū)域，一般來說，重疊區(qū)域要占圖像的1/3左右，最后一幅圖像

68、和第一幅圖像的重疊區(qū)域應足夠大，要保證他們的重疊區(qū)域超過圖像50%[16]，這樣才能保證場景360度信息的完整性。在使用旋轉(zhuǎn)式相機采集圖像的過程中，要盡量避免攝像機鏡頭的偏移和俯仰。</p><p>　　2. 手持式相機拍攝</p><p>　　旋轉(zhuǎn)式相機拍攝的圖像在豎直方向上幾乎沒有位移，但是旋轉(zhuǎn)式相機攜帶不方便，因此，人們通常使用普通的照相機對場景進行旋轉(zhuǎn)拍攝，手持式相機拍攝對圖像要求

69、不如旋轉(zhuǎn)式相機拍攝時嚴格，它允許相機有微小的位移和抖動。</p><p>　　3. 平移式相機拍攝</p><p>　　平移式相機拍攝時，相機必須在平行于場景的平面上進行拍攝，具體的拍攝方法如下：首先將相機固定在平面上，然后將相機沿著此平面移動，最終將獲得一系列描述場景的原始圖像。這種情況下拼接出來的全景圖像三維感覺沒有采用旋轉(zhuǎn)式相機采集圖像拼接出的全景圖像的效果好。物體和相機的距離，拍攝

70、物體的大小都會影響全景圖像的拼接結(jié)果。</p><p>　　2.1.2 圖像預處理</p><p>　　圖像預處理工作的目的在于保證匹配精度和提高匹配效率?？偟膩碚f，由于圖像自身特點、噪聲及應用的情形不同，需要根據(jù)實際情況來選擇預處理的方法。</p><p>　　保證高準確性的圖像預處理工作主要分為圖像校正和去噪。由于光學成像或電子掃描系統(tǒng)的原因而產(chǎn)生圖像的幾何畸變

71、會給圖像的配準帶來很大的困難。根據(jù)失真原因建立相應的數(shù)學模型，由模型設計濾波器，由失真圖像計算真實圖像的估值，從而獲得盡可能接近真實圖像的數(shù)據(jù)。</p><p>　　在圖像的采集、輸入等環(huán)節(jié)中都會引入噪聲，噪聲會影響拼接效果，抑噪去噪一直是圖像處理領域長期研究的問題。</p><p>　　另外，由于彩色信息不能明顯提高匹配性能，我們可將彩色圖像轉(zhuǎn)換為灰度圖像，并在灰度空間內(nèi)進行后續(xù)的匹配操

72、作，這樣，灰度圖像的轉(zhuǎn)換使圖像匹配耗時大大降低。</p><p>　　總之，根據(jù)拼接圖像的各種情況采用的預處理方法能有效的提高拼接的質(zhì)量與速度。</p><p>　　2.2 圖像特征點提取</p><p>　　特征點也稱角點，目前常見的角點檢測算子主要有基于邊緣的檢測和基于圖像灰度的檢測。基于邊緣的檢測方法是由Rosenfeld和Freeman早期提出的，該方法需要

73、對圖像邊緣編碼，而此很大程度上依賴圖像的分割效果和邊緣提取質(zhì)量，因此需要很大的計算量，同時具有一定的難度，而且如果檢測的目標發(fā)生了局部變換也可能導致檢測的失敗?；趫D像灰度的檢測方法恰恰避免了基于邊緣檢測的缺點，成為目前研究的熱點。該方法是通過將圖像的梯度和曲率作為判斷角點是否存在的標準，主要算法有SIFT算子、SUSAN算子和Harris算子等。這里將對前兩者作介紹，Harris算子將在后續(xù)作詳細介紹。</p><

74、p>　　2.2.1 SIFT算子</p><p>　　SIFT算子[17]是由D.G.Lowe于1999年提出，并于2004年完善總結(jié)的。SIFT算法由于具有尺度、旋轉(zhuǎn)、視角、仿射、光照不變性，對目標的運動、噪聲等因素也保持較好的匹配性，所以有較高的準確性。在航空、醫(yī)學圖像的匹配性能上，明顯優(yōu)越于其他算法，適合應用在全景圖像的拼接上。它的主要思想是：建立圖像的多尺度空間，在不同尺度、不同分辨率下檢測到高斯差

75、分圖像的極值點。</p><p><b>　　(1)建立尺度空間</b></p><p>　　尺度空間理論目的是模擬圖像數(shù)據(jù)的多尺度特征。其主要思想是利用不同的卷積核對原始圖像進行尺度變換，獲得圖像多尺度下的尺度空間表示序列。Koenderink與Lindeberg的研究表明高斯核是唯一可能的線性尺度核。具有線性、對稱性和可分離性等良好性質(zhì)。</p>&

76、lt;p>　　構(gòu)建尺度空間是為了檢測出尺度空間的極值，即特征點?？梢酝ㄟ^構(gòu)造高斯差分金子塔，并在構(gòu)造的尺度空間上尋找極值的方法獲得。高斯差分金字塔可以通過高斯函數(shù)反復卷積原始圖像并構(gòu)造差分序列。</p><p>　　若一副圖像，變尺度高斯核函數(shù),圖像的多尺度空間即為和的卷積，定義為：</p><p><b>　　（2-1）</b></p><

77、p>　　其中： ，為像素點坐標，為尺度空間因子。的大小決定圖像的平滑程度，大尺度對應圖像的概貌特征，小尺度對應圖像的細節(jié)特征。圖像金字塔共O組，每組有S層，圖2-2由兩組高斯尺度空間示例金字塔的構(gòu)建，第二組的第一幅圖像由第一組的第一幅到最后一幅圖像由一個因子2降采樣得到。作為同一分辨率下的一幅圖像可改變尺度因子，得到同階相鄰的n層尺度圖像。相鄰的圖像相減就產(chǎn)生了相應的n-1層DOG圖像，下一組的圖像由上一組圖像將采樣得到。<

78、/p><p>　　圖2- 2 DOG尺度空間的構(gòu)造</p><p><b>　?。?-2）</b></p><p>　　其中可視為相鄰尺度空間的比例。由此就形成尺度空間的第一階，將原圖像以2降采樣方法得到第二階的最底層圖像，同樣進行卷積，相減得到尺度空間的第二階，完成了尺度空間的建立。</p><p>　　(2)檢測尺度空間

79、的極值點</p><p>　　為了檢測的局部極值點，需要比較DOG圖像中每個像素與其同層及上下層26個近鄰像素值。如圖2-3所示：若像素是一個可能的SIFT特征點，則它必須在它周圍的26個近鄰像素中為最大值或最小值，即極值點時，就認為改點為圖像在該尺度下的一個特征點。</p><p>　　圖2- 3 尺度空間極值點的構(gòu)造</p><p>　　由于DOG值對噪聲和邊緣

80、較敏感，在這里為了去除邊界響應點，計算特征點處的Hessian矩陣H：</p><p><b>　　（2-3）</b></p><p>　　如果點滿足，則改點保留為特征點，否則被視為響應點被排除。其中： ，，一般取值為10。</p><p>　　2.2.2 SUSAN檢測算子</p><p>　　SUSAN[18]是（最

81、小核值相似區(qū)）Smallest Univalue Segment Assimilating Nucleus的縮寫，是由牛津大學的Smith等提出的。SUSAN使用一個圓形模板和一個圓的中心點，通過圓中心點像元值與模板圓內(nèi)其他像元值的比較，統(tǒng)計出與圓中心點像元值相似的像元數(shù)量，當這樣的像元數(shù)量小于某一個閥值時，就被認為是要檢測的角點。</p><p>　　定義一個半徑為3.4個像元的圓，對于離散圖像而言，這個圓共有

82、37個像元。圓的中心像元稱為模板的核，如圖2-4所示，粗線包圍的區(qū)域為離散圓。</p><p>　　圖2- 4 SUSAN模板離散圓與核</p><p>　　在模板圓內(nèi)，將與模板核像元值相似的像元數(shù)量或面積稱為USN（核值相似區(qū)，Univalue Segment Assimilating Nucleus）面積，如圖2-5所示，當模板圓在典型圖像上移動時，在圓內(nèi)，USAN面積是完全不同的。從

83、圖可以看出，當模板圓的核移動到A點時。USAN的面積最小，其他依次分別是按D、B、C、E排列。由此，我們可以看出，當圓形模板在接近、進入、移出圖像角點時，USAN面積經(jīng)歷了一個由大到小，再由小到大的過程。這一個變化特點我們檢測角點所必須的。</p><p>　　將圓形模板在被檢測的圖像上逐個像元移動，圓形模板內(nèi)的像元值與核像元值進行比較。比較可用下式簡單地描述：</p><p>　　1

84、 如果</p><p><b>　?。?-4）</b></p><p>　　0 如果 </p><p>　　其中，表示模板核在二維圖像中的位置，表示模板內(nèi)其他任意位置。表示圖像在處的像元值，表示圖像在處的像元值。為核像元與其他像元相似度的閥值。當模板圓內(nèi)的所有像元比較完成后，對結(jié)果進行

85、累加，即</p><p><b>　?。?-5）</b></p><p>　　圖2- 5 模板圓和模板核在典型圖像的不同位置的USAN變化</p><p>　　就是模板核在處模板內(nèi)圖像USAN的像元數(shù)量，也即是模板核在處圖像USAN的面積，它在角點處其值應該達到局部小。</p><p>　　為了進行非最大值抑制，需要計算

86、角點的響應。我們定義角點響應為：</p><p><b>　　如果</b></p><p><b>　?。?-6）</b></p><p><b>　　其他</b></p><p>　　式中：固定閥值，通常=。這樣，當USAN的面積達到最小值時，就達到最大。為了得到更穩(wěn)定的結(jié)果

87、，避免相似度函數(shù)在閥值邊界發(fā)生突變，將式（2-4）變更為下列等式：</p><p><b>　　（2-7）</b></p><p>　　式（2-7）的曲線如圖2-6中b所示。為了計算的快速性，我們可以將式（2-7）做成一個索引表：事先將值計算完成，在需要時通過索引找到其對應的值。</p><p>　　使用SUSAN進行角點檢測時，有兩個重要參數(shù)

88、需要確定。一個是式（2-6）的值，一個是式（2-7）的值。閥值決定了USAN區(qū)域的最大值，也就是說，只要圖像中像素具有比小的USAN區(qū)域，該點就判定為角點。的大小不僅決定了可以從圖像中提取角點的多少，而且還決定了所檢測到的角點的尖銳程度。當確定了所要提取角點的尖銳程度，的值就可以取一個固定不變的值。閥值表示所能檢測角點的最小對比度，調(diào)節(jié)這個參數(shù)，一方面可以抑制噪聲，另一方面它還決定了角點提取的數(shù)量。值越小，可以從低對比度的圖像中提取角點

89、，而且，提取的角點數(shù)量也越多。所以，對于不同對比度和噪聲的圖像，應取不同的值。</p><p>　　圖2- 6 相似度（y軸）與像元之間的差值（x軸）之間的關(guān)系圖</p><p>　　SUSAN角點檢測的一個突出優(yōu)點是對局部的噪聲不敏感，抗干擾能力強。另外，USAN區(qū)域是由模板內(nèi)與模板中心像元具有相似密度值的像元累積而得到的，這一累積過程實際上是一個積分的過程，對于高斯噪聲有較好的抑制效果

90、。</p><p>　　總結(jié)SUSAN角點檢測算子，我們可以將其歸納為如下四步：</p><p>　　對于圖像中的每個像元，將核放在該像元上；</p><p>　　利用式（2-4）計算在模板圓內(nèi)像元與核像元相似的像元數(shù)量，該像元數(shù)量即為USAN；</p><p>　　使用等式（2-5）計算角點的相應值；</p><p>

91、;　　使用非最大值抑制，找出角點集。</p><p><b>　　2.3 圖像匹配</b></p><p>　　圖像特征匹配的目的是尋找在不同地點或者不同角度或者不同環(huán)境下拍攝的兩張圖像之間的幾何變換關(guān)系。在計算機視覺領域中，經(jīng)常會使用圖像特征匹配確定圖像像素之間的對應關(guān)系。</p><p>　　如果直接使用圖像像素值進行特征匹配，可能會得到大

92、量的誤匹配，而且魯棒性不強，容易受到光照等條件的影響。為了提高圖像特征匹配算法的魯棒性，一般使用圖像局部特征的描述符進行匹配。基于塊的匹配[19]，基于比值匹配[20]和基于網(wǎng)格的快速匹配方法是三類常用的基于特征圖像的匹配算法。其中，比較常用的基于圖像特征匹配算法有NCC算法，SSDA算法。</p><p>　　2.3.1 歸一化互相關(guān)（NCC）算法</p><p>　　歸一化互相關(guān)(No

93、rmalized Cross Corretion Method,NCC)技術(shù)是一種廣泛應用在導航制導中的技術(shù)[21]，在噪聲的環(huán)境中，NCC算法也能準確的匹配圖像的局部特征，即NCC算法能有效的消除噪聲的影響。</p><p>　　NCC算法使用模板完成圖像之間的匹配工作。因此，我們首先要確定模板的規(guī)模，設模板T的長和寬分別為M和N即模板尺寸為，模板覆蓋到圖像上的中心的坐標為，我們將搜索模板所覆蓋的圖像記作，使用

94、公式(2-8)計算模板和的相關(guān)系數(shù)，我們將搜索圖中和模板T相關(guān)系數(shù)最大的像素點作為匹配點。</p><p><b>　　(2-8)</b></p><p>　　其中，表示搜索圖像中點（m，n）的像素值，表示搜索圖像中以為中心的模板大小為所覆蓋的像素的平均值。的計算公式如下：</p><p><b>　　(2-9)</b>&

95、lt;/p><p>　　在圖像灰度值變化和圖像幾何畸變不大的情況下，NCC算法具有很高匹配精度。但是由于計算互相關(guān)系數(shù)時，需要多次搜索整個搜索圖，計算量很大，算法的效率比低，匹配速度比較慢。該方法還有一個比較讓人詬病的缺點—對光照變化非常敏感。</p><p>　　2.3.2 序列相似性（SSDA）算法</p><p>　　1972年Barnea和Silverman在總

96、結(jié)了已有的圖像特征匹配算法的基礎上，提出了一種新的圖像特征匹配算法—序貫相似性檢測算法（SSDA）。該算法速度很快，科研工作者已經(jīng)通過實踐證明，它的處理速度比FFT相關(guān)算法快一個到兩個數(shù)量級[22]。</p><p>　　設基準圖像長和寬分別為和即模板為，我們使用表示模板覆蓋待匹配圖像的那塊子圖，其中，，和分別表示子圖和模板中位于位置處的像素值。</p><p><b>　　1.

97、定義絕對誤差：</b></p><p><b>　　(2-10)</b></p><p>　　其中： </p><p>　　2.設置閥值，一旦被設置，就不應當改變。</p><p>　　3.隨機選擇子圖窗口區(qū)域中的一個像素點，使用公式（2-9）計算該像素點和模板T中對應像素點的誤差值

98、，然后將該像素點上的誤差值和其他點的誤差值相加，并使累加次數(shù)R加1.如果累計誤差超過，則記錄下累加的次數(shù)R，并停止計算下一像素點的誤差值，將SSDA的檢測曲面定義為：</p><p><b>　　(2-11)</b></p><p>　　利用公式（2-11）計算點的值，如果某點的值最大，則將該點定義為匹配點。因為在這點上需要經(jīng)過多次誤差累加后，總的誤差才能超過。<

99、;/p><p>　　在SSDA算法中，當總誤差大于預設的閥值時，我們就認為該點不是匹配點，因此在實際的計算中，有可能不需要計算模板覆蓋區(qū)域所有像素的誤差。當總誤差超過閥值時，立即停止該位置的計算，開始測試下一個位置，直到找到匹配點。</p><p><b>　　2.4 圖像融合</b></p><p>　　圖像拼接的前一步需要把待拼接的圖像全部投影

100、至同一個平面上，此時會通過計算到平移參數(shù)把全部圖像進行累加，圖像累加完成后，有一處比較明顯的邊界部分出現(xiàn)在拼接處，這種方式得到的拼接圖像整體視覺效果不太理想，因為拼接后痕跡比較明顯。對于“鬼影”的消除，當前已經(jīng)有很多種的方法，主要有：加權(quán)平均法、算術(shù)平均法[23]、小波變換法[24]和多頻帶融合法[24]。下面將會對后三種作介紹，本設計主要使用的是加權(quán)平均法，在后面將對其作詳細介紹。</p><p>　　2.4.

101、1 平均值法</p><p>　　令、、分別表示第一幅圖像、第二幅圖像和融合后圖像在點處的像素值，則融合圖像中的各點的像素值按下式確定：</p><p><b>　　(2-12)</b></p><p>　　式中： 表示第一幅圖像中去掉重疊部分剩下的圖像區(qū)域?qū)袼刂?；表示第一幅圖像和第二幅圖像重疊的圖像區(qū)域?qū)袼刂?；表示第二幅圖像中去掉重疊

102、部分剩下的圖像區(qū)域?qū)袼刂?。雖然用平均值法很快，但是效果不能令人滿意，在融合部分由明顯的帶狀感覺，而且有明顯的縫合線。</p><p>　　2.4.2 小波變換法</p><p>　　依據(jù)圖像的頻域特性把圖像分為幾個頻域段，這種操作方法稱為小波變換方法，圖像的拼接和融合過程主要完成在各個頻域段上，最終能夠?qū)⒏黝l域段上的圖像融合為一幅無痕完整的圖像。小波變換的方式可以確保圖像的像素及能量

103、仍然完整，而且分辨率的拼接過程降低了子圖之間相互影響的可能，拼接成的圖像效果也會比較好[25]。</p><p>　　2.4.3 多頻帶融合法</p><p>　　多頻帶融合法是將圖像在頻域上進行分解，這一點上和小波變換法相似，但是他們之間的不同是用了不同的金字塔結(jié)構(gòu)，且圖像的重疊邊界使用了多頻帶融合法的加權(quán)平均法。</p><p>　　多頻帶融合法和小波變換法相同

104、，它們都有較高的精確度要求，而且計算量都很大。</p><p>　　第3章 基于Harris算法的圖像特征提取</p><p>　　1998年，C.Harris和M.J.Stephens在Moravec算子的基礎上進行改進，提出的Harris算法。這種算法與Moravec算法區(qū)別在于它用基于邊界曲率的檢測方法代替了常用的一階偏導數(shù)來描述灰度的變化。通過計算圖像邊界的曲率，找出像素灰度變化極

105、值，再通過閥值技術(shù)來進行特征點檢測。本章主要介紹了Harris算法的原理，并通過實驗驗證算法的可行性。</p><p>　　3.1 Harris算法原理分析</p><p>　　Harris角點檢測原理[17]：通過判斷某一點向任意方向小小偏移都是否會引起灰度的很大變化，如果是就說明該點是角點。它的具體算法是通過分析像素周圍區(qū)域的自相關(guān)函數(shù)的自相關(guān)矩陣特征值來判斷某一點是否是角點。這個局部

106、自相關(guān)函數(shù)C定義為[18]：</p><p><b>　　(3-1)</b></p><p>　　式中：，為，方向上的微小偏移量。是像素點上的灰度值，為有微小偏移量后的灰度值。是以點為中心窗口，為加權(quán)函數(shù)，它既可以是常數(shù)，也可以是高斯加權(quán)函數(shù)：。為簡化起見，將表示為。</p><p>　　根據(jù)泰勒展開，對圖像在平移后進行一階近似：</p&

107、gt;<p><b>　　(3-2)</b></p><p>　　式中：、是圖像的偏導數(shù)。這樣，式(3-1)近似為：</p><p><b>　　(3-3)</b></p><p><b>　　其中 </b></p><p>　　也就是說圖像在點處平移后的自相關(guān)函

108、數(shù)可近似為：</p><p><b>　　(3-4)</b></p><p>　　設、是矩陣的兩個特征值，則、可表示局部自相關(guān)函數(shù)的曲率。通過對矩陣的兩個特征值分析，我們可大致對角點進行檢測，但實際運用中用來計算角點的響應函數(shù)：</p><p><b>　　(3-5)</b></p><p>　　式

109、中：為矩陣的行列式，為矩陣的跡，按經(jīng)驗一般取值0.04。其判斷標準為：設定一個合理的閥值，當實際計算出來的大于該閥值時，則表示找到了一個角點，否則就不是。</p><p>　　根據(jù)以上討論，可以將Harris圖像角點檢測算法歸納如下，共分為五步：</p><p>　　(1)計算圖像在X和Y兩個方向的梯度、。</p><p><b>　　，</b>

110、;</p><p>　　(2)計算圖像兩個方向梯度的乘積。</p><p>　　(3)使用高斯函數(shù)對、和進行高斯加權(quán)，生成矩陣的元素、和。</p><p>　　(4)計算每個像素的Harris相應值，并對小于某一閥值的為零。</p><p>　　(5)在3x3或5x5的鄰域內(nèi)進行非最大值抑制，局部最大值點即為圖像中的角點。</p>