圖像處理某些發(fā)展動態(tài)和問題-科學網(wǎng)—博客

1、圖像處理：某些發(fā)展動態(tài)和問題,鄒謀炎,zoumouyan@mail.ie.ac.cn 82625719-8018,中國科學院研究生院 2011年暑期講座材料,2011年7月6日,Stephane Mallat：“A wavelet Tour of Signal Processing ---- The Sparse Way”, Third Ed.,E

2、lsevier,2009.,一、從一本書談起：,Stephane Mallat is Professor in Applied Mathematics at Ecole Polytechnique, Paris, France. From 1986 to 1996 he was a Professor at the Courant Institute of Mathematical Sciences at New York Univer

3、sity, and between 2001 and 2007, he co-founded and became CEO of an image processing semiconductor company.,S. Mallat 書的第二版（1998）中譯本 “信號處理的小波引導” 已于2002年由 機械工業(yè)出版社出版,,“ Preface to the Sparse EditionI can

4、not help but find striking resemblances between scientific communities andschools of fish. We interact in conferences and through articles, and we movetogether while a global trajectory emerges from individual contribu

5、tions. Some ofus like to be at the center of the school, others prefer to wander around, and a fewswim in multiple directions in front. To avoid dying by starvation in a progressivelynarrower and specialized domain, a

6、 scientific community needs also to move on.……….”,學習和理解一個成功數(shù)學教授的心路歷程：將應用作為數(shù)學研究的歸宿,我不禁發(fā)現(xiàn)科學界和魚群之間驚人的相似之處。我們在會議和通過文章相互接觸，有人拋出一個貢獻時就會出現(xiàn)一個全局性的軌跡，大家往一起湊。我們當中有人喜歡處于魚群的中心，有人喜歡在周圍游蕩，也有人在前面朝多個方向游動。在一個越來越狹窄和專門的領域內為了不被餓死，科學界也需要往前湊。

7、計算調和分析仍然非常活躍，因為它超出了小波的范疇。寫本書的目的是為了解譯群體的軌跡并把一路上發(fā)現(xiàn)的珍珠收集起來。小波不再是中心題目。它只是一個重要工具，如同富氏變換那樣。稀疏表示和處理當前處于核心位置。 在 80 年代，許多研究人員集中關注建立時頻分解，試圖繞開不定性屏障，期望找出最終的表示方法。沿著構造小波正交基的路子，通過與物理學家和數(shù)學家的合作，開辟了新的前景。設計 X-let 相關的正交基變成了一種流行運動，連帶著

8、壓縮和噪聲抑制應用。近似和稀疏性的聯(lián)系也變得更加明顯。對稀疏性的研究已正當時，引導出新的基地：標準正交基被波形冗余詞典所替代。 在過去 7 年間我與工業(yè)界相遇。帶著許多天真，和幾個人共建了一個小公司。這讓我們花了一點時間去學習到：在3個月內一個良好的工程應該生產(chǎn)出穩(wěn)健的算法可以實時運算；與此對照，在過去我們習慣于用3年的時間來寫那些有發(fā)展前景的新思想。是的，我們還活著，因為數(shù)學是信號處理工業(yè)創(chuàng)新的一個主要源泉。半導體技術提

9、供了驚人的計算能力和靈活性。但是，特定算法常常不易估量，并且數(shù)學能夠加速湊試發(fā)展過程。稀疏性使計算、存貯和數(shù)據(jù)搬運得以下降。雖然數(shù)學理解非常漂亮，但絕不奢侈。它是越來越精妙的信息處理元件所需要的。,S. Mallat 書序言簡譯：,From Wavelet To X-let ： wavelet contourlet surfacelet shearlet ridgelet curvelet b

10、andlet ……,關于 X-let 的解讀： 這些 X-let 關心信號和圖像的表示，特別關心如何表達信號（圖像）的不連續(xù)性（或奇異性），包括點（灰度）不連續(xù)性（wavelet）；線不連續(xù)性（ridgelet)；曲線不連續(xù)性(contourlet, surfacelet, Curvelet)；流場不連續(xù)性（bandlet）；等等 理論要點： 沿襲 wavelet 的理論模式，構造

11、出表達信號或圖像的“基”或“標架”，具有以下要求 (1) 有幾何規(guī)則性，能夠逼近圖像中任意方向的線、曲線的不連續(xù)性；（2）有容易計算的分析（正變換）和綜合（反變換）表達；（3）對分析（變換）域的結果有明確的物理解釋，便于實施去噪、壓縮的近似處理，以及超分辨重建的進一步工作。,1、由可縮放的 Meyer 窗函數(shù)V(t)和W(r)來定義。,例：Curvelet by E. Candès, D. Donoho (20

12、03,2004),2、由V(t)和W(r)定義 極坐標窗函數(shù)：,3、將Ua內插為直角坐標函數(shù) Ua(ξ), 作為基礎 curvelet 小波函數(shù)的富氏變換,4、由 的富氏反變換 ，對空間雙坐標 x 作旋轉和位移變換，得到 curvelet 函數(shù)族：,這保證了

13、 在頻域 (ξ1,ξ2) 平面有扇形支持域。,例：Curvelet by E. Candès, D. Donoho (2003,2004) （續(xù)）,5、計算 的富氏變換，有,6、連續(xù) Curvelet 變換定義為：,7、逆 curvelet 變換：（略）8、離散 curvelet 函數(shù)族：,用類似連續(xù) curvelet 函數(shù)族的方法來建立?？梢宰C明，離散 Curvelet 函數(shù)族能構成一個

14、緊標架，因此離散 curvelet 變換是可逆的，有重建公式,于是， 在頻域(ξ1,ξ2)平面有旋轉的扇形支持域。,例：Curvelet by E. Candès, D. Donoho (2003,2004) （續(xù)）,幾個要點：1、選用具有平滑性的 Meyer 窗函數(shù)V(t)和W(r)，分別用來構造射徑方向和 角度方向的頻域窗。平滑窗的意義在于它的傅里葉變換有近

15、似有限支持。2、用內插方法從極坐標變到直角坐標，便于使用 FFT 計算。3、在直角坐標下引入坐標旋轉，使獲得的 curvelet 標架具有平移、尺度、 旋轉三種表示能力。4、證明 curvelet 標架是緊標架，即 Riesz 基，因此 curvelet變換是可逆的， 有簡單的反變換公式。,幾何解釋：1、在頻域上 具有離散小波瓦片，有 拋物型偽極坐標支持，

16、如圖所示。2、由于空域圖樣和頻域圖樣的垂直關系，可以 看出，所構造的小波標架能夠覆蓋各種取向 和各種尺度的空域棱邊。 事實上 和平移量 b 無關，這和富氏變換性質相似。3、頻域小波瓦片的全體形成一個緊支持?？沼?小波標架 一定是不緊的。離散型 curvelet 標架是高度冗余的。,例：Curvelet

17、 by E. Candès, D. Donoho (2003,2004) （續(xù)）,應用：,1、去噪 圖像 → Curvelet 變換 → 去噪處理 → 重建算法 → 輸出圖像 典型去噪處理算法：硬門限法，特別對高頻、低電平小波系數(shù)。 基于成像物理的處理方法。2、利用稀疏性的圖像數(shù)據(jù)壓縮。 Curve

18、let 變換能夠適應性地表達圖像上各種幾何取向的棱邊。棱邊取向 的幾何規(guī)則性越高，重要的變換系數(shù)個數(shù)越少，圖像可壓縮更有效。 因此，對于紋理幾何規(guī)則性強的圖像，適合于用Curvelet 或 Bandlet變換 來實現(xiàn)去噪和壓縮。如果圖像紋理的幾何規(guī)則性不強，應該用常規(guī)的 Wavelet 變換。 關于稀疏性和壓縮后面專門介紹。,基本觀察：從 wavelet 到 X-le

19、t，人們追求發(fā)現(xiàn)更有效的信號（圖像）表示方法。目前這些方法的發(fā)展帶有高度程式化、技巧性、和特定有效性的特征。學習和掌握這些方法和相關理論是有意義的和重要的，沿著類似的思路去尋求突破性的創(chuàng)新是困難的。,二、稀疏性和壓縮感知 (Sparsity and Compressive Sensing),各種形態(tài)的稀疏性： 信號（圖像）本身可能是稀疏的； 信號（圖像）在變換域是稀疏的； 信號（圖像

20、）中含有內部的相關性、規(guī)律性，當用某個數(shù)學模型描述時， 只需要少量的模型系數(shù)； 信號（圖像）的規(guī)則性：良好的圖像具有卡通模式，噪聲和干擾較少，這 意味著具有變差稀疏性或總變差有限性。,壓縮采樣： 采樣是一個線性泛函作用于信號，不限于獲得信號的一個瞬時電平。 例：信號 x ?

21、Rn，將信號與隨意選取的 m 個向量 vi 作內積（濾波），m < n, 內積結果 y。這種采樣可以用一個 m×n 代數(shù)方程描述： Φ x = y 。 在一般情況下，重建 x 有無窮多解。K-稀疏性解：上述問題中，如果假定已知 x 中至多只有 K 個非零元，求解問題 變成求解 Φ x = y ， 帶著附加約束 # supp(x) ≤K。,整數(shù)規(guī)劃問題：求最稀疏解

22、 （P0) min { ||x||0 ：Φ x = y，x ? Rn }， 其中Φ ? Rm×n，y ? Rm，m < n 。 ||x||0 = # supp (x) = x 中非零元個數(shù)。 （1）解通常不唯一；（2）具有 NP-hard 計算復雜性。,凸松弛規(guī)劃 （P1) min { ||x||1 ：Φ

23、x = y，x ? Rn }， 等價的線性規(guī)劃問題：多項式時間算法 min Σai subject to Φ x = y - a ≤ x ≤ a,整數(shù)規(guī)劃問題,凸松弛規(guī)劃,???,問題 P1 ≡ P0 的條件 : 受限等量性質

24、Restricted Isometry Property of Oder k (RIP) [ E.J. Candes, et al., 2006 ],定義： 假定k < m 是一個整數(shù)，一個矩陣Ф ? Rm×n的等量常數(shù)δk 是指對所有k 稀疏向量 x ? Rn，滿足以下不等式的最小值： (1 - δk )|| x ||l22 ≤||Фx ||l22 ≤ (1 - δk )|| x

25、||l22,大致地說，RIP 是要求Ф 的每個 m×k 子矩陣 Sk 是近似單位正交的，即任何一個 SkTSk 的各個特征值不要偏離數(shù)值 1 太遠。,充分條件（Candes，2006）：如果 δ2k < √2 – 1, 那么對于所有 k 稀疏向量 x，（P1）問題的解等于（P0）問題的解。,有噪情況：（Candes, 2005） 去噪問題 （P1ε) min { ||x||1 :

26、||Φ x – y ||2 ≤ε，x ? Rn }， 設Ф 給定，且 y ＝ Φ x ＋ e，|| e ||2 ≤ε. 如果δ2k < √2 – 1，則 || x* - x ||2 ≤C0k -1/2σk(x)1 + C1ε,其中 x* 是 （P1ε）的解，而σk(x)1 ＝ min z ?Xk || x – z ||1 , Xk 是全體 k 稀疏向量集合，C0

27、 和 C1 是兩個小數(shù)值常數(shù)。這個結果表明：解的誤差與觀測誤差在同樣的數(shù)量等級上 （穩(wěn)定性）。,離散不定性原理：記,--- 信號 f 時域非零點的個數(shù)。,--- 信號 f 頻域非零點的個數(shù)。,一個大致的結果是： | T | + |Ω | ~ 2√N ， N --- 信號長度,典型的信號復原例子： 信號長度 N，頻域譜線個數(shù)為 K，則在時域使用 M ~ K logN 個樣本，用 l1 最小化，可以得到完美的復原。,更

28、一般的稀疏信號重建問題： 如果 f 在某個正交系統(tǒng)Ψ 下是稀疏的：有 f = Ψa, #{supp a} ≤ K, 使用 M 個互不相關的“觀測序列” φk 獲得 M 個觀測量 yk = , 因此有 y = Ф f 。信號重建問題可以表達為 min { || a ||1 ：ΦΨa = y }， 當 M ≥const ? K log N 時，信號能夠被精確地重建。這個結果適用于

29、圖像。 找 M 個互不相關的“觀測序列” φk 是容易的 ！,仍然在發(fā)展中的問題：1、如何更準確地估計解的 k-稀疏性和需要的最小量測數(shù) m ？2、如何構造觀測矩陣（或稱詞典矩陣）Ф ？ 使用隨機數(shù)構造觀測矩陣已證明可行，一定條件下能保證 RIP 條件。 是否存在通用和對重建計算最有效的構造方法？3、如何將壓縮感知的概念和方法應用于更廣的圖像處理 ？ 1）將常規(guī)圖像估計

30、問題，改造成帶稀疏性限制的估計問題，適合于成像、 圖像重建、反降晰、去噪、修復、超分辨，以及分割、配準、識別、 跟蹤、分類等。典型地，需要考慮變換域的稀疏性和變差稀疏性。 2）壓縮感知原理的物理實現(xiàn)技術。 Rice 大學提出了一個 CS 照相機原型，工業(yè)實現(xiàn)仍然有大挑戰(zhàn)。4、如何更有效地處理信號重建中遇到的數(shù)學規(guī)劃（優(yōu)化）問題 ？ 期待

31、發(fā)展更加有效的凸優(yōu)化和非凸優(yōu)化算法。5、將稀疏性限制作為規(guī)整化方法處理更廣泛的數(shù)學物理反問題。,三、多傳感器圖像融合 (Multi-Sensor Image Fusion ),1、為什么要關注這個題目？ 1）圖像融合技術從70年代起，經(jīng)30多年，發(fā)展緩慢，Why ？ 2）應用方面一直期待進步。（例如對地觀測應用） 3）目前的研究興趣仍然大量地集中在“象元級”圖像融合，這類研究的前 景

32、如何 ？有什么基本問題？這需要認真考慮。 4）圖像融合的研究方向應該在哪里？,2、對圖像融合研究造成影響的一個工作： Pohl, C., Genderen, J. L., 1998, Multisensor Image Fusion in Remote Sensing: Concepts, Methods and Applications, International Journal

33、 of Remote Sensing, 9(5)，823-854. 關于圖像融合的定義：“Image fusion is the combination of two or more different images to form a new image by using a certain algorithm”,“形成一個新圖像”，這對后續(xù)的研究造成了影響 ！Why ？,它將研究集中地引導到象元

34、級融合研究，而這個研究的合理性是值得懷疑的： 1）象元級融合特別關注“分辨率”改善問題，其有效性對應用來說缺乏說服力。應用最需要的是對某個目標的各種屬性提供盡量綜合和全面的知識。 2）觀測圖像多于 2 時，象元級融合難以處理和結果表達，這很不合理。 3）象元級圖像融合不能一般地與目標的物理屬性找到相容性。因為，將目標理解為”一個象元集合“或將圖像的一組象元與目標形態(tài)建立一一對應關系常常是不正確

35、的。 例： (a) 是多譜圖， (b) 是同一地域的紅外圖；(c) SAR 圖像中有飛機，但你看得見任何飛機嗎？,,,又例：（a）V V 極化 SAR 圖像； （b）H H 極化 SAR 圖像。 注意在兩幅圖像中，同一個鋼架橋的圖像有重要不同。,3、圖像融合的更準確定義： 多傳感器圖像融合是基于多傳感器圖像來了解圖像中所含目標信息 的信息融合。

36、 要點： 1）“組合兩個或多個不同圖像形成一個新圖像”對圖像融合不是本質的。 2）在多傳感器情況下，每個圖像應理解為在特定傳感器下，一種“目標 的屬性分布”（DAO）。 3）特征級圖像融合應該處理目標的數(shù)據(jù)關聯(lián)。也就是，融合技術應該 能夠從每個圖像中區(qū)分出指定的目標；能夠抽取目標的屬性；能夠 將各個圖像中反映同一目標的屬性數(shù)據(jù)關聯(lián)起來。

37、 4）決策級圖像融合應該根據(jù)應用需求，利用關聯(lián)數(shù)據(jù)產(chǎn)生出關于每個 目標的數(shù)值描述。 5）產(chǎn)生一個或多個合成圖像；用什么方式來顯示原圖、合成圖像、或 圖形示意圖；用什么方式來顯示目標屬性；。。。這些技術對顯示 圖像融合結果是重要的，但是技術性的，非概念性的。,4、若干技術關鍵問題1）多傳感器圖像配準 多模態(tài)圖像配準：典型地基于互信息，比較兩個圖像

38、區(qū)域分布模式差異來決定配準。分布模式差異的度量可以用Kullback-Leibler 距離，Bregman距離，或其他廣義距離。 配準需要的幾何校正可以依據(jù)“廣義特征點”來實施。 圖像融合中需要的配準技術一般不是全局配準，而是區(qū)域選擇性配準和多幅不同圖像的聯(lián)合配準。典型地，“目標”可能不適合于配準，但要進行描述。2）分割公共感興趣區(qū)域 根據(jù)不同的應用需求需要不同的分割技術。感興趣的區(qū)域可

39、以是目標本身，也可以是目標所處的環(huán)境。一大類分割技術的依據(jù)是屬性一致性（灰度電平、紋理統(tǒng)計特征、速度分布等等）。另一大類分割技術基于邊界提取和區(qū)域屬性的人工或自動指派。典型的分割技術是通過最優(yōu)化一個能量泛函來實現(xiàn)。例如活動圍道方法是通過增高泛函維數(shù)和水平截集方法來實現(xiàn)拓撲演化。 融合技術中需要的分割技術可能包含提取目標和環(huán)境兩層，并且是多幅圖像聯(lián)合分割。,4、若干技術關鍵問題 （續(xù)）3）抽取和關聯(lián)目標的特征屬性

40、 典型目標屬性：幾何或形狀特征；灰度特征；色度特征；各種特征的分布模式；不同傳感器反映的特征差異；目標的移動屬性；等等。 目標屬性描述的組織：目標屬性描述協(xié)議和關聯(lián)數(shù)據(jù)庫。4）信息融合和自動圖像解釋 這個技術一定是應用指定的。所謂“圖像內容”依從于應用需求。可用的圖像融合系統(tǒng)設計必須依據(jù)應用需求擬定出研究和發(fā)展的具體細則，包括圖像和目標的類別、主要特征、希望達到目標的具體描述等等。在這些前

41、提下，信息融合和圖像解釋才有依據(jù)。,有興趣者可以參考 “Some New Concepts and Key Techniques in Multi-Sensor Image Fusion”，科學網(wǎng)地址： http://blog.sciencenet.cn/u/zoumouyan ，也可以通過關鍵詞從 google.com 上找到。,四、幾點建議,1、學習和積累 圖像處理技術發(fā)展很熱，要學習的知識多，學習者需要掌握一定

42、的要點： 例如： 努力獲取物理概念，為第一要點； 先看數(shù)學推演的線條，搞清出發(fā)點和結果，再慢慢理解數(shù)學演繹過程； 不要限于讀一篇文章，而是同時讀相關的幾篇文章，并且特別要看重最 源頭的文章。如果有教科書可參考，可節(jié)省時間。 遇新的數(shù)學知識，應作為增長數(shù)學知識的機會。 更多方面可以參考博文“同工科學生談談如何做研究”和“談談工科學生如 何學習數(shù)學”

43、 （可從“科學網(wǎng)”獲得）,2、碩士和博士論文研究 碩士生可以在發(fā)展現(xiàn)有技術上做研究。博士生則必須爭取有明確的創(chuàng)新點。博士生必須審視選題的可發(fā)展性，但選題不可能太難太高。例如，研究生論文仍然可以考慮稀疏性、壓縮感知的研究，特別是將這些研究與專業(yè)應用結合起來。圖像分割、配準、多幅超分辨、Retinex、高動態(tài)范圍成像、基于視頻的圖像處理、面向醫(yī)學應用的圖像分析和3-D圖像處理、面向對地遙感的目標識別和分類，PDE方法，mani

44、fold概念的應用，這些題目至今仍然有生命力。也可將 X-let、壓縮感知的知識結合到這些應用中。這些仍可作博士論文選題，能產(chǎn)生出有發(fā)表希望的結果（但通常不是高度創(chuàng)新性的工作）。 更多方面可以參考博文“同工科學生談談如何做研究”（科學網(wǎng)）,四、幾點建議 （續(xù)）,3、創(chuàng)新性研究 學院式的圖像處理研究或者說“純”的圖像處理研究很難產(chǎn)生出重要的創(chuàng)新性工作。只要當圖像處理與重要的基礎研究結合，才可能從結合中找到重要的位置。

45、例如： 對物理現(xiàn)象出現(xiàn)了新的觀測方法或出現(xiàn)了產(chǎn)生新物理現(xiàn)象的技術； 生物醫(yī)學領域出現(xiàn)了新的敏感機制、新的測量和感應性質； 對物質、物體、地下、水下等出現(xiàn)了新的物理探測感應性質； ---- 由此發(fā)展出新成像原理/機理和技術； 與其他應用學科結合，為重要的應用學科提供新觀測處理手段； 圖像認知的進展。這是最艱難和最富挑戰(zhàn)性的領域。

46、 有志者必須學習交叉學科知識，并有長期累計知識和捕捉靈感的準備。,四、幾點建議 （續(xù)）,4、圖像處理技術的產(chǎn)業(yè)發(fā)展機會 專用圖像處理芯片，始終為有創(chuàng)造性思想的人提供可能性。如何將你 的先進處理方法發(fā)展成具有一定普適性、有明確應用目標、適合于硬件 實現(xiàn)，是必須解決的問題。 面向照相、攝像、通信編碼的圖像處理技術是各個大公司競爭發(fā)展的 熱點。另一方面，例如高清攝像機的發(fā)展對中國國內的小公司已經(jīng)成為

47、 可行并且應用市場巨大，為圖像處理技術提升介入提供了可能性。 遙感應用。通常由政府部門管理，在我國該領域的產(chǎn)業(yè)化還未提到日 程。然而，商業(yè)化、成熟、和有效的大型處理軟件是非常需要的。國內 許多單位目前靠進口。目前尚缺乏機制和能力來從事這項發(fā)展。 醫(yī)學儀器設備。醫(yī)學成像技術設備是一個大市場。動態(tài)醫(yī)學圖像輔助 手術治療系統(tǒng)在國外是發(fā)展熱點。對此，在現(xiàn)有成像視頻系統(tǒng)基礎上， 需要3D配準、

48、分割、分析和測量技術。壓縮感知技術能夠大大縮短MRI 的采集時間，但圖像重建期待加速。實時動態(tài) MRI 有更大的挑戰(zhàn)。 某些民用市場，如智能交通、公共安全管理需要圖像和視頻處理技術。 該市場規(guī)模很大，國內有上百家公司以各種方式介入，低水平重復現(xiàn) 象嚴重，有很大的技術發(fā)展空間。,四、幾點建議 （續(xù)）,附注：本文為中科院研究生院 2011年暑期講座教材之一。公布于網(wǎng)上是為了 給本領域內

49、更多的學生參考。轉載時需保持文件完整，并注明來源 （“科學網(wǎng)”）。 主要參考：1、Mallat, S.: 2008, A Wavelet Tour of Signal Processing, The Sparse Way, 3rd ed., Academic, San Diego, CA.2、 Starck，J., Murtagh, F., and Fadili, J.

50、 M., 2010, Sparse Image and Signal Processing: Wavelets, Curvelets, Morphological Diversity，cambridge university press.3、E. Candes, J. Romberg, and T. Tao, “Robust uncertainty principles: Exact signal reco

51、nstruction from highly incomplete frequency information,” IEEE Trans. Inf. Theory, vol. 52, no. 2, pp. 489–509, Feb. 2006.4、E. Candes and J. Romberg, “Sparsity and incoherence in compressive sampling,” Inverse

52、 Problems, vol. 23, no. 3, pp. 969–985, 2007.5、Elad，M., Sparse and Redundant Representations，Springer，2010.6、Ma, J. W. and Plonka, G., “The curvelet transform，A review of recent applications”, IEEE signal P