過濾技術和非單調技術在數值優(yōu)化問題中的結合與應用.pdf

1、線搜索方法和信賴域方法是解最優(yōu)化問題的兩類最基本的算法框架，求解線搜索方向和信賴域子問題分別是其關鍵的組成部分之一，另一個關鍵點自然就是框架本身了．本文中，我們主要著眼于算法框架的改進上，引入了過濾(Filter)技術和非單調技術等改進策略，并將其應用于幾類典型的優(yōu)化問題中．從理論上對這些改進后的算法框架進行收斂性分析，并用數值試驗檢驗了改進的效果． 第2章中，我們主要考慮過濾技術在無約束優(yōu)化問題中的應用，并采用信賴域方法作為基

2、本算法．參照[39]中利用梯度向量來定義過濾集的方法，而對其中的算法框架進行了一些改進，去除了[39]中關于信賴域子問題凸性的判斷，對簡化后的算法框架證明了全局收斂性，并在一定條件下證明了算法收斂到二階穩(wěn)定點．其后，我們報告了用過濾信賴域方法解無約束優(yōu)化問題數值試驗的結果．表明該算法框架相比于經典信賴域框架在效率上有所改進． 第3章中，我們研究了非單調技術在解非線性最小二乘問題上的應用．采用線搜索方法的具體實現Gauss-New

3、ton法作為基本算法．非單調線搜索技術的理論框架是由[41]給出，其中對搜索方向有一定的限制要求．本章中對Gauss-Newton法應用截斷(truncate)技巧以使搜索方向滿足這些要求，并對截斷技巧作了一些改進．如此，就可以用[4l]中的經典結果來獲得本章算法的收斂性．在本章的最后報告了相關數值試驗結果． 第4章研究的是過濾技術在解非線性方程組問題中的應用，仍然沿用傳統的辦法將非線性方程組問題轉化成一個非線性最小二乘問題，并

4、用GaUSS-Newton法來求解．其中求線搜索方向時，同樣應用了截斷Gauss-Newton法的技巧．另一方面，參照[37]中的方案定義了多維過濾集．在經典文獻[57]中關于線搜索算法的理論結果的基礎上，我們證明了過濾截斷Gauss-Newton法滿足[57]中收斂性定理的條件，從而得到了過濾截斷Gauss-Newton法的整體收斂性． 第5章研究了非單調技術在等式約束優(yōu)化問題中的應用．在此，我們采用經典罰函數算法作為基本算法

5、框架，并將非單調信賴域技術應用到其中的無約束優(yōu)化子問題上．此時出現的信賴域子問題的條件一般是比較差的．我們使用了兩個技術來處理這個困難．其一是預條件技術，并根據問題的特殊性來選擇特定形式的預優(yōu)矩陣；其二是迭代更新技術，從而可以給出比較干脆利落的預優(yōu)算法形式．最后報告了關于非單調信賴域罰函數法的數值試驗結果，表明該章中的算法還是有一定實際價值的． 第6章研究了過濾技術和非單調技術在解一般約束優(yōu)化問題中的應用與結合．由于單純的過濾技

6、術不能完全排除Maratos效應的干擾，故文獻[40]中考慮用非單調過濾技術來判斷試驗點可接受性的算法．我們對其中的算法進行了大規(guī)模的修改和補充，并進一步應用非單調技術來判斷目標函數值的下降性，得到了所謂的完全非單調過濾信賴域方法的一個屬于SQP類的算法框架．在算法的推導過程中，我們研究了約束違反度的幾種不同定義形式，約束違反度和法向步間的相互關系，考慮了處理SQP子問題不相容這一困難的恢復過程，定義了判斷算法收斂效果的一階穩(wěn)定度．最后