第6章 無約束問題的優(yōu)化方法

1、72第6章無約束問題的優(yōu)化方法無約束問題的優(yōu)化方法6.1最速下降法和牛頓法最速下降法和牛頓法6.1.1最速下降法的基本原理、計算步驟和特點最速下降法的基本原理、計算步驟和特點基本原理：考慮無約束問題nRxxf?)(min從某一點出發(fā)，選擇一個目標函數值下降最快的方向，可以盡快達到極小點1847年法國數學家Cauchy提出了最速下降法后來，Curry等人作了進一步研究最速下降方向是目標函數的負梯度方向：)(xfd???最速下降法的迭代公式

2、：)()()1(kkkkdxx????取為在點處的最速下降方向：)(kd)(kx)()()(kkxfd???為進行一維搜索的步長，滿足：k?)(min)()()(0)()(kkkkkdxfdxf???????計算步驟：(l)給定初點，允許誤差，置.nRx?)1(0??1?k(2)計算搜索方向.)()()(kkxfd???(3)若，則停止計算；否則，從出發(fā)，沿進行一維搜索，求，使??)(kd)(kx)(kdk?)(min)()()(0)(

3、)(kkkkkdxfdxf???????(4)令置，轉步驟（2）.)()()1(kkkkdxx????1:??kk例1解問題22212)(minxxxf??初點，.（最優(yōu)解）Tx)11()1(?101??Tx)00(?第1次迭代：目標函數在點處的梯度x????????2124)(xxxf令搜索方向????????????24)()1()1(xfd74定理1:設存在連續(xù)二階偏導數，是局部極小點，Hesse矩陣的最小)(xfx)(2xf?特

4、征值，最大特征值為，算法產生的序列收斂于點，則目標函數值的序列0?aA)(kxx以不大于的收斂比線性地收斂于.)()(kxf2????????aAaA)(xf最速下降法存在鋸齒現象：從局部看，最速下降方向確是函數值下降最快的方向從全局看，由于鋸齒現象的影響，即使向著極小點移近不太大的距離，也要經歷不小的彎路，使收斂速率大為減慢注1：最速下降法并不是收斂最快的方法，從全局看，它的收斂是比較慢的注2：最速下降法一般適用于計算過程的前期迭代或

5、作為間插步驟當接近極小點時，使用最速下降法達到迭代終止，這樣做并不有利6.1.2牛頓法的基本原理、計算步驟和特點牛頓法的基本原理、計算步驟和特點1.牛頓法在點的二階Tayl展開為)(xf)(kx))(()(21)()()()()()()(2)()()()(kkTkkTkkxxxfxxxxxfxfxxf??????????求的平穩(wěn)點，令即)(x?0)(?x?(1)0))(()()()(2)(?????kkkxxxfxf設可逆，得到牛頓法的