給新老師第三天l bfgs_第1頁
給新老師第三天l bfgs_第2頁
給新老師第三天l bfgs_第3頁
給新老師第三天l bfgs_第4頁
給新老師第三天l bfgs_第5頁
免費(fèi)預(yù)覽已結(jié)束，剩余9頁可下載查看

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

1、LBFGS算法講解RanskiLBGSL limited memoryBFGS > 一種擬算法optimization algorithms法解決函數(shù)求根問題根問題的迭代公式 f(x)函數(shù)在x1 點(diǎn)的導(dǎo)數(shù): 是該函數(shù)在x1點(diǎn)切線的斜率y/xf(x1) = f(x1)/(x1x2)= f(x1)/f(x1)x1x2得出x2 = x1 f(x1)/f(x1)當(dāng)?shù)趉 次迭代時(shí):xk = xk1 f(xk1)/f(xk1)求根的流程1. 已知函數(shù)f(x) 的情況下隨機(jī)產(chǎn)生x02. 由已知的x0 按照xk = xk1 f(xk1)/f(xk1) 公式進(jìn)行k次迭代3. 當(dāng)?shù)Y(jié)果xk 與上一次迭代結(jié)

2、果xk1 相同或小于一定閾值時(shí)本次的結(jié)果即為函數(shù)f(x)的根利用函數(shù)的駐點(diǎn)當(dāng)函數(shù)f(x) 的一階導(dǎo)數(shù)f(x) = 0 時(shí)點(diǎn)(x,f(x)為函數(shù)f(x)的駐點(diǎn)求某函數(shù)的駐點(diǎn)即為求該函進(jìn)行求解對(duì)于f(x) 函數(shù)來說迭代公式的導(dǎo)函數(shù)的根,同樣可以利用xk = xk1 f(xk1)/f(xk1)求點(diǎn)的本質(zhì)任意函數(shù)在xk點(diǎn)附近的展開公式為:該公式表達(dá)的函數(shù)于原函數(shù)的最的幾何意義為: 通過2次函數(shù)對(duì)當(dāng)時(shí),結(jié)果依然是xk = xk1 f(xk1)/f(xk1)對(duì)于多元函數(shù)一階導(dǎo)數(shù)f(x) à 梯度導(dǎo)數(shù)f(x) à Hessian多元函數(shù)下的牛頓法求極值迭代問題: H矩陣維度超大求逆矩陣非常怎么辦?怎么辦!BFGS 算法一種通過迭代逼近的擬算法逼近方法:其中:回到迭代公式:BFGS 指的是在迭代過程中,使用DK 矩陣代替Hk矩陣的逆矩陣進(jìn)迭代,一D矩陣D0 為矩陣,隨著迭代次數(shù)增多, 公式中的Dk矩陣矩陣越來越趨近于真正的H塊矩陣初次迭代時(shí)由于使用矩陣替代矩陣, 等價(jià)于梯度下降算法, 所以BFGS算法是一種隨著迭代由梯 下降法逐步過渡到的算法LBFGS算法對(duì)于傳統(tǒng)的BFGS算法, 每次運(yùn)都需要Dk矩陣LBFGS算法: 對(duì)于BFGS算法的近似回到D0 已知, 只需要知道S0 SK Y0 YK 就可以一步步算出dk+1只保留最后M組向量, 只

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽，若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間，僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理，對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容，請(qǐng)與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論