最優(yōu)化運(yùn)用心得范文.doc

最優(yōu)化運(yùn)用心得范文 最優(yōu)化問(wèn)題的普遍性、實(shí)用性和趣味性，最優(yōu)化問(wèn)題的困難，數(shù)學(xué)的簡(jiǎn)單與復(fù)雜的辯證關(guān)系及其引發(fā)的對(duì)生活態(tài)度的思考，理論問(wèn)題與數(shù)值問(wèn)題的差異，最優(yōu)化問(wèn)題的信息論視角，最優(yōu)化問(wèn)題和解方程問(wèn)題的關(guān)系。 最優(yōu)化問(wèn)題無(wú)處不在。 只要存在選擇，并涉及稀缺資源，就一定存在優(yōu)化問(wèn)題。 可以很“高深”，比如前面提到的電力系統(tǒng)無(wú)功優(yōu)化問(wèn)題，比如導(dǎo)彈的軌跡優(yōu)化問(wèn)題；也可以很“生活”，比如有同學(xué)研究了在海師大教室、圖書館、實(shí)驗(yàn)室和幾個(gè)食堂之間的最優(yōu)路徑問(wèn)題，它們有著共同的特點(diǎn)，就是很實(shí)際，并且很有趣。 可以說(shuō)，作為一個(gè)普通的理學(xué)本科生，以往從沒(méi)有接觸過(guò)一門數(shù)學(xué)課程如此地貼近現(xiàn)實(shí)問(wèn)題，立足現(xiàn)實(shí)問(wèn)題，而最終亦指向現(xiàn)實(shí)問(wèn)題。 在最優(yōu)化理論系統(tǒng)中，除了可以感受到一般數(shù)學(xué)理論的那種純粹、抽象、透徹、簡(jiǎn)潔，也能感受一種無(wú)處不在的實(shí)用主義價(jià)值觀，“實(shí)用”、“好用”、“湊效”這些看起來(lái)不那么“數(shù)學(xué)”的評(píng)價(jià)標(biāo)準(zhǔn)在這個(gè)領(lǐng)域中也有著相當(dāng)?shù)牡匚弧?而在各種“數(shù)學(xué)”、“非數(shù)學(xué)”的標(biāo)準(zhǔn)之間的權(quán)衡取舍，本身就是一個(gè)多目標(biāo)優(yōu)化問(wèn)題而體現(xiàn)出某種對(duì)系統(tǒng)性思維的訴求。 思考、研究這樣的問(wèn)題，即有用，又有趣，令人快樂(lè)無(wú)窮。 這些可能與生活瑣事緊緊相連的問(wèn)題可能引發(fā)數(shù)學(xué)上極大的麻煩。 比如對(duì)于“皮球下山法”的局部收斂問(wèn)題。 將一個(gè)皮球擲向一個(gè)可微的谷域曲面，最終能停止到極小值點(diǎn)周圍，這是直覺必然，也是物理事實(shí)。 為了讓它能在理論上最終精確停在極小值點(diǎn)，需要取消摩擦力作用；為了讓球的能量最終全部耗散，同時(shí)為了讓連續(xù)運(yùn)動(dòng)問(wèn)題變?yōu)殡x散的跳躍問(wèn)題，必須讓球在任何情況下都保持跳躍而不能滾動(dòng)，且每次跳躍按一定規(guī)則衰減動(dòng)能。 然而，就是這一點(diǎn)點(diǎn)和實(shí)際物理過(guò)程的看起來(lái)不影響結(jié)果的改動(dòng)，放到數(shù)學(xué)領(lǐng)域嚴(yán)格考察，就會(huì)發(fā)現(xiàn)收斂性恐怕是有條件的，因?yàn)樗俣鹊乃p太快，在某種具體的目標(biāo)函數(shù)形態(tài)下，完全有可能使算法收斂到不是極小值點(diǎn)的地方。 進(jìn)而，要證明或給出收斂條件，就是很困難的工作了。 由于最優(yōu)化問(wèn)題本身的多樣性與復(fù)雜性，雖然在最優(yōu)化理論課程上，我們學(xué)習(xí)了眾多的算法，可是放到現(xiàn)實(shí)科學(xué)工程領(lǐng)域，真正全面有效的算法其實(shí)卻不多，甚至限于我的認(rèn)識(shí)，還沒(méi)有任何一種對(duì)于高維的、有復(fù)雜約束的全局優(yōu)化問(wèn)題湊效的算法，而現(xiàn)實(shí)科學(xué)工程領(lǐng)域中，這個(gè)領(lǐng)域也才擁有無(wú)限的發(fā)展空間和蓬勃生機(jī)，從而散發(fā)出醉人的魅力。 理論問(wèn)題和數(shù)值問(wèn)題的差異是在本學(xué)期兩門相關(guān)數(shù)學(xué)課上才被真正當(dāng)作一個(gè)問(wèn)題擺在我們面前的。 我想這本身就是我國(guó)數(shù)學(xué)基礎(chǔ)教育的一個(gè)弊病由于在研究生教育以前，很少接觸數(shù)值計(jì)算及相關(guān)問(wèn)題，學(xué)生無(wú)法對(duì)這個(gè)問(wèn)題有充足的感知和眼界，而現(xiàn)實(shí)當(dāng)中需要數(shù)學(xué)的時(shí)候，恰恰又都無(wú)法避免數(shù)值計(jì)算問(wèn)題，于是，所學(xué)和所用之間多了一條裂痕。 這是應(yīng)當(dāng)引起思考和重視的。 在最優(yōu)化理論課程的三次數(shù)值實(shí)驗(yàn)中，無(wú)處不是數(shù)值計(jì)算相對(duì)理論計(jì)算的差異。 最典型的問(wèn)題是局部?jī)?yōu)化算法的可靠性。 對(duì)于一切基于一維搜索的方法，當(dāng)一維搜索在理論上絕對(duì)可行的時(shí)候，在現(xiàn)實(shí)計(jì)算中出現(xiàn)理論外結(jié)果的情況幾乎可說(shuō)是大量存在的，特別對(duì)于某些專門的測(cè)試函數(shù)。 目標(biāo)函數(shù)的數(shù)量級(jí)太大，梯度函數(shù)的數(shù)量級(jí)太小，舍入誤差等等，都可能使一維搜索失敗、結(jié)果不可靠甚至異常退出，為防止這些不符合理論要求的情況出現(xiàn)，又需增加運(yùn)算負(fù)責(zé)檢查矯正，最終也很難完全避免。 信賴域的方法同樣存在著數(shù)值計(jì)算中的不可靠，甚至在小尺度時(shí)，實(shí)驗(yàn)中比基于一維搜索的方法有時(shí)更加不可靠。 又比如特征值計(jì)算問(wèn)題，當(dāng)使用eigs函數(shù)而Hessian陣數(shù)值的數(shù)量級(jí)太大時(shí)，就會(huì)發(fā)生異常返回。 再比如，在各種出現(xiàn)數(shù)值大小比較的地方，都存在著數(shù)值計(jì)算帶來(lái)的問(wèn)題和隱患，比如判定Hessian陣正定，理論上只需最小特征值大于0，可是，萬(wàn)一由于數(shù)值的原因這個(gè)最小特征值在計(jì)算機(jī)中是負(fù)的，就會(huì)得出錯(cuò)誤的結(jié)果。 相等判斷更是如此，一切“x=A”對(duì)double變量都因舍入誤差的存在是不可靠的，只能是|x-A| 最后，像最速下降法這樣理論上對(duì)正定二次函數(shù)一定收斂的算法，當(dāng)特征值分布分散，問(wèn)題維數(shù)很高的時(shí)候，實(shí)際是不可行的，根本達(dá)不到現(xiàn)實(shí)中的精度要求。 總之，計(jì)算機(jī)在大力推動(dòng)數(shù)學(xué)的發(fā)展和應(yīng)用的同時(shí)，也引出了許許多多新的問(wèn)題，理論和工具的結(jié)合，本身產(chǎn)生了大量理論問(wèn)題，這是任何一個(gè)從事科學(xué)工程領(lǐng)域工作的人都必須有所認(rèn)識(shí)的。 我認(rèn)為，抽象地講，解最優(yōu)化問(wèn)題的過(guò)程，就是獲取目標(biāo)函數(shù)一條全局信息的過(guò)程，這個(gè)需要獲取的全局信息，就是某點(diǎn)的函數(shù)值最小。 因?yàn)檎f(shuō)某點(diǎn)函數(shù)值“最小”，其實(shí)是說(shuō)某點(diǎn)函數(shù)值“比其它所有點(diǎn)的函數(shù)值都小”，包含了該點(diǎn)函數(shù)值對(duì)所有點(diǎn)函數(shù)值的大小比較關(guān)系，這當(dāng)然是全局性的。 而最優(yōu)化問(wèn)題的主要矛盾就是，問(wèn)題的解所包含的信息是全局性的，但為求取這個(gè)解所能采集到的可利用信息是局部的甚至單點(diǎn)的，且采集次數(shù)是有限的。 比如求一點(diǎn)函數(shù)值，只能得單點(diǎn)信息。 又比如水平集方法之所以不好用，就是因?yàn)樗恳徊蕉家笏惴ǐ@得水平集測(cè)度這種全局信息。 正是這個(gè)根本矛盾，導(dǎo)致了最優(yōu)點(diǎn)搜索、確認(rèn)上的困難。 因?yàn)閷?duì)于可微函數(shù)，從解析式中的有限次信息采集如求單點(diǎn)梯度就可獲得一個(gè)有限領(lǐng)域內(nèi)可利用的局部信息。 對(duì)于全局優(yōu)化問(wèn)題，我們卻沒(méi)有這樣的手段。 也就是說(shuō)，通過(guò)局部信息的有限次累計(jì)，得到全局信息。 其實(shí)比較各種局部?jī)?yōu)化算法就可有這樣的體會(huì)，理論上好的算法，往往就是能在各次獲取單點(diǎn)信息的過(guò)程中實(shí)現(xiàn)一種信息累積使得算法掌握的信息越來(lái)越能鉤織出局部信息。 出于這樣的認(rèn)識(shí)，我認(rèn)為，要發(fā)明一種好的全局優(yōu)化算法，可以在兩個(gè)地方下功夫一是如何從解析式與約束中通過(guò)少的信息采樣挖掘出更大范圍、更大信息量的信息；二是，如何逐步有效累積信息把前面挖掘的信息匯成全局信息。 另外是否可以把信息、通信領(lǐng)域的理論方法結(jié)合到最優(yōu)化理論中，也是值得思考的問(wèn)題。 最優(yōu)化問(wèn)題和解方程問(wèn)題在很多時(shí)候是等效的。 比如一階最性條件就是個(gè)方程，而一些解方程的方法，就是將方程反