3-3+超定線性方程組的最小二乘解

超定線性方程組的最小二乘法主講人：高淑萍西安電子科技大學(xué)超定線性方程組(1)式無(wú)解，即為不存在解的矛盾方程組----超定線性方程組其中(1)實(shí)例美國(guó)地質(zhì)調(diào)查局（NGS）1974年準(zhǔn)備更新北美地質(zhì)資料（NAD），這是一個(gè)包含268000個(gè)節(jié)點(diǎn)（地點(diǎn)）的網(wǎng)絡(luò)，它覆蓋整個(gè)北美大陸，包括巴拿馬地峽、格陵蘭島、夏威夷、波多黎哥等其他加勒比海諸島。地質(zhì)資料中記錄的經(jīng)度和緯度必須經(jīng)精確到幾厘米，其原因是它構(gòu)成了諸如測(cè)量、地圖、法定邊界、國(guó)家和區(qū)域土地使用計(jì)劃，像高速路和公共使用線路等項(xiàng)目設(shè)計(jì)標(biāo)準(zhǔn)。覆蓋長(zhǎng)達(dá)140年的數(shù)據(jù)資料包括180萬(wàn)個(gè)觀測(cè)值，考慮其相對(duì)精度，必須轉(zhuǎn)化為適合計(jì)算機(jī)運(yùn)算的格式，其數(shù)學(xué)模型為包含928735個(gè)方程、928735個(gè)變量的線性方程組，但這個(gè)方程組無(wú)解！無(wú)解的線性方程組也成為不相容的，實(shí)際應(yīng)用中常出現(xiàn)這類不相容問(wèn)題。

即任意都不可能使

等于零。(2)

如果有向量使得達(dá)到最小，稱為超定線性方程組（1）的最小二乘解當(dāng)方程組的解不存在但又需要求解時(shí)，最好的方法就是尋找，使得盡可能的接近高斯（德國(guó)的數(shù)學(xué)家、物理學(xué)家，1777--1855）18、19世紀(jì)之交最偉大的德國(guó)數(shù)學(xué)家，其貢獻(xiàn)遍及純數(shù)學(xué)及應(yīng)用數(shù)學(xué)的各個(gè)領(lǐng)域，成為世界數(shù)學(xué)界的光輝旗幟，其形象成為數(shù)學(xué)告別過(guò)去，走向現(xiàn)代數(shù)學(xué)的象征，后人譽(yù)為“數(shù)學(xué)王子”1809年最小二乘法的方法發(fā)表于他的著作《天體運(yùn)動(dòng)論》,后來(lái)高斯等數(shù)學(xué)家對(duì)最小二乘法進(jìn)行了大量的理論研究和應(yīng)用,在統(tǒng)計(jì)學(xué)中發(fā)揮著重要的作用,是十九世紀(jì)統(tǒng)計(jì)學(xué)的“中心主題”勒讓德（法國(guó)數(shù)學(xué)家，1752--1833）橢圓積分理論奠基人之一、數(shù)論、初等幾何與天體力學(xué)，取得了重要理論成果，如在歐拉提出橢圓積分加法定理后的40年中，他是僅有的在這一領(lǐng)域提供重大新結(jié)果的數(shù)學(xué)家。在天文學(xué)的研究中，勒讓德引進(jìn)了著名的"勒讓德多項(xiàng)式"1805年研究天文學(xué)和測(cè)地學(xué)處理數(shù)據(jù)時(shí)最先發(fā)明最小二乘法,但因不為世人所知而默默無(wú)聞

勒讓德高斯

設(shè)系數(shù)矩陣A

利用距離的概念，（2）式最小就是最小

最小二乘法公式推導(dǎo)---以為常向量的線性方程組（3）這等價(jià)于

（4）

即

設(shè)則必有

找使（2）式最小，等價(jià)于找子空間

中向量到距離最短。x

這樣（4）式等價(jià)于即

稱（5）式為法方程組，其解為超定線性方程組的最小二乘解例

求下列超定線性方程組的最小二乘解

解:超定方程組很難得到一組值使得每一個(gè)方程都成立，現(xiàn)求其最小二乘解。

解法1利用公式直接寫出法方程組寫為

兩邊同乘以系數(shù)矩陣的轉(zhuǎn)置矩陣，就得到所需要的法方程組：計(jì)算結(jié)果如下：得最小二乘解x1=-0.3141x2=0.1333x3=0.0269利用極值原理，所求的最小二乘解應(yīng)滿足解法2采用最小二乘法思想，考慮如下的誤差函數(shù)：誤差函數(shù)同理可得：令偏導(dǎo)數(shù)等于零法方程組為：解此方程組得到最小二乘解：

x1=-0.3141x2=0.1333

x3=0.0269數(shù)據(jù)擬合的最小二乘法經(jīng)常由觀察或測(cè)試可得到一組離散數(shù)據(jù)，給出擬合曲線y=f(x)這種度量標(biāo)準(zhǔn)求得擬合曲線y=f(x)的方法-----數(shù)據(jù)擬合的最小二乘法，轉(zhuǎn)化為線性方程組的求解問(wèn)題使得f(x)在每一個(gè)處所產(chǎn)生的誤差δi

絕對(duì)值|δi|達(dá)最小。但這樣分別考慮太困難，所以考慮整體誤差達(dá)到最小已知離散數(shù)據(jù)：(

,

),=0,1,2,…,m,假設(shè)擬合函數(shù)為f(x)