小二乘大約是1795年高斯在他那星體運(yùn)動(dòng)軌道預(yù)報(bào)工作中提出的[1].后來,最小二乘法就成了估計(jì)理論的奠基石.由于最小二乘法結(jié)構(gòu)簡單,編制程序也不困難,所以它頗受人們重視,應(yīng)用相當(dāng)廣泛.
如用標(biāo)準(zhǔn)符號(hào),最小二乘估計(jì)可被表示為：
AX=B (2-43)
上式中的解是最小化 ,通過下式中的偽逆可求得：
A'AX=A'B (2-44)
(A'A)^(-1)A'AX=(A'A)^(-1)A'B (2-45)
由于
(A'A)^-1A'A=I (2-46)
所以有
X=(A'A)^(-1)A'B (2-47)
此即最小二乘的一次完成算法,現(xiàn)代的遞推算法,更適用于計(jì)算機(jī)的在線辨識(shí).
最小二乘是一種最基本的辨識(shí)方法,但它具有兩方面的缺陷[1]：一是當(dāng)模型噪聲是有色噪聲時(shí),最小二乘估計(jì)不是無偏、一致估計(jì)；二是隨著數(shù)據(jù)的增長,將出現(xiàn)所謂的“數(shù)據(jù)飽和”現(xiàn)象.針對(duì)這兩個(gè)問題,出現(xiàn)了相應(yīng)的辨識(shí)算法,如遺忘因子法、限定記憶法、偏差補(bǔ)償法、增廣最小二乘、廣義最小二乘、輔助變量法、二步法及多級(jí)最小二乘法等.