奇異值 奇異值矩陣 奇異值矩陣分解

奇異值分解是線性代數(shù)中一種重要的矩陣分解,在信號處理、統(tǒng)計(jì)學(xué)等領(lǐng)域有重要應(yīng)用.
定義：設(shè)A為m*n階矩陣,的n個特征值的非負(fù)平方根叫作A的奇異值.記為.
(A),則HA)^(1/2).
定理:（奇異值分解）設(shè)A為m*n階復(fù)矩陣,則存在m階酉陣U和n階酉陣V,使得:
A = U*S*V’
其中S=diag(σi,σ2,……,σr),σi>0 (i=1,…,r),r=rank(A).
推論：設(shè)A為m*n階實(shí)矩陣,則存在m階正交陣U和n階正交陣V,使得
A = U*S*V’
其中S=diag(σi,σ2,……,σr),σi>0 (i=1,…,r),r=rank(A).
說明：
1、奇異值分解非常有用,對于矩陣A(m*n),存在U(m*m),V(n*n),S(m*n),滿足A = U*S*V’.U和V中分別是A的奇異向量,而S是A的奇異值.AA'的正交單位特征向量組成U,特征值組成S'S,A'A的正交單位特征向量組成V,特征值（與AA'相同）組成SS'.因此,奇異值分解和特征值問題緊密聯(lián)系.
2、奇異值分解提供了一些關(guān)于A的信息,例如非零奇異值的數(shù)目（S的階數(shù)）和A的秩相同,一旦秩r確定,那么U的前r列構(gòu)成了A的列向量空間的正交基.
關(guān)于奇異值分解中當(dāng)考慮的對象是實(shí)矩陣時: S對角元的平方恰為A'A特征值的說明. (對復(fù)矩陣類似可得)
從上面我們知道矩陣的奇異值分解為: A=USV, 其中U,V是正交陣(所謂B為正交陣是指B'=B-1, 即B'B=I), S為對角陣.
A'A=V'S'U'USV=V'S'SV=V-1S2V
上式中, 一方面因?yàn)镾是對角陣, S'S=S2, 且S2對角元就是S的對角元的平方. 另一方面注意到A'A是相似與S2的, 因此與S2有相同特征值.
注：下面的符號和上面的有差異,注意區(qū)分
SVD步驟：
1、求AHA或AAH
2、求AHA或AAH的特征值及特征向量x1,x2,...xr, r個特征值組成
3、 U=(x1,x2,...xr)地
4、V1=AU1Δr-1,取V2與其正交,則V=(V1,V2)
則n階復(fù)方陣U的n個列向量是U空間的一個標(biāo)準(zhǔn)正交基,則U是U距陣.
一個簡單的充分必要判別準(zhǔn)則是 方陣U的轉(zhuǎn)置共扼距陣乘以U 等于單位陣,則U是U距陣
正交向量組的性質(zhì)
定義1 Euclid空間V的一組兩兩正交的非零向量叫做V的一個正交向量組．
若正交向量組的每一個向量都是單位向量,這個正交組就叫做一個標(biāo)準(zhǔn)正交向量組．
設(shè)V是一個n維Euclid空間．若V中n個向量α1,α2,…,αn構(gòu)成一個正交組,則由定理9.2.1知道這n個向量構(gòu)成V的一個基．這樣的一個基叫做V的一個正交基．若V的一個正交基還是一個標(biāo)準(zhǔn)正交向量組,則稱這個基是V的一個標(biāo)準(zhǔn)正交基．