动机:谱定理之外
第 7.B 节的谱定理是内积空间理论的顶点:复空间上的正规算子、实空间上的自伴算子,都可以找到一组标准正交基,使其矩阵成为对角矩阵;用矩阵语言说,这类方阵 \(A\) 可以写成 \(A=Q\Lambda Q^{*}\),其中 \(Q\) 酉、\(\Lambda\) 对角。然而这条定理有两道门槛。其一,它只对算子(即 \(V\to V\) 的映射,方阵)才有意义;一个 \(M\times n\) 的长方形矩阵 \(A\) 连特征值都谈不上。其二,即使是方阵,只要它不正规——例如剪切矩阵 \(\begin{pmatrix}1&1\\0&1\end{pmatrix}\)——就不存在把它对角化的标准正交基。
于是自然要问一个更大胆的问题:设 \(T\in\mathcal{L}(V,W)\) 是任意线性映射,定义域与值域甚至是两个不同的内积空间。能否分别为 \(V\)、\(W\) 各挑一组标准正交基,使 \(T\) 的矩阵尽可能简单?答案出人意料地完美:总可以挑到让矩阵呈(矩形)对角矩阵的地步。这就是本节的奇异值分解 (singular value decomposition,简称 SVD)。它在数值计算中的地位甚至超过了特征分解:数值库中的 svd 例程、主成分分析、图像压缩、最小二乘、推荐系统,底层都是它。
攻克一般性的诀窍在于:虽然 \(T\) 本身未必正规、甚至不是方阵,\(T^{*}T\) 却永远是 \(V\) 上的正算子(下面 7.64),而谱定理恰恰适用于正算子。于是我们把谱定理「借用」到 \(T^{*}T\) 上,其特征值的非负平方根就给出了 \(T\) 的「广义特征值」——奇异值。
奇异值的定义与基本性质
先整理 \(T^{*}T\) 的四条性质,它们贯穿本节与下一节。
定理 7.64(\(T^{*}T\) 的性质)。设 \(T\in\mathcal{L}(V,W)\)。则
(a) \(T^{*}T\) 是 \(V\) 上的正算子;
(b) \(\operatorname{null}T^{*}T=\operatorname{null}T\);
(c) \(\operatorname{range}T^{*}T=\operatorname{range}T^{*}\);
(d) \(\dim\operatorname{range}T=\dim\operatorname{range}T^{*}=\dim\operatorname{range}T^{*}T\)。
证明。(a) \((T^{*}T)^{*}=T^{*}(T^{*})^{*}=T^{*}T\),故 \(T^{*}T\) 自伴;又对 \(v\in V\),
\[ \langle T^{*}Tv,v\rangle=\langle Tv,(T^{*})^{*}v\rangle=\langle Tv,Tv\rangle=\|Tv\|^{2}\ge 0, \]故它是正算子。
(b) 若 \(T^{*}Tv=0\),则由上式 \(\|Tv\|^{2}=\langle T^{*}Tv,v\rangle=0\),故 \(Tv=0\);反之 \(Tv=0\) 显然给出 \(T^{*}Tv=0\)。两个零空间相等。
(c) \(T^{*}T\) 自伴,故由 7.6,\(\operatorname{range}T^{*}T=(\operatorname{null}T^{*}T)^{\bot}=(\operatorname{null}T)^{\bot}=\operatorname{range}T^{*}\)(首末两个等号用 7.6,中间用 (b))。
(d) 由 7.6(d) 与维数公式(3.21),\(\dim\operatorname{range}T=\dim W-\dim\operatorname{null}T^{*}=\dim\operatorname{range}T^{*}\);再由 (c) 即得三者相等。证毕。
特征值描述了算子的部分行为;另一组数——奇异值——则适用于任意线性映射,而且总是良态的。
定义 7.65(奇异值,singular values)。设 \(T\in\mathcal{L}(V,W)\),记 \(n=\dim V\)。由 7.64(a),\(T^{*}T\) 是正算子,其特征值全为非负实数。把它们按递减顺序、按相应特征空间的维数计重数,记作 \(\lambda_1\ge\lambda_2\ge\cdots\ge\lambda_n\ge 0\)。称
\[ s_k(T)=\sqrt{\lambda_k},\qquad k=1,\dots,n, \]为 \(T\) 的奇异值。换言之,奇异值就是 \(T^{*}T\) 的特征值的非负平方根,并约定按从大到小排列。
注(定义的三个要点)。其一,奇异值恰有 \(n=\dim V\) 个:谱定理保证正算子 \(T^{*}T\in\mathcal{L}(V)\) 的特征值(计重数)共有 \(\dim V\) 个。其二,奇异值全为非负实数且自动排序,这与特征值形成鲜明对照——特征值可以是负数或复数,而且(当 \(\mathbf{F}=\mathbf{C}\) 时)没有自然的全序。其三,历史地看,奇异值概念由 Erhard Schmidt 于 1907 年引入(原书 7.E 练习 2 的边注;该练习给出 Schmidt 对「正奇异值」的刻画)。
例 1(奇异值与特征值的对照)。设 \(T\in\mathcal{L}(\mathbf{F}^{3})\),\(T(z_1,z_2,z_3)=(2z_1,-5z_2,0)\)。\(T\) 的特征值是 \(2,-5,0\),其中 \(-5\) 为负数。直接计算得 \(T^{*}T(z_1,z_2,z_3)=(4z_1,25z_2,0)\),故 \(T^{*}T\) 的特征值为 \(25,4,0\),从而 \(T\) 的奇异值为
\[ s_1=5,\qquad s_2=2,\qquad s_3=0. \]请留意三件事:奇异值非负、按递减排列;个数 \(3\) 恰等于 \(\dim\mathbf{F}^{3}\),而实空间上一个算子可能没有任何特征值(见练习 1 的「旋转–伸缩」映射);正奇异值的个数 \(2\) 恰等于 \(\dim\operatorname{range}T\),且 \(0\) 出现当且仅当 \(T\) 不单射——这正是下面的定理。
注(原书的例子)。原书 7.66 考察 \(\mathbf{F}^{4}\) 上的算子 \(T(z_1,z_2,z_3,z_4)=(0,3z_1,2z_2,-3z_4)\),算得 \(T^{*}T(z_1,z_2,z_3,z_4)=(9z_1,4z_2,0,9z_4)\),奇异值为 \(3,3,2,0\)。有意思的是,\(T\) 的特征值只有 \(-3\) 与 \(0\):数字 \(2\) 在特征值清单里「失踪」了,却被奇异值完整记录。原书 7.67 则对 \(\mathbf{F}^{4}\to\mathbf{F}^{3}\) 的一个长方形矩阵算出奇异值 \(5,\sqrt2,0,0\),说明定义对非方阵照样运转。
定理 7.68(正奇异值的角色)。设 \(T\in\mathcal{L}(V,W)\)。则
(a) \(T\) 单射 \(\Longleftrightarrow\) \(0\) 不是 \(T\) 的奇异值;
(b) \(T\) 的正奇异值个数 \(=\dim\operatorname{range}T\);
(c) \(T\) 满射 \(\Longleftrightarrow\) 正奇异值个数 \(=\dim W\)。
证明。(a) 逐步等价:\(T\) 单射 \(\Longleftrightarrow\operatorname{null}T=\{0\}\)\(\Longleftrightarrow\operatorname{null}T^{*}T=\{0\}\)(7.64(b))\(\Longleftrightarrow\) \(0\) 不是 \(T^{*}T\) 的特征值 \(\Longleftrightarrow\) \(0\) 不是 \(T\) 的奇异值。
(b) 对正算子 \(T^{*}T\) 用谱定理:\(\operatorname{range}T^{*}T\) 由属于正特征值的特征向量张成,故 \(\dim\operatorname{range}T^{*}T\) 等于 \(T^{*}T\) 的正特征值个数(计重数),也就是 \(T\) 的正奇异值个数;再由 7.64(d) 即得。
(c) 由 (b),正奇异值个数 \(=\dim\operatorname{range}T\),而 \(\dim\operatorname{range}T=\dim W\) 当且仅当 \(T\) 满射。证毕。
把特征值与奇异值逐项对照,能帮助记住这套新语言:
| 特征值 | 奇异值 | |
|---|---|---|
| 适用对象 | 仅限自映射 \(T\in\mathcal{L}(V)\) | 任意 \(T\in\mathcal{L}(V,W)\),\(V\)、\(W\) 可以不同 |
| 取值范围 | \(\mathbf{F}=\mathbf{R}\) 时为任意实数,\(\mathbf{F}=\mathbf{C}\) 时为任意复数 | 恒为非负实数 |
| 排列顺序 | 无标准顺序(尤其当 \(\mathbf{F}=\mathbf{C}\)) | 总按递减顺序列出 |
| 个数 | 可以少于 \(\dim V\);\(\mathbf{F}=\mathbf{R}\) 时甚至可以是空表 | 恰为 \(\dim V\) 个(计重数) |
| 含 0 的含义 | \(\Longleftrightarrow\) 算子不可逆 | \(\Longleftrightarrow\) 线性映射不单射 |
奇异值还干净利落地刻画了等距算子。
定理 7.69(所有奇异值都是 1 刻画等距算子)。设 \(S\in\mathcal{L}(V,W)\)。则
\[ S\ \text{是等距算子}\ \Longleftrightarrow\ S\ \text{的所有奇异值都等于}\ 1. \]证明。逐步等价:\(S\) 是等距算子 \(\Longleftrightarrow S^{*}S=I\)(7.49)\(\Longleftrightarrow\) 自伴算子 \(S^{*}S\) 的特征值全为 \(1\)(「\(\Longleftarrow\)」方向用谱定理:在由特征向量组成的标准正交基下,\(S^{*}S\) 的矩阵是 \(I\),故 \(S^{*}S=I\))\(\Longleftrightarrow\) \(S\) 的所有奇异值都是 \(1\)。证毕。
推论(倍数等距算子)。设 \(c\ge 0\),\(T\in\mathcal{L}(V,W)\)。则 \(T\) 的所有奇异值都等于 \(c\) \(\Longleftrightarrow\) \(T\) 是某个等距算子的 \(c\) 倍(\(c=0\) 时即 \(T=0\))。
证明。所有奇异值等于 \(c\) \(\Longleftrightarrow T^{*}T\) 的特征值全为 \(c^{2}\)(再用谱定理)\(\Longleftrightarrow T^{*}T=c^{2}I\)。若 \(c\gt0\),令 \(S=T/c\),则 \(S^{*}S=I\),由 7.49 知 \(S\) 是等距算子;若 \(c=0\),则对一切 \(v\) 有 \(\|Tv\|^{2}=\langle T^{*}Tv,v\rangle=0\),故 \(T=0\)。反向:当 \(T=cS\)、\(S\) 等距时,\((cS)^{*}(cS)=c^{2}I\)(\(c\ge0\) 保证 \(cS\) 的伴随里 \(c\) 不带共轭问题),奇异值恰为 \(c,\dots,c\)。证毕。
注(最大奇异值的变分刻画)。当 \(V\ne\{0\}\) 时,\(s_1=\max\{\|Tv\|:\|v\|=1\}\),\(s_n=\min\{\|Tv\|:\|v\|=1\}\);更强的结论见原书 7.E 练习 4(即本节练习 4):单位球面被 \(T\) 作用的范数集合恰是闭区间 \([s_n,s_1]\)。下一节的 7.82 将由 SVD 直接读出范数上界 \(\|Tv\|\le s_1\|v\|\)。直观地说:奇异值就是单位球面被拉伸后各方向的「半径谱」。另外,原书 7.D 练习 2 证明「\(T\) 保持正交性 \(\Longleftrightarrow\) \(T\) 是等距算子的倍数」;由上述推论,这等价于说「保持正交性 \(\Longleftrightarrow\) 奇异值全部相等」,见练习 3 的附注。
奇异值分解定理:算子版与矩阵版
现在是本节的主定理:任何线性映射都允许一个用奇异值写出的、极其干净的展开式。
定理 7.70(奇异值分解,singular value decomposition)。设 \(T\in\mathcal{L}(V,W)\),其正奇异值为 \(s_1\ge s_2\ge\cdots\ge s_m\gt0\)。则存在 \(V\) 中的标准正交列 \(e_1,\dots,e_m\) 与 \(W\) 中的标准正交列 \(f_1,\dots,f_m\),使得
\[ Tv=s_1\langle v,e_1\rangle f_1+s_2\langle v,e_2\rangle f_2+\cdots+s_m\langle v,e_m\rangle f_m\qquad\text{对一切 }v\in V. \]证明。记 \(n=\dim V\),把 \(T\) 的全部奇异值(含零)按递减排列为 \(s_1\ge s_2\ge\cdots\ge s_n\ge0\),则其中正的恰是前 \(m\) 个。
第一步(对 \(T^{*}T\) 用谱定理)。由 7.64(a),\(T^{*}T\) 是正算子。由谱定理(实情形 7.29,复情形 7.31),存在 \(V\) 的标准正交基 \(e_1,\dots,e_n\),使
\[ T^{*}Te_k=s_k^{2}\,e_k,\qquad k=1,\dots,n. \]第二步(构造 \(W\) 中的候选向量)。对 \(k=1,\dots,m\),定义
\[ f_k=\frac{Te_k}{s_k}\in W. \]第三步(\(f_1,\dots,f_m\) 标准正交)。对 \(j,k\in\{1,\dots,m\}\),利用伴随的定义把 \(T\) 从内积的第一个变量中抽出来:
\[ \langle f_j,f_k\rangle=\frac{1}{s_js_k}\langle Te_j,Te_k\rangle=\frac{1}{s_js_k}\langle e_j,T^{*}Te_k\rangle=\frac{s_k}{s_j}\langle e_j,e_k\rangle=\begin{cases}0,&j\ne k,\\[2pt]1,&j=k.\end{cases} \]故 \(f_1,\dots,f_m\) 是 \(W\) 中的标准正交列。
第四步(排在后面的基向量被映为 0)。若 \(m\lt k\le n\),则 \(s_k=0\),于是 \(T^{*}Te_k=0\);由 7.64(b) 得 \(Te_k=0\)。
第五步(展开验证)。设 \(v\in V\)。在标准正交基 \(e_1,\dots,e_n\) 下展开 \(v=\sum_{k=1}^{n}\langle v,e_k\rangle e_k\),用 \(T\) 作用。由第四步,下标 \(k\gt m\) 的项消失;由 \(Te_k=s_kf_k\)(即第二步的定义),其余各项为
\[ Tv=\sum_{k=1}^{m}\langle v,e_k\rangle\,Te_k=\sum_{k=1}^{m}s_k\langle v,e_k\rangle f_k. \]这正是所要的展开式。证毕。
注(右奇异向量与左奇异向量)。展开式特别给出 \(Te_k=s_kf_k\)(\(k\le m\)),而对满足 \(m\lt k\le\dim V\) 的基向量有 \(Te_k=0\)。习惯上把诸 \(e_k\) 称为右奇异向量 (right singular vectors),诸 \(f_k\) 称为左奇异向量 (left singular vectors)。另外,从展开式读出两点(原书 7.E 练习 8 要求读者补全证明):\(f_1,\dots,f_m\) 自动构成 \(\operatorname{range}T\) 的标准正交基;\(\operatorname{span}(e_1,\dots,e_m)=(\operatorname{null}T)^{\bot}\)。后者可见:若 \(v=\sum_k a_ke_k\) 且 \(Tv=0\),则 \(\sum_{k\le m}s_ka_kf_k=0\),由 \(f_k\) 的标准正交性得 \(a_1=\cdots=a_m=0\)。
把两组标准正交列分别扩充成 \(V\) 与 \(W\) 的标准正交基:\(e_1,\dots,e_{\dim V}\) 与 \(f_1,\dots,f_{\dim W}\)。关于这两组基,\(T\) 的矩阵的 \((j,k)\) 元是
\[ \mathcal{M}(T)_{j,k}=\begin{cases}s_k,&1\le j=k\le m,\\0,&\text{其余},\end{cases} \]即除了「主对角线」上的 \(s_1,\dots,s_m\) 外全是 \(0\)。为了让这句话对长方形矩阵也名正言顺,先推广「对角矩阵」一词。
定义 7.74(对角矩阵,矩形版)。\(M\times n\) 矩阵 \(A\) 称为对角矩阵,如果除可能的 \(A_{k,k}\)(\(k=1,\dots,\min\{M,n\}\))外,其余元素全为 \(0\)。
于是我们得到了一个值得驻足片刻的结论:每个线性映射 \(T\in\mathcal{L}(V,W)\) 都存在两组标准正交基,使 \(T\) 的矩阵是(矩形)对角矩阵。当 \(\dim V=\dim W\) 时它就是通常的对角矩阵。与谱定理不同的是,这里允许定义域与值域使用不同的基——正是这一点自由度,让「对角化」从正规算子的特权变成了所有线性映射的通例。
下面把结论翻译成纯矩阵语言:任何矩阵都可分解为「列标准正交 \(\times\) 正对角 \(\times\) 列标准正交」三因子之积。
定理 7.80(SVD 的矩阵版本)。设 \(A\) 是 \(M\times n\) 矩阵,秩为 \(m\ge1\)。则存在 \(M\times m\) 矩阵 \(B\)(列构成标准正交组)、\(m\times m\) 对角矩阵 \(D=\operatorname{diag}(s_1,\dots,s_m)\)(对角元为 \(A\) 的正奇异值,按递减排列)以及 \(n\times m\) 矩阵 \(C\)(列构成标准正交组),使得
\[ A=BDC^{*}. \]证明。设 \(T\colon\mathbf{F}^{n}\to\mathbf{F}^{M}\) 是标准基下矩阵为 \(A\) 的线性映射,则 \(\dim\operatorname{range}T=m\)(3.78)。取 \(T\) 的一个奇异值分解(7.70):正奇异值 \(s_1,\dots,s_m\),\(V=\mathbf{F}^{n}\) 中标准正交列 \(e_1,\dots,e_m\),\(W=\mathbf{F}^{M}\) 中标准正交列 \(f_1,\dots,f_m\),满足对一切 \(v\) 有 \(Tv=\sum_{k=1}^{m}s_k\langle v,e_k\rangle f_k\)。令
\[ B=(f_1,\dots,f_m),\qquad D=\operatorname{diag}(s_1,\dots,s_m),\qquad C=(e_1,\dots,e_m), \]其中括号表示「以这些向量为列」。记 \(u_1,\dots,u_m\) 为 \(\mathbf{F}^{m}\) 的标准基。对每个 \(k\),比较 \(AC\) 与 \(BD\) 的第 \(k\) 列:
\[ (AC)u_k=Ae_k=Te_k=s_kf_k,\qquad (BD)u_k=B(s_ku_k)=s_kf_k, \]故 \(AC=BD\);两边右乘 \(C^{*}\),得 \(ACC^{*}=BDC^{*}\)。断言 \(ACC^{*}=A\),从而完成证明。验证断言:若 \(v\in\operatorname{span}(e_1,\dots,e_m)\),则由矩阵乘法 \(C^{*}e_k=u_k\),线性得 \(CC^{*}v=v\),于是 \(ACC^{*}v=Av\);若 \(v\in\bigl(\operatorname{span}(e_1,\dots,e_m)\bigr)^{\bot}\),则由分解式 \(Tv=0\) 即 \(Av=0\),且 \(C^{*}v=0\)(各分量 \(\langle v,e_k\rangle=0\)),于是 \(ACC^{*}v=0=Av\)。\(\mathbf{F}^{n}\) 是这两个正交子空间的直和,故 \(ACC^{*}=A\)。证毕。
注(完全式 \(A=U\Sigma V^{*}\))。数值线性代数文献习惯把 7.80 写成「完全式」:把 \(B\) 的列扩充为 \(\mathbf{F}^{M}\) 的标准正交基,得酉矩阵 \(U\in\mathbf{F}^{M,M}\);把 \(C\) 的列扩充为 \(\mathbf{F}^{n}\) 的标准正交基,得酉矩阵 \(V\in\mathbf{F}^{n,n}\);再令 \(\Sigma\in\mathbf{F}^{M,n}\) 为矩形对角矩阵,主对角线上依次为 \(s_1,\dots,s_m\),其余补 \(0\)。由于 \(\Sigma\) 在第 \(m\) 行、第 \(m\) 列之外全为 \(0\),\(U\)、\(V\) 新增的列不影响乘积,故
\[ A=U\Sigma V^{*},\qquad U\ \text{酉},\quad\Sigma\ \text{矩形对角},\quad V\ \text{酉}, \]与 7.80 的 \(A=BDC^{*}\) 完全等价(对应关系 \(U\leftrightarrow B\)、\(V\leftrightarrow C\)、\(\Sigma\leftrightarrow D\);符号 \(\Sigma\) 是 sigma 的大写,注意与求和号区分)。数值库输出的正是这一形式。还需指出存储上的红利(原书 7.80 之后的评注):\(A\) 有 \(Mn\) 个元素,而 \(B,D,C\) 合计只有 \(m(M+m+n)\) 个;当秩 \(m\) 远小于 \(M,n\) 时,这一数据量大幅缩水——这正是 SVD 用于图像压缩与低秩逼近的起点,详见 7.F。
计算实例:从 2×2 到 3×2
求 SVD 的流程。给定实(或复)矩阵 \(A\):① 计算 \(A^{*}A\);② 对自伴矩阵 \(A^{*}A\) 作谱分解,特征值按降序开平方得 \(s_1\ge\cdots\ge s_m\gt0\),单位特征向量依次记为 \(e_1,\dots,e_m\);③ 对每个正奇异值令 \(f_k=Ae_k/s_k\);④ 组装 \(C=(e_1,\dots,e_m)\)、\(D=\operatorname{diag}(s_1,\dots,s_m)\)、\(B=(f_1,\dots,f_m)\),得 \(A=BDC^{*}\);如需完全式 \(A=U\Sigma V^{*}\),再把 \(B\)、\(C\) 的列扩充成酉矩阵并填充 \(\Sigma\)。以下各例遵循此流程,本节例子均为本站自编。
例 2(\(2\times2\) 完全演算)。设 \(A=\begin{pmatrix}2&2\\-1&1\end{pmatrix}\)。
① \(A^{*}=A^{\mathsf T}=\begin{pmatrix}2&-1\\2&1\end{pmatrix}\),故
\[ A^{*}A=\begin{pmatrix}2&-1\\2&1\end{pmatrix}\begin{pmatrix}2&2\\-1&1\end{pmatrix}=\begin{pmatrix}5&3\\3&5\end{pmatrix}. \]② 特征多项式 \((5-\lambda)^{2}-9=(\lambda-2)(\lambda-8)\),特征值 \(8,2\),于是 \(s_1=2\sqrt2\)、\(s_2=\sqrt2\)。相应单位特征向量(已按特征值降序排列)
\[ e_1=\frac{1}{\sqrt2}\begin{pmatrix}1\\1\end{pmatrix}\in E(8),\qquad e_2=\frac{1}{\sqrt2}\begin{pmatrix}1\\-1\end{pmatrix}\in E(2). \]③ 计算 \(Ae_1=\frac{1}{\sqrt2}A\begin{pmatrix}1\\1\end{pmatrix}=\frac{1}{\sqrt2}\begin{pmatrix}4\\0\end{pmatrix}\)、\(Ae_2=\frac{1}{\sqrt2}\begin{pmatrix}0\\-2\end{pmatrix}\),于是
\[ f_1=\frac{Ae_1}{s_1}=\frac{1}{\sqrt2\cdot 2\sqrt2}\begin{pmatrix}4\\0\end{pmatrix}=\begin{pmatrix}1\\0\end{pmatrix},\qquad f_2=\frac{Ae_2}{s_2}=\frac{1}{\sqrt2\cdot\sqrt2}\begin{pmatrix}0\\-2\end{pmatrix}=\begin{pmatrix}0\\-1\end{pmatrix}. \]④ 此时 \(m=n=2\),\(B\)、\(C\) 本身已是酉矩阵,完全式为 \(A=U\Sigma V^{*}\),其中
\[ U=\begin{pmatrix}1&0\\0&-1\end{pmatrix},\qquad \Sigma=\begin{pmatrix}2\sqrt2&0\\0&\sqrt2\end{pmatrix},\qquad V=\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}. \]验证:\(U\Sigma V^{\mathsf T}=\begin{pmatrix}1&0\\0&-1\end{pmatrix}\begin{pmatrix}2\sqrt2&0\\0&\sqrt2\end{pmatrix}\cdot\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}=\frac{1}{\sqrt2}\begin{pmatrix}2\sqrt2&2\sqrt2\\-\sqrt2&\sqrt2\end{pmatrix}=\begin{pmatrix}2&2\\-1&1\end{pmatrix}=A\)。另有两处自检:正奇异值个数 \(2=\operatorname{rank}A\)(7.68(b));\(|\det A|=s_1s_2=2\sqrt2\cdot\sqrt2=4\),与直接计算 \(\det A=2\cdot1-2\cdot(-1)=4\) 一致。
例 3(秩 1 矩阵与零奇异值)。设 \(A=\begin{pmatrix}1&1\\1&1\end{pmatrix}\)。则 \(A^{*}A=\begin{pmatrix}2&2\\2&2\end{pmatrix}\),特征值 \(4,0\),故奇异值 \(s_1=2,s_2=0\)。取 \(e_1=\frac{1}{\sqrt2}(1,1)^{\mathsf T}\)、\(e_2=\frac{1}{\sqrt2}(1,-1)^{\mathsf T}\),则 \(f_1=Ae_1/2=\frac{1}{\sqrt2}(1,1)^{\mathsf T}\)。由 \(s_2=0\),分解中只保留一个因子:
\[ B=\frac{1}{\sqrt2}\begin{pmatrix}1\\1\end{pmatrix},\qquad D=(2),\qquad C=\frac{1}{\sqrt2}\begin{pmatrix}1\\1\end{pmatrix},\qquad BDC^{*}=\frac{2}{2}\begin{pmatrix}1\\1\end{pmatrix}(1,1)=A. \]本例说明三件事:其一,正奇异值个数 \(1=\operatorname{rank}A\),印证 7.68(b);其二,\(s_2=0\) 时第二个左奇异向量不受 \(A\) 约束——任取与 \(f_1\) 正交的单位向量均可,例如取 \(f_2=\frac{1}{\sqrt2}(1,-1)^{\mathsf T}\) 便得完全式 \(A=U\Sigma V^{\mathsf T}\),其中 \(U=V=\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}\)、\(\Sigma=\operatorname{diag}(2,0)\)(可直接验算 \(U\Sigma V^{\mathsf T}=A\));这是 SVD 不唯一性的典型来源。其三,零奇异值的个数 \(1\) 恰是 \(A\) 的零度,与 7.68(a) 一致(\(A\) 不单射)。
例 4(\(3\times2\) 完全演算)。设 \(A=\begin{pmatrix}1&1\\0&1\\1&0\end{pmatrix}\)(\(M=3\)、\(n=2\))。
① \(A^{*}=A^{\mathsf T}\),\(A^{*}A=\begin{pmatrix}1&0&1\\1&1&0\end{pmatrix}\begin{pmatrix}1&1\\0&1\\1&0\end{pmatrix}=\begin{pmatrix}2&1\\1&2\end{pmatrix}\)。
② 特征多项式 \((2-\lambda)^{2}-1\),特征值 \(3,1\),故 \(s_1=\sqrt3\)、\(s_2=1\),单位特征向量
\[ e_1=\frac{1}{\sqrt2}\begin{pmatrix}1\\1\end{pmatrix},\qquad e_2=\frac{1}{\sqrt2}\begin{pmatrix}1\\-1\end{pmatrix}. \]③ \(Ae_1=\frac{1}{\sqrt2}\begin{pmatrix}2\\1\\1\end{pmatrix}\)、\(Ae_2=\frac{1}{\sqrt2}\begin{pmatrix}0\\-1\\1\end{pmatrix}\),故
\[ f_1=\frac{Ae_1}{\sqrt3}=\frac{1}{\sqrt6}\begin{pmatrix}2\\1\\1\end{pmatrix},\qquad f_2=Ae_2=\frac{1}{\sqrt2}\begin{pmatrix}0\\-1\\1\end{pmatrix}. \]自检:\((2,1,1)\cdot(0,-1,1)=0\),范数分别为 \(\sqrt6\)、\(\sqrt2\),确为 \(\mathbf{F}^{3}\) 中的标准正交组。
④(瘦形分解)。组装
\[ B=\begin{pmatrix}\frac{2}{\sqrt6}&0\\[2pt]\frac{1}{\sqrt6}&-\frac{1}{\sqrt2}\\[2pt]\frac{1}{\sqrt6}&\frac{1}{\sqrt2}\end{pmatrix},\qquad D=\begin{pmatrix}\sqrt3&0\\0&1\end{pmatrix},\qquad C=\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}. \]验证:\(BD=\frac{1}{\sqrt2}\begin{pmatrix}2&0\\1&-1\\1&1\end{pmatrix}\),于是
\[ BDC^{*}=\frac{1}{\sqrt2}\begin{pmatrix}2&0\\1&-1\\1&1\end{pmatrix}\cdot\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}=\frac{1}{2}\begin{pmatrix}2&2\\0&2\\2&0\end{pmatrix}=\begin{pmatrix}1&1\\0&1\\1&0\end{pmatrix}=A. \]⑤(完全式)。取与 \(f_1,f_2\) 均正交的单位向量,如 \(u_3=\frac{1}{\sqrt3}(1,-1,-1)^{\mathsf T}\)(可直接验证两组正交性),则
\[ U=\begin{pmatrix}\frac{2}{\sqrt6}&0&\frac{1}{\sqrt3}\\[2pt]\frac{1}{\sqrt6}&-\frac{1}{\sqrt2}&-\frac{1}{\sqrt3}\\[2pt]\frac{1}{\sqrt6}&\frac{1}{\sqrt2}&-\frac{1}{\sqrt3}\end{pmatrix},\qquad \Sigma=\begin{pmatrix}\sqrt3&0\\0&1\\0&0\end{pmatrix},\qquad V=C, \]得 \(A=U\Sigma V^{*}\)。注意 \(\Sigma\) 的第三行全为零:新添的左奇异向量 \(u_3\) 不参与乘积。这说明 \(U\) 的多余列(\(M\gt m\) 时)不受 \(A\) 任何约束;与之类似,零奇异值对应的列同样自由(例 3),二者是 SVD 不唯一性的两类来源。
注(原书的演算例)。原书 7.79 对 \(T\in\mathcal{L}(\mathbf{F}^{4},\mathbf{F}^{3})\),\(T(x_1,x_2,x_3,x_4)=(-5x_4,0,x_1+x_2)\),沿 7.70 证明的路径求出 \(e_1=(0,0,0,1)\)、\(e_2=(\frac{1}{\sqrt2},\frac{1}{\sqrt2},0,0)\)、\(f_1=(-1,0,0)\)、\(f_2=(0,0,1)\),从而对一切 \(v\in\mathbf{F}^{4}\) 有 \(Tv=5\langle v,e_1\rangle f_1+\sqrt2\,\langle v,e_2\rangle f_2\)。读者可用上述流程自行复核。
几何图像:旋转–伸缩–旋转
就实矩阵的完全式 \(A=U\Sigma V^{\mathsf T}\) 而言,三个因子各有几何身份:\(V^{\mathsf T}\) 与 \(U\) 是正交矩阵,即旋转或反射;\(\Sigma\) 沿互相垂直的方向把长度分别放大 \(s_1,s_2,\dots,s_m\) 倍。于是任何线性映射都是「正交变换 → 沿正交方向伸缩 → 再正交变换」的复合:先把右奇异向量 \(v_1,\dots,v_n\) 转到坐标轴的标准位置,再沿各轴伸缩,最后把坐标轴转到左奇异向量 \(u_1,\dots,u_m\) 的方向。
据此可以写出单位球面的像。设 \(A=U\Sigma V^{*}\) 而 \(v=\sum_k c_ke_k\) 满足 \(\sum_k|c_k|^{2}=1\),则 \(Av=\sum_{k\le m}s_kc_kf_k\)。这说明:\(A\) 把单位球面映成以 \(s_kf_k\)(\(k=1,\dots,m\))为主半轴的椭球——二维时是以 \(s_1,s_2\) 为半轴的椭圆。换言之,椭球的主轴方向恰是左奇异向量,半轴长恰是奇异值;\(s_1\) 是最大伸长率,\(s_n\) 是最小「伸长率」。谱定理可以看作 \(U=V\) 的特例:自伴算子把球映成主轴沿特征向量的椭球,这正是二次型理论里的「主轴定理」。从这个意义上说,SVD 是主轴定理对一切矩阵的推广。
用例 2 的矩阵具体走一遍这三步。那里 \(V=\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}\) 是关于直线 \(y=x\) 的反射(\(V^{\mathsf T}=V\) 且 \(V^{2}=I\)),\(\Sigma\) 把两个坐标轴方向分别放大 \(2\sqrt2\) 倍与 \(\sqrt2\) 倍,\(U=\begin{pmatrix}1&0\\0&-1\end{pmatrix}\) 是关于 \(x\) 轴的反射。于是 \(A\) 把单位圆映成半轴为 \(2\sqrt2\)、\(\sqrt2\) 的椭圆,且 \(\|Av\|\le 2\sqrt2\|v\|\) 对一切 \(v\) 成立——这正是 \(s_1\) 的「最大伸长率」身份。
再补一个便于自检的观察:若 \(A\) 是 \(n\times n\) 实(或复)方阵,则由 \(A=U\Sigma V^{*}\) 取行列式得 \(|\det A|=|\det U|\cdot|\det V^{*}|\cdot\prod_{k=1}^{n}s_k=\prod_{k=1}^{n}s_k\),即行列式的绝对值等于全部奇异值之积(例 2 已验证:\(2\sqrt2\cdot\sqrt2=4=|\det A|\))。
与特征值、等距、伴随和伪逆的关系
(a) 正规算子:奇异值是特征值的模。当 \(T\in\mathcal{L}(V)\) 自伴,或 \(\mathbf{F}=\mathbf{C}\) 且 \(T\) 正规时,若其特征值为 \(\lambda_1,\dots,\lambda_n\)(计重数),则 \(T\) 的奇异值恰是 \(|\lambda_1|,\dots,|\lambda_n|\) 的降序排列(原书 7.E 练习 7,即本节练习 6)。例 2 之外可再对照练习 2:对称矩阵 \(\begin{pmatrix}1&2\\2&1\end{pmatrix}\) 的特征值为 \(3,-1\),奇异值为 \(3,1\)。
(b) \(T\) 与 \(T^{*}\) 有相同的正奇异值(原书 7.E 练习 9,即本节练习 5)。原因:\(T^{*}\) 的「\(T^{*}T\)」是 \(TT^{*}\),而 \(T^{*}T\) 与 \(TT^{*}\) 的非零特征值(连同重数)完全一致。矩阵地说,\(A\) 与 \(A^{\mathsf T}\)(复时为 \(A^{*}\))有相同的正奇异值。
(c) 可逆映射的逆的奇异值。若 \(T\in\mathcal{L}(V,W)\) 可逆(此时 \(\dim V=\dim W\),全部奇异值为正),则 \((T^{-1})^{*}T^{-1}=(TT^{*})^{-1}\),其特征值是 \(TT^{*}\) 的特征值的倒数,故 \(T^{-1}\) 的奇异值为 \(\frac{1}{s_n}\ge\cdots\ge\frac{1}{s_1}\)——顺序整个倒过来,小的变大(原书 7.E 练习 10)。直观:最「硬」的方向变最「软」。
(d) 酉等价不变性。设 \(A\) 是 \(M\times n\) 矩阵,\(Q\in\mathbf{F}^{M,M}\) 与 \(P\in\mathbf{F}^{n,n}\) 酉,令 \(A'=Q^{*}AP\)。则
\[ A'^{*}A'=P^{*}A^{*}QQ^{*}AP=P^{*}(A^{*}A)P, \]而 \(P^{*}(A^{*}A)P\) 与 \(A^{*}A\) 相似,特征多项式相同(\(\det(P^{*}(A^{*}A)P-\lambda I)=\det(A^{*}A-\lambda I)\),用了 \(\det P^{*}\det P=|\det P|^{2}=1\)),特征值连同重数一致。因此酉等价的矩阵有完全相同的奇异值。特别地,奇异值作为算子 \(T\in\mathcal{L}(V,W)\) 的内蕴量,与两端基的选取无关;对矩阵作行、列的酉组合也不改变奇异值。
(e) 伴随与伪逆的奇异值分解。SVD 还顺带把 \(T^{*}\) 与伪逆 \(T^{\dagger}\)(见 6.68;回忆 \(T^{\dagger}w\) 定义为 \((\operatorname{null}T)^{\bot}\) 中唯一的向量 \(u\),满足 \(Tu=P_{\operatorname{range}T}\,w\))一并写出:只需把 \(e\) 与 \(f\) 互换,再把 \(s_k\) 换成 \(1/s_k\)。
定理 7.75(伴随与伪逆的奇异值分解)。设 \(T\in\mathcal{L}(V,W)\),正奇异值为 \(s_1,\dots,s_m\),且标准正交列 \(e_1,\dots,e_m\subset V\)、\(f_1,\dots,f_m\subset W\) 给出 \(T\) 的奇异值分解:
\[ Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_m\langle v,e_m\rangle f_m\qquad(v\in V). \]则对一切 \(w\in W\),
\[ T^{*}w=s_1\langle w,f_1\rangle e_1+\cdots+s_m\langle w,f_m\rangle e_m, \] \[ T^{\dagger}w=\frac{\langle w,f_1\rangle}{s_1}e_1+\cdots+\frac{\langle w,f_m\rangle}{s_m}e_m. \]证明。对 \(v\in V\)、\(w\in W\),由分解式与内积的线性(第一个变量)逐项计算:
\[ \langle Tv,w\rangle=\sum_{k=1}^{m}s_k\langle v,e_k\rangle\langle f_k,w\rangle=\Bigl\langle v,\ \sum_{k=1}^{m}s_k\langle w,f_k\rangle e_k\Bigr\rangle, \]其中用了共轭对称性 \(\langle f_k,w\rangle=\overline{\langle w,f_k\rangle}\)。由伴随的定义,上式对一切 \(v\) 成立就意味着 \(T^{*}w=\sum_k s_k\langle w,f_k\rangle e_k\),即第一个公式。
再证伪逆公式。设 \(w\in W\),令 \(v=\sum_{k=1}^{m}\frac{\langle w,f_k\rangle}{s_k}e_k\)。一方面,\(v\in\operatorname{span}(e_1,\dots,e_m)=(\operatorname{null}T)^{\bot}\)(见 7.70 之后的注)。另一方面,
\[ Tv=\sum_{k=1}^{m}\frac{\langle w,f_k\rangle}{s_k}\,Te_k=\sum_{k=1}^{m}\langle w,f_k\rangle f_k=P_{\operatorname{range}T}\,w, \]末一等号是因为 \(f_1,\dots,f_m\) 是 \(\operatorname{range}T\) 的标准正交基,投影公式(6.57(i))给出正交投影恰为此和。按 6.68 的定义,满足这两条的向量就是 \(T^{\dagger}w\),故第二个公式成立。证毕。
注。当 \(T\) 可逆时 \(T^{\dagger}=T^{-1}\)(6.69(a)),上式退化为 \(T^{-1}w=\sum_k\frac{\langle w,f_k\rangle}{s_k}e_k\),与 (c) 的结论互相印证。定理 7.75 的价值在于:求出 \(T\) 的 SVD 后,\(T^{*}\)、\(T^{\dagger}\) 几乎是「免费」得到的——这正是下一节用 SVD 处理伪逆、最小二乘与秩等问题的技术根源。
注记:与特征分解之比较及数值考量
把谱定理与奇异值分解放在同一张表里,二者的分工一目了然(依原书 7.E 的两张对照表改写并补充)。
| 谱定理(特征分解) | 奇异值分解 | |
|---|---|---|
| 适用对象 | 自伴(\(\mathbf{F}=\mathbf{R}\))或正规(\(\mathbf{F}=\mathbf{C}\))的算子 | 任意线性映射 \(T\in\mathcal{L}(V,W)\),包括长方形矩阵 |
| 所得基 | 同一组标准正交基(定义域与值域重合) | 两组标准正交列,分别置于 \(V\)、\(W\);即使 \(V=W\) 也未必是同一组 |
| 分解形式 | \(T=\sum_k\lambda_k\langle\,\cdot\,,e_k\rangle e_k\);矩阵 \(A=Q\Lambda Q^{*}\) | \(T=\sum_k s_k\langle\,\cdot\,,e_k\rangle f_k\);矩阵 \(A=BDC^{*}\)(或 \(A=U\Sigma V^{*}\)) |
| \(\mathbf{F}=\mathbf{R}/\mathbf{C}\) | 实、复两种情形需分别叙述与证明 | 同一条证明对 \(\mathbf{R}\)、\(\mathbf{C}\) 都有效 |
| 唯一性 | 特征值唯一;特征向量在互异特征值处差一个模 1 的因子 | 奇异值唯一;互异奇异值处奇异向量差一个模 1 的因子(实数情形差符号),重合奇异值与零奇异值处另有自由度(见例 3) |
| 数值角色 | 非正规矩阵的特征值计算可能病态 | 对任意矩阵都有向后稳定的算法,是数值线性代数的支柱 |
唯一性细说。奇异值本身(即 \(\Sigma\) 或 \(D\) 的对角元)由 \(T\) 唯一决定,因为它就是 \(T^{*}T\) 特征值的平方根。当各正奇异值互异时,各 \(e_k\) 确定到相差一个模 \(1\) 的复数因子(实情形为 \(\pm1\)),而 \(f_k=Te_k/s_k\) 随之确定;当某正值出现重数 \(r\) 时,对应的 \(e\) 可在 \(r\) 维特征子空间内任取标准正交基;零奇异值对应的左奇异向量(以及 \(M\gt m\) 时 \(U\) 的多余列)则完全自由。原书 7.E 练习 8 给出了一套完整的反向刻画:只要标准正交列 \(e_k\)、\(f_k\) 与正数 \(s_k\) 满足 7.70 那样的展开式,它们就必是 \(T\) 的奇异向量与奇异值。
计算的一句话。实际计算 SVD 时,先把 \(A\) 经一系列酉变换双对角化,再对所得双对角阵隐式地施行针对 \(A^{*}A\) 的变形 QR 迭代(Golub–Kahan 算法),总代价约 \(O(Mn\cdot\min\{M,n\})\) 浮点运算,且算法是向后稳定的——相比之下,「先显式形成 \(A^{*}A\) 再求特征值」会平方化条件数,数值上不可取(手算无妨,机算慎用)。
下一节展望。7.F「奇异值分解的推论」将把本节的分解兑现为一串结果:范数上界 \(\|Tv\|\le s_1\|v\)\,(7.82)与更精细的估计;极分解 \(T=S\sqrt{T^{*}T}\);秩、零度与伪逆的 SVD 表达;以及「最佳低秩逼近」(Eckart–Young 定理):保留前 \(k\) 个奇异值所得的截断 SVD 是到所有秩 \(k\) 矩阵集合的最佳逼近——它是主成分分析、图像压缩与去噪的数学心脏。数据压缩的量化线索已在 7.80 之后给出:\(Mn\) 个元素 \(m(M+m+n)\) 个元素即可近似(当 \(m\ll M,n\) 时)。
练习
练习 7.E-1
(原书 7.E 练习 5)设 \(T\in\mathcal{L}(\mathbf{F}^{2})\) 由 \(T(x,y)=(-4y,x)\) 定义。求 \(T\) 的奇异值,并与 \(T\) 的特征值比较。
解答\(T\) 在标准基下的矩阵为 \(A=\begin{pmatrix}0&-4\\1&0\end{pmatrix}\),于是 \(A^{*}A=A^{\mathsf T}A=\begin{pmatrix}1&0\\0&16\end{pmatrix}\),特征值 \(16,1\),故奇异值为 \(s_1=4\)、\(s_2=1\)。几何上,\(T\) 是「沿 \(y\) 轴方向拉伸 \(4\) 倍,再旋转 \(90^{\circ}\)」:\(T(0,1)=(-4,0)\)、\(T(1,0)=(0,1)\)。对照:\(A^{2}=-4I\),故 \(\mathbf{F}=\mathbf{C}\) 时特征值为 \(\pm2\mathrm{i}\),\(\mathbf{F}=\mathbf{R}\) 时 \(T\) 没有任何特征值——但奇异值照常存在且是实数。顺带可写出 \(A=BDC^{*}\):\(C=\begin{pmatrix}0&1\\1&0\end{pmatrix}\)、\(D=\operatorname{diag}(4,1)\)、\(B=\begin{pmatrix}-1&0\\0&1\end{pmatrix}\)(可验证乘积还原 \(A\))。
练习 7.E-2
求 \(A=\begin{pmatrix}1&2\\2&1\end{pmatrix}\) 的奇异值分解 \(A=BDC^{*}\),并指出它与特征分解的关系。
解答\(A^{*}A=\begin{pmatrix}5&4\\4&5\end{pmatrix}\),特征值 \(9,1\),故 \(s_1=3\)、\(s_2=1\),取 \(e_1=\frac{1}{\sqrt2}(1,1)^{\mathsf T}\)、\(e_2=\frac{1}{\sqrt2}(1,-1)^{\mathsf T}\)。计算 \(Ae_1=\frac{1}{\sqrt2}(3,3)^{\mathsf T}\)、\(Ae_2=\frac{1}{\sqrt2}(-1,1)^{\mathsf T}\),得 \(f_1=\frac{1}{\sqrt2}(1,1)^{\mathsf T}\)、\(f_2=\frac{1}{\sqrt2}(-1,1)^{\mathsf T}\)。于是
\[ B=\frac{1}{\sqrt2}\begin{pmatrix}1&-1\\1&1\end{pmatrix},\quad D=\begin{pmatrix}3&0\\0&1\end{pmatrix},\quad C=\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix},\quad BDC^{*}=A. \]\(A\) 是对称矩阵,特征值为 \(3\) 与 \(-1\);奇异值 \(3,1\) 恰为特征值的绝对值(练习 6 的一般规律的实例)。注意特征分解 \(A=Q\Lambda Q^{\mathsf T}\) 中 \(\Lambda=\operatorname{diag}(3,-1)\) 有负元,而 SVD 中的 \(D\) 非负,代价是把该负号吸收进了 \(B\) 的第二列。
练习 7.E-3
设 \(T\in\mathcal{L}(V,W)\),\(c\ge0\)。证明:(a) \(T\) 的所有奇异值都等于 \(1\),当且仅当 \(T\) 是等距算子;(b) \(T\) 的所有奇异值都等于 \(c\),当且仅当 \(T\) 是某个等距算子的 \(c\) 倍。
解答(a) 即 7.69:\(T\) 等距 \(\Longleftrightarrow T^{*}T=I\)(7.49)\(\Longleftrightarrow\) 自伴算子 \(T^{*}T\) 的特征值全为 \(1\)(「\(\Longleftarrow\)」用谱定理:特征值全为 \(1\) 的自伴算子在特征基下矩阵为 \(I\),故等于 \(I\))\(\Longleftrightarrow\) 奇异值全为 \(1\)。
(b) 若 \(T=cS\) 且 \(S\) 等距,则 \(T^{*}T=c^{2}S^{*}S=c^{2}I\),奇异值全为 \(c\)。反之,若所有奇异值为 \(c\),则 \(T^{*}T=c^{2}I\)(同样用谱定理)。当 \(c=0\) 时,对一切 \(v\) 有 \(\|Tv\|^{2}=\langle T^{*}Tv,v\rangle=0\),故 \(T=0\),是零等距算子的 \(0\) 倍;当 \(c\gt0\) 时,令 \(S=T/c\),则 \(S^{*}S=I\),由 7.49 知 \(S\) 是等距算子。
附注:由此可快速得到原书 7.D 练习 2。若 \(T\) 的奇异值不全相等,取 \(j\ne k\) 使 \(s_j\ne s_k\);向量 \(e_j+e_k\) 与 \(e_j-e_k\) 正交,但由 7.70 的展开式,\(\langle T(e_j+e_k),T(e_j-e_k)\rangle=s_j^{2}-s_k^{2}\ne0\),即 \(T\) 不保持正交性。故「保持正交性 \(\Rightarrow\) 奇异值全相等 \(\Rightarrow\) 等距算子的倍数」;反向显然。
练习 7.E-4
(原书 7.E 练习 4)设 \(T\in\mathcal{L}(V,W)\) 的最大、最小奇异值分别为 \(s_1\)、\(s_n\)。证明:\(\{\|Tv\|:v\in V,\ \|v\|=1\}=[s_n,s_1]\)。
解答取 7.70 的展开式。对单位向量 \(v\),由 \(f_1,\dots,f_m\) 标准正交及勾股定理,
\[ \|Tv\|^{2}=\sum_{k=1}^{m}s_k^{2}\,\bigl|\langle v,e_k\rangle\bigr|^{2}. \]每个 \(s_k^{2}\in[0,s_1^{2}]\),且由 Bessel 不等式(6.26)\(\sum_{k\le m}|\langle v,e_k\rangle|^{2}\le\|v\|^{2}=1\),故 \(\|Tv\|^{2}\le s_1^{2}\),即集合中一切值不超过 \(s_1\)。若 \(s_n\gt0\),则全部奇异值为正,即 \(m=n\),此时 \(e_1,\dots,e_n\) 是 \(V\) 的标准正交基,勾股定理给出 \(\sum_{k}|\langle v,e_k\rangle|^{2}=1\),上式成为诸 \(s_k^{2}\in[s_n^{2},s_1^{2}]\) 的凸组合,故 \(\|Tv\|^{2}\in[s_n^{2},s_1^{2}]\);若 \(s_n=0\),则下界 \(0\) 对范数平凡成立。于是恒有该集合 \(\subseteq[s_n,s_1]\)。
再证区间被取遍:令 \(v(t)=\cos t\,e_1+\sin t\,e_n\)(单位向量),则 \(\|Tv(t)\|^{2}=s_1^{2}\cos^{2}t+s_n^{2}\sin^{2}t\) 关于 \(t\in[0,\pi/2]\) 连续地从 \(s_1^{2}\) 降到 \(s_n^{2}\),由介值定理取遍 \([s_n^{2},s_1^{2}]\),故 \([s_n,s_1]\) 中每个值都出现。两部分合起来即得等式。特别地 \(s_1=\max_{\|v\|=1}\|Tv\|\)、\(s_n=\min_{\|v\|=1}\|Tv\|\)。
练习 7.E-5
(原书 7.E 练习 9)设 \(T\in\mathcal{L}(V,W)\)。证明:\(T\) 与 \(T^{*}\) 有相同的正奇异值。
解答\(T^{*}\) 的「\(T^{*}T\)」是 \((T^{*})^{*}T^{*}=TT^{*}\),故只需证明:\(T^{*}T\) 与 \(TT^{*}\) 的非零特征值连同重数一致。设 \(\lambda\gt0\) 是 \(T^{*}T\) 的特征值,取 \(0\ne v\in E(\lambda,T^{*}T)\)。由 \(\lambda\ne0\) 知 \(v\notin\operatorname{null}T\),故 \(w=Tv\ne0\),且
\[ TT^{*}w=T(T^{*}Tv)=T(\lambda v)=\lambda\,Tv=\lambda w, \]即 \(w\in E(\lambda,TT^{*})\)。于是线性映射 \(v\mapsto Tv\) 把 \(E(\lambda,T^{*}T)\) 单地映入 \(E(\lambda,TT^{*})\)(若 \(v\in\operatorname{null}T\cap E(\lambda,T^{*}T)\),则 \(\lambda v=T^{*}Tv=0\),故 \(v=0\));同理 \(w\mapsto T^{*}w\) 给出反向的单射。两个特征空间维数相等,非零特征值连同重数一致,开方即得结论。
练习 7.E-6
(原书 7.E 练习 7)设 \(T\in\mathcal{L}(V)\) 自伴,或设 \(\mathbf{F}=\mathbf{C}\) 且 \(T\) 正规。设 \(\lambda_1,\dots,\lambda_n\) 是 \(T\) 的特征值(按特征空间维数计重数)。证明:\(T\) 的奇异值恰为 \(|\lambda_1|,\dots,|\lambda_n|\) 按降序排列的结果。
解答由谱定理(7.29/7.31),\(V\) 有由 \(T\) 的特征向量组成的标准正交基 \(e_1,\dots,e_n\),设 \(Te_k=\lambda_ke_k\)。在标准正交基下,\(T\) 的矩阵是对角阵 \(\operatorname{diag}(\lambda_1,\dots,\lambda_n)\),其伴随 \(T^{*}\) 的矩阵是共轭转置 \(\operatorname{diag}(\bar\lambda_1,\dots,\bar\lambda_n)\)——换言之,正规性(自伴是其特例)保证 \(e_k\) 也是 \(T^{*}\) 的特征向量,\(T^{*}e_k=\bar\lambda_ke_k\)。于是
\[ T^{*}Te_k=T^{*}(\lambda_ke_k)=\lambda_k\bar\lambda_ke_k=|\lambda_k|^{2}e_k, \]即 \(T^{*}T\) 的特征值为 \(|\lambda_1|^{2},\dots,|\lambda_n|^{2}\)(计重数),取非负平方根并按降序排列,便得 \(T\) 的奇异值为 \(|\lambda_1|,\dots,|\lambda_n|\) 的降序排列。请与练习 1 对照:那里的 \(T\) 特征值为 \(\pm2\mathrm{i}\)(模均为 \(2\)),但奇异值是 \(4,1\)——并非特征值的模,原因正是该 \(T\) 不正规:\(T^{*}T=\operatorname{diag}(1,16)\) 而 \(TT^{*}=\operatorname{diag}(16,1)\)。本练习的正规性假设不可或缺。