动机:长度、点积与几何的回归
在前五章里,我们研究了向量空间、线性映射、特征值与算子,却始终没有谈论两件事:向量的长度与向量之间的夹角。这并非疏忽,而是结构使然:向量空间的公理只包含加法与数乘,即只承载"线性结构";它既无法说出 \(\mathbb{R}^{10}\) 中两个向量孰长孰短,也无法说明它们是否互相垂直。本章的任务,就是给抽象向量空间装上一套几何结构,使"度量"与"正交"重新变得有意义,而承载这套结构的核心概念便是内积 (inner product)。
先回到最熟悉的场景。把 \(\mathbb{R}^2\)、\(\mathbb{R}^3\) 中的向量看作以原点为起点的箭头,则 \(v=(a,b)\) 的长度是 \(\sqrt{a^2+b^2}\),\(v=(a,b,c)\) 的长度是 \(\sqrt{a^2+b^2+c^2}\)。高维空间虽然画不出图,推广却毫无困难:对 \(x=(x_1,\dots,x_n)\in\mathbb{R}^n\),其长度定义为 \(\sqrt{x_1^2+\cdots+x_n^2}\)。麻烦在于长度关于加法并不线性,直接处理多有不便;让长度变得"可代数化"的经典办法是引入点积。
对 \(x=(x_1,\dots,x_n)\)、\(y=(y_1,\dots,y_n)\in\mathbb{R}^n\),定义
\[ x\cdot y=x_1y_1+\cdots+x_ny_n. \]点积把两个向量变成一个数,且 \(x\cdot x\) 恰是长度 \(x\) 的平方。它具有下列基本性质:\(x\cdot x\ge 0\),且等号成立当且仅当 \(x=0\);固定 \(y\) 时,映射 \(x\mapsto x\cdot y\) 是线性的;并且 \(x\cdot y=y\cdot x\)。这些性质正是内积公理的雏形。
复数域上的情形略有不同。回忆对 \(z\in\mathbb{C}\) 有 \(|z|^2=z\overline{z}\)。对 \(z=(z_1,\dots,z_n)\in\mathbb{C}^n\),长度应定义为 \(\sqrt{|z_1|^2+\cdots+|z_n|^2}\),其中的绝对值不可省略——否则"长度的平方"可能是复数。于是
\[ \|z\|^2=z_1\overline{z_1}+\cdots+z_n\overline{z_n}, \]这提示我们:在复空间上,"\((w_1,\dots,w_n)\) 与 \((z_1,\dots,z_n)\) 的内积"应当定义为 \(w_1\overline{z_1}+\cdots+w_n\overline{z_n}\);一旦交换两个变元,所得的值变成原来的共轭。这正是共轭对称性的来源,也是复内积空间与实内积空间在技术上的全部差别。
本章始终设 \(\mathbb{F}\in\{\mathbb{R},\mathbb{C}\}\),\(V\) 是 \(\mathbb{F}\) 上的向量空间;除非另有说明,讨论同时在实与复空间中进行。
内积的定义与两种约定
\(V\) 上的内积是这样一个函数:它把 \(V\) 中元素的每个有序对 \((u,v)\) 对应到一个数 \(\langle u,v\rangle\in\mathbb{F}\),并满足以下条件:
- 正定性 (positivity):对每个 \(v\in V\),\(\langle v,v\rangle\ge 0\)(我们约定:记号 \(\lambda\ge 0\) 表示 \(\lambda\) 是非负实数);
- 确定性 (definiteness):\(\langle v,v\rangle=0\) 当且仅当 \(v=0\);
- 对第一个变元的加性 (additivity in the first slot):\(\langle u+v,w\rangle=\langle u,w\rangle+\langle v,w\rangle\),对一切 \(u,v,w\in V\);
- 对第一个变元的齐性 (homogeneity in the first slot):\(\langle\lambda u,v\rangle=\lambda\langle u,v\rangle\),对一切 \(\lambda\in\mathbb{F}\)、\(u,v\in V\);
- 共轭对称 (conjugate symmetry):\(\langle u,v\rangle=\overline{\langle v,u\rangle}\),对一切 \(u,v\in V\)。
内积空间就是带有指定内积的向量空间。最重要的例子是带欧几里得内积(见下例 (a))的 \(\mathbb{F}^n\):今后把 \(\mathbb{F}^n\) 视为内积空间而不加说明时,内积总是欧几里得内积。(按原书记号 6.5,本章与下一章中 \(V,W\) 都表示 \(\mathbb{F}\) 上的内积空间。)
Axler 原书(以及多数线性代数教材)采用"第一个变元线性、第二个变元共轭线性"的约定;而许多物理学教材与部分泛函分析教材恰好相反,要求第二个变元线性、第一个变元共轭线性。两种约定在数学内容上完全等价(把内积换成它的共轭即互相转化),但公式的形状会随之改变,例如后文伴随算子的矩阵表达便与约定密切相关。本页面遵循原书约定;读者查阅其他文献时,务必先确认对方采用哪一种约定。当 \(\mathbb{F}=\mathbb{R}\) 时共轭不起作用,两套约定重合,共轭对称退化为普通对称性 \(\langle u,v\rangle=\langle v,u\rangle\),内积对两个变元都是线性的。
内积的例子
下列函数都定义了内积,请读者逐条验证公理。
(a) 欧几里得内积 (Euclidean inner product):在 \(\mathbb{F}^n\) 上定义
\[ \big\langle(w_1,\dots,w_n),(z_1,\dots,z_n)\big\rangle=w_1\overline{z_1}+\cdots+w_n\overline{z_n}. \]当 \(\mathbb{F}=\mathbb{R}\) 时,共轭可以去掉,它就是点积。做一个复情形的数值演示:在 \(\mathbb{C}^2\) 中,
\[ \big\langle(1+i,\,2),(2-i,\,i)\big\rangle=(1+i)\overline{(2-i)}+2\,\overline{i}=(1+i)(2+i)-2i=(1+3i)-2i=1+i. \](b) 加权内积:设 \(c_1,\dots,c_n\) 为正数,在 \(\mathbb{F}^n\) 上定义
\[ \big\langle(w_1,\dots,w_n),(z_1,\dots,z_n)\big\rangle=c_1w_1\overline{z_1}+\cdots+c_nw_n\overline{z_n}. \]正定性由 \(\langle w,w\rangle=\sum_k c_k|w_k|^2\ge 0\) 且诸 \(c_k>0\) 保证;其余条件逐项验证即可。权重 \(c_k\) 可用来体现不同坐标的相对重要性(例如统计与数据拟合中的加权最小二乘)。同一个向量空间上可以有许多不同的内积,这正是公理化定义的价值所在。
(c) 函数空间:设 \(C[-1,1]\) 为区间 \([-1,1]\) 上实值连续函数全体构成的向量空间,定义
\[ \langle f,g\rangle=\int_{-1}^{1}f(x)\,g(x)\,dx. \]加性、齐性与对称性由积分的线性立刻得到;正定性:\(\langle f,f\rangle=\int_{-1}^1 f^2\ge 0\),且若 \(f\ne 0\),则连续函数 \(f^2\) 在某点取正值,由连续性它在某个小闭区间上恒正,从而积分严格大于零。若改用复值连续函数空间,则应定义 \(\langle f,g\rangle=\int_{-1}^{1}f(x)\overline{g(x)}\,dx\),论证完全类似。
(d) 在多项式空间 \(\mathcal{P}(\mathbb{R})\) 上,令 \(\langle p,q\rangle=p(0)\,q(0)+\int_{-1}^{1}p'(x)\,q'(x)\,dx\)。它同时"称量"函数在原点的取值与变化率。
(e) 在 \(\mathcal{P}(\mathbb{R})\) 上,令 \(\langle p,q\rangle=\int_{0}^{\infty}p(x)\,q(x)\,e^{-x}\,dx\);指数衰减因子保证任何多项式的积分收敛。
这些例子表明:内积远不止点积一种。只要满足那五条公理,函数、多项式、序列都可以拥有"长度与角度"——这是内积空间理论覆盖广泛应用的根源。
内积的基本性质
设 \(u,v,w\in V\),\(\lambda\in\mathbb{F}\)。
- (a) 固定 \(v\in V\),映射 \(u\mapsto\langle u,v\rangle\) 是 \(V\) 到 \(\mathbb{F}\) 的线性映射;
- (b) \(\langle 0,v\rangle=0\) 对每个 \(v\in V\) 成立;
- (c) \(\langle v,0\rangle=0\) 对每个 \(v\in V\) 成立;
- (d) 第二变元加性:\(\langle u,v+w\rangle=\langle u,v\rangle+\langle u,w\rangle\);
- (e) 第二变元共轭齐性:\(\langle u,\lambda v\rangle=\overline{\lambda}\,\langle u,v\rangle\)。
证明。(a) 即定义 6.2 中的加性与齐性。(b) 由 (a),线性映射把零向量映为零;也可直接计算 \(\langle 0,v\rangle=\langle 0\cdot 0,v\rangle=0\cdot\langle 0,v\rangle=0\)。(c) 用共轭对称与 (b):\(\langle v,0\rangle=\overline{\langle 0,v\rangle}=\overline{0}=0\)。(d) 把第二个变元经由共轭对称搬到第一个变元:
\[ \langle u,v+w\rangle=\overline{\langle v+w,u\rangle}=\overline{\langle v,u\rangle+\langle w,u\rangle}=\overline{\langle v,u\rangle}+\overline{\langle w,u\rangle}=\langle u,v\rangle+\langle u,w\rangle. \](e) 同法:
\[ \langle u,\lambda v\rangle=\overline{\langle\lambda v,u\rangle}=\overline{\lambda\langle v,u\rangle}=\overline{\lambda}\;\overline{\langle v,u\rangle}=\overline{\lambda}\,\langle u,v\rangle. \qquad\blacksquare \]请特别注意 (e) 与第一变元齐性的差别:标量从第二个变元中提出时必须取共轭。这是复内积空间计算中最常见的出错点。第二变元的"加性 + 共轭齐性"合称共轭线性 (conjugate linearity)。
范数
先说明记号的良定性。由共轭对称,\(\langle v,v\rangle=\overline{\langle v,v\rangle}\),故 \(\langle v,v\rangle\) 是实数;再由正定性它非负。于是平方根有意义且唯一(取非负根),下面的定义是合理的。
对 \(v\in V\),定义 \(v\) 的范数为
\[ \|v\|=\sqrt{\langle v,v\rangle}. \](a) 在带欧几里得内积的 \(\mathbb{F}^n\) 中,
\[ \|(z_1,\dots,z_n)\|=\sqrt{|z_1|^2+\cdots+|z_n|^2}. \]例如 \(\|(3,4)\|=\sqrt{9+16}=5\);\(\|(1,i)\|=\sqrt{|1|^2+|i|^2}=\sqrt{2}\)。(b) 在例 6.3(c) 的 \(C[-1,1]\) 中,
\[ \|f\|=\bigg(\int_{-1}^{1}f(x)^2\,dx\bigg)^{1/2}. \]例如 \(\|x\|^2=\int_{-1}^{1}t^2\,dt=\tfrac{2}{3}\),故 \(\|x\|=\sqrt{2/3}\)。这类范数称为 \(L^2\) 型范数,是分析学中一大类重要空间的源头。
设 \(v\in V\)。
- (a) \(\|v\|=0\) 当且仅当 \(v=0\);
- (b) \(\|\lambda v\|=|\lambda|\,\|v\|\) 对一切 \(\lambda\in\mathbb{F}\) 成立。
证明。(a) 由内积的确定性立得。(b) 计算
\[ \|\lambda v\|^2=\langle\lambda v,\lambda v\rangle=\lambda\langle v,\lambda v\rangle=\lambda\overline{\lambda}\,\langle v,v\rangle=|\lambda|^2\|v\|^2, \]其中第二步用第一变元齐性,第三步用命题 6.6(e),并用了 \(\lambda\overline{\lambda}=|\lambda|^2\)。两边开平方即得。 \(\blacksquare\)
由此得到一条贯穿全章的经验法则:处理范数时,先平方、后开方几乎总是更方便——平方之后才能动用内积的代数性质。下文三大结果的证明都将遵循这一策略。
正交、正交分解与勾股定理
若 \(\langle u,v\rangle=0\),则称 \(u,v\) 正交,记作 \(u\perp v\)。由共轭对称,\(\langle u,v\rangle=0\) 当且仅当 \(\langle v,u\rangle=0\),故正交关系是对称的。又称向量 \(u\) 与子集 \(S\subseteq V\) 正交,若 \(u\) 与 \(S\) 中每个向量都正交;与向量组正交,即与其每个成员正交。
词源上,orthogonal 来自希腊语"直角"之意:在 \(\mathbb{R}^2\)、\(\mathbb{R}^3\) 中(取欧几里得内积),两个非零向量正交,当且仅当它们夹角的余弦为零,即通常几何意义下互相垂直。因此"正交"就是"垂直"在抽象内积空间中的正式名字。
(a) 零向量 \(0\) 与 \(V\) 中每个向量正交;(b) \(0\) 是 \(V\) 中唯一与自身正交的向量。
证明。(a) 即命题 6.6(b)。\quad (b) 若 \(\langle v,v\rangle=0\),由确定性得 \(v=0\)。 \(\blacksquare\)
设 \(u,v\in V\) 且 \(u\perp v\),则
\[ \|u+v\|^2=\|u\|^2+\|v\|^2. \]证明。按"先平方"的策略展开:
\[ \|u+v\|^2=\langle u+v,\,u+v\rangle=\langle u,u\rangle+\langle u,v\rangle+\langle v,u\rangle+\langle v,v\rangle. \]由假设 \(\langle u,v\rangle=0\)。下面分两种情形看交叉项:实空间中,对称性给出 \(\langle v,u\rangle=\langle u,v\rangle=0\);复空间中,共轭对称给出 \(\langle v,u\rangle=\overline{\langle u,v\rangle}=\overline{0}=0\)。统一地说,交叉项之和
\[ \langle u,v\rangle+\langle v,u\rangle=\langle u,v\rangle+\overline{\langle u,v\rangle}=2\operatorname{Re}\langle u,v\rangle \]因 \(\langle u,v\rangle=0\) 而消失。于是 \(\|u+v\|^2=\|u\|^2+\|v\|^2\)。 \(\blacksquare\)
在实内积空间中,勾股等式等价于正交(交叉项恰为 \(2\langle u,v\rangle\))。但在复空间中并非如此:取一维复内积空间 \(V=\mathbb{C}\),令 \(u=1\)、\(v=i\),则 \(\langle u,v\rangle=1\cdot\overline{i}=-i\ne 0\),然而 \(\|1+i\|^2=2=1+1=\|1\|^2+\|i\|^2\)。原因在于复情形的交叉项是 \(2\operatorname{Re}\langle u,v\rangle=2\operatorname{Re}(-i)=0\):"勾股等式"只要求内积的实部为零,比正交弱。
设 \(u,v\in V\) 且 \(v\ne 0\)。令
\[ c=\frac{\langle u,v\rangle}{\|v\|^2},\qquad w=u-\frac{\langle u,v\rangle}{\|v\|^2}\,v, \]则 \(u=cv+w\) 且 \(\langle w,v\rangle=0\)。
推导。我们希望把 \(u\) 写成"平行于 \(v\) 的分量加上垂直于 \(v\) 的分量":设 \(u=cv+(u-cv)\),要求 \(v\perp(u-cv)\),即
\[ 0=\langle u-cv,\,v\rangle=\langle u,v\rangle-c\|v\|^2, \]解出 \(c=\langle u,v\rangle/\|v\|^2\) 即可;此时 \(w=u-cv\) 满足 \(\langle w,v\rangle=0\)。 \(\blacksquare\)
正交分解是本节最常用的工具之一:原书正是借助它(配合勾股定理)给出柯西–施瓦茨不等式的一个一行证明;6.B 的 Gram–Schmidt 正交化与 6.C 的正交投影,也都是以它为雏形。
柯西–施瓦茨不等式
设 \(u,v\in V\),则
\[ |\langle u,v\rangle|\le\|u\|\,\|v\|, \]且等号成立当且仅当 \(u,v\) 之一是另一个的标量倍数(即 \(u,v\) 线性相关)。
证明(判别式法)。先处理退化情形:若 \(v=0\),则 \(|\langle u,v\rangle|=|\langle u,0\rangle|=0\) 且 \(\|v\|=0\),不等式两边同时为零,结论成立。以下设 \(v\ne 0\),从而 \(\|v\|^2=\langle v,v\rangle\) 是正实数。
对任意 \(t\in\mathbb{F}\),由正定性,
\[ 0\le\langle u-tv,\,u-tv\rangle=\|u\|^2-t\langle v,u\rangle-\overline{t}\,\langle u,v\rangle+|t|^2\|v\|^2, \]其中用到了第一变元的加性与齐性、第二变元的共轭齐性,以及 \(|t|^2=t\overline{t}\)。现在取
\[ t=\frac{\langle u,v\rangle}{\|v\|^2},\qquad\text{于是}\qquad \overline{t}=\frac{\overline{\langle u,v\rangle}}{\|v\|^2}=\frac{\langle v,u\rangle}{\|v\|^2} \](注意 \(\|v\|^2\) 是实数,可自由进出共轭)。代入上式,三个含 \(t\) 的项合并为
\[ 0\le\|u\|^2-\frac{\langle u,v\rangle\langle v,u\rangle}{\|v\|^2}-\frac{\langle v,u\rangle\langle u,v\rangle}{\|v\|^2}+\frac{|\langle u,v\rangle|^2}{\|v\|^2}=\|u\|^2-\frac{|\langle u,v\rangle|^2}{\|v\|^2}. \]因此 \(|\langle u,v\rangle|^2\le\|u\|^2\|v\|^2\),两边开平方即得欲证不等式。
等号条件。上述推理中不等号取等,当且仅当最初的正定性表达式 \(\langle u-tv,u-tv\rangle=0\),即 \(u=tv\)。反之,若 \(u,v\) 之一是另一个的标量倍数(包括其中之一为零向量的情形),直接代入即可验证等号成立。 \(\blacksquare\)
原书经由命题 6.13 把 \(u\) 分解为平行于 \(v\) 的分量与垂直分量 \(w\),再用勾股定理:
\[ \|u\|^2=\frac{|\langle u,v\rangle|^2}{\|v\|^2}+\|w\|^2\;\ge\;\frac{|\langle u,v\rangle|^2}{\|v\|^2}, \]一步得到结论,并立即读出等号条件 \(w=0\iff u\) 是 \(v\) 的倍数。两条路线本质相同:都把" \(u\) 到 \(v\) 所在直线的距离非负"翻译成一个非负二次表达式。历史上,Cauchy 于 1821 年证明了有限和的情形;其学生 Bunyakovsky 于 1859 年推广到积分形式;数十年后 Schwarz 的独立发现使这一不等式广为人知。
(a) 对任意实数 \(x_1,\dots,x_n,y_1,\dots,y_n\),
\[ (x_1y_1+\cdots+x_ny_n)^2\le(x_1^2+\cdots+x_n^2)(y_1^2+\cdots+y_n^2), \]这只需对 \(\mathbb{R}^n\) 中的向量 \((x_1,\dots,x_n)\) 与 \((y_1,\dots,y_n)\) 用 6.14。
(b) 对 \([-1,1]\) 上的实值连续函数 \(f,g\),
\[ \bigg|\int_{-1}^{1}f\,g\bigg|^2\le\bigg(\int_{-1}^{1}f^2\bigg)\bigg(\int_{-1}^{1}g^2\bigg), \]这只需对例 6.3(c) 的函数内积空间用 6.14。这类积分不等式用初等方法并不容易证明,而在这里是内积理论的直接推论——这正是公理化方法的力量。
如上图所示,在实内积空间中可以对非零向量 \(u,v\) 定义夹角 \(\theta\in[0,\pi]\):令 \(\cos\theta=\langle u,v\rangle/(\|u\|\|v\|)\)。柯西–施瓦茨不等式恰好保证 \(|\cos\theta|\le 1\),使这个定义有意义;原书 6.A 练习 15 要求用余弦定理验证它与通常的夹角一致,练习 16 进一步指出,高维空间 \(\mathbb{R}^n\) 中"夹角"正是用这个公式来定义的。于是 \(|\langle u,v\rangle|=\|u\|\|v\|\cos\theta\):内积在"长度乘积"中度量了方向的一致程度,而正交就是其中的极端情形 \(\theta=90^\circ\)。
三角不等式与平行四边形恒等式
设 \(u,v\in V\),则
\[ \|u+v\|\le\|u\|+\|v\|, \]且等号成立当且仅当 \(u,v\) 之一是另一个的非负实倍数。
证明。继续"先平方"的策略:
\[ \|u+v\|^2=\langle u+v,u+v\rangle=\|u\|^2+\|v\|^2+\langle u,v\rangle+\langle v,u\rangle. \]关键一步(复数情形的细节):由共轭对称 \(\langle v,u\rangle=\overline{\langle u,v\rangle}\),而任一复数与其共轭之和等于实部的两倍,故
\[ \langle u,v\rangle+\langle v,u\rangle=\langle u,v\rangle+\overline{\langle u,v\rangle}=2\operatorname{Re}\langle u,v\rangle\le 2\,|\langle u,v\rangle|, \]这里用了"实部不超过模"。于是,先用上式、再用柯西–施瓦茨不等式 6.14:
\[ \|u+v\|^2\le\|u\|^2+\|v\|^2+2|\langle u,v\rangle|\le\|u\|^2+\|v\|^2+2\|u\|\|v\|=(\|u\|+\|v\|)^2. \]两边开平方即得 \(\|u+v\|\le\|u\|+\|v\|\)。
等号条件。需要上面两处不等号同时取等。第一处取等要求 \(\operatorname{Re}\langle u,v\rangle=|\langle u,v\rangle|\),即 \(\langle u,v\rangle\) 是非负实数;第二处取等由 6.14 的等号条件,要求 \(u,v\) 线性相关。两个条件合并,即得 \(u,v\) 之一是另一个的非负实倍数。 \(\blacksquare\)
三角不等式即"三角形任一边长不超过另两边之和";等价地说,从原点出发先沿 \(u\) 再沿 \(v\) 走到 \(u+v\),折线路程 \(\|u\|+\|v\|\) 不短于直线距离 \(\|u+v\|\)——"两点之间直线最短"(对照图 1 中的绿色虚线折线与红色对角线)。由归纳法还可得:连接两点的折线中,单条直线段最短。
设 \(u,v\in V\),则
\[ \|u+v\|^2+\|u-v\|^2=2\|u\|^2+2\|v\|^2. \]证明。把两个平方都按内积展开:交叉项在第一式中为 \(\langle u,v\rangle+\langle v,u\rangle\),在第二式中为 \(-\langle u,v\rangle-\langle v,u\rangle\),相加恰好抵消,只剩 \(2\|u\|^2+2\|v\|^2\)。 \(\blacksquare\)
几何意义:平行四边形两条对角线长度的平方和等于四条边长度的平方和。值得指出,平行四边形恒等式还是"范数来自内积"的特征性质(Jordan–von Neumann 定理):一个范数能写成 \(\sqrt{\langle v,v\rangle}\) 的形式,当且仅当它满足该恒等式。例如 \(\mathbb{R}^2\) 上的范数 \(\|(x,y)\|=\max\{|x|,|y|\}\) 不满足它(取 \(u=(1,0)\)、\(v=(0,1)\),左边为 \(2\),右边为 \(4\)),故不可能由任何内积导出。
正交组与标准正交组
有了正交与范数,就可以谈论"互相垂直的单位向量组"了。(说明:原书把下述内容安排在 6.B 的开头,编号 6.22–6.25;因它与 6.A 的正交概念一脉相承,本页在此一并介绍,编号沿用原书。)
\(V\) 中向量组 \(e_1,\dots,e_m\) 称为标准正交组,如果其中每个向量的范数都是 \(1\),且组内向量两两正交,即
\[ \langle e_j,e_k\rangle=\begin{cases}1,& j=k,\\ 0,& j\ne k,\end{cases}\qquad j,k\in\{1,\dots,m\}. \]只要求两两正交(不要求范数为 \(1\))的组称为正交组 (orthogonal list);把正交组中每个向量除以自身的范数,便得到标准正交组。
(a) \(\mathbb{F}^n\) 的标准基 \((1,0,\dots,0),\dots,(0,\dots,0,1)\) 是标准正交组。
(b) \(\mathbb{F}^3\) 中的组 \(\big(\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3},\tfrac{1}{\sqrt3}\big),\big(-\tfrac{1}{\sqrt2},\tfrac{1}{\sqrt2},0\big)\) 标准正交:两个向量的范数平方分别为 \(\tfrac13+\tfrac13+\tfrac13=1\) 与 \(\tfrac12+\tfrac12=1\),而内积为 \(\tfrac{-1+1+0}{\sqrt6}=0\)。
(d)(计算演示)在 \(C[-\pi,\pi]\)(区间 \([-\pi,\pi]\) 上实值连续函数全体,内积 \(\langle f,g\rangle=\int_{-\pi}^{\pi}fg\))中考察 \(\cos x\) 与 \(\sin x\):首先
\[ \langle\sin x,\cos x\rangle=\int_{-\pi}^{\pi}\sin x\cos x\,dx=0, \]因为被积函数 \(\sin x\cos x=\tfrac12\sin 2x\) 是奇函数,在对称区间上的积分为零;其次
\[ \|\sin x\|^2=\int_{-\pi}^{\pi}\frac{1-\cos 2x}{2}\,dx=\pi,\qquad \|\cos x\|^2=\int_{-\pi}^{\pi}\frac{1+\cos 2x}{2}\,dx=\pi. \]因此 \(\big(\tfrac{\cos x}{\sqrt\pi},\tfrac{\sin x}{\sqrt\pi}\big)\) 是标准正交组;再配上常值函数 \(\tfrac{1}{\sqrt{2\pi}}\),并继续加入 \(\tfrac{\cos 2x}{\sqrt\pi},\tfrac{\sin 2x}{\sqrt\pi},\dots\),便得到原书例 6.23(d)(亦是 6.B 练习 4)中的标准正交组——用积化和差公式可验证不同频率两两正交。这组三角函数正是 Fourier 级数理论的地基:6.C 将借助它把"最佳平方逼近"化为简单的内积计算(例如求 \(\sin x\) 的五次最佳多项式逼近)。
设 \(e_1,\dots,e_m\) 是 \(V\) 中标准正交组,\(a_1,\dots,a_m\in\mathbb{F}\),则
\[ \|a_1e_1+\cdots+a_me_m\|^2=|a_1|^2+\cdots+|a_m|^2. \]证明。按内积展开并逐项计算:
\[ \Big\langle\sum_{j=1}^m a_je_j,\;\sum_{k=1}^m a_ke_k\Big\rangle=\sum_{j=1}^m\sum_{k=1}^m a_j\overline{a_k}\,\langle e_j,e_k\rangle=\sum_{k=1}^m|a_k|^2, \]最后一步用了 \(\langle e_j,e_k\rangle\) 仅在 \(j=k\) 时等于 \(1\)、其余情形为零(注意第一变元提出 \(a_j\)、第二变元提出 \(\overline{a_k}\))。也可对 \(m\) 归纳、反复使用勾股定理 6.12。 \(\blacksquare\)
这是勾股定理的"坐标版":各分量的"能量"直接相加。例如在 \(C[-\pi,\pi]\) 中,函数 \(f=\cos x+\sin x\) 满足 \(\|f\|^2=\pi+\pi=2\pi\)。
每个标准正交组都线性无关。
证明。设 \(a_1e_1+\cdots+a_me_m=0\)。由 6.24,
\[ 0=\|a_1e_1+\cdots+a_me_m\|^2=|a_1|^2+\cdots+|a_m|^2. \]非负实数之和为零,必逐项为零,故 \(a_1=\cdots=a_m=0\)。 \(\blacksquare\)
本节小结与展望。至此,我们完成了从代数到几何的关键一步:内积给出长度(范数)与角度(夹角),正交把"垂直"安放进任意维的抽象空间;柯西–施瓦茨不等式、三角不等式与勾股定理构成度量理论的骨架;标准正交组则预告了"给空间装上直角坐标系"的可能。下一节 6.B 将证明每个有限维内积空间都有标准正交基(Gram–Schmidt 正交化),它使坐标计算与内积计算浑然一体;6.C 的正交投影与最小化问题、第 7 章的伴随算子与谱定理,都是把"垂直"这件看似简单的小事变成强大工具的典范。
练习
练习 6.A-1
在 \(\mathbb{R}^2\) 上定义 \(\langle(x_1,x_2),(y_1,y_2)\rangle=x_1y_1+2x_2y_2\)。验证它是内积(即例 6.3(b) 取 \(c_1=1,c_2=2\) 的情形),计算 \(\|(1,1)\|\),并求一个与 \((1,1)\) 正交的单位向量。
解答加性与齐性显然;对称性显然;正定性:\(\langle x,x\rangle=x_1^2+2x_2^2\ge 0\),且它为零当且仅当 \(x_1=x_2=0\)。故它是内积。其次 \(\|(1,1)\|^2=1+2=3\),故 \(\|(1,1)\|=\sqrt3\)。设 \((a,b)\perp(1,1)\),即 \(a+2b=0\),取 \((a,b)=t(-2,1)\);由 \(\|t(-2,1)\|^2=t^2(4+2)=6t^2=1\) 得 \(t=\pm\tfrac{1}{\sqrt6}\)。故 \(\tfrac{1}{\sqrt6}(-2,1)\) 即为所求(其相反向量亦然)。
练习 6.A-2
(极化恒等式,原书 6.A 练习 26)设 \(V\) 是实内积空间。证明对一切 \(u,v\in V\),
\[ \langle u,v\rangle=\frac{\|u+v\|^2-\|u-v\|^2}{4}. \]解答
展开:\(\|u+v\|^2=\|u\|^2+\|v\|^2+2\langle u,v\rangle\),\(\|u-v\|^2=\|u\|^2+\|v\|^2-2\langle u,v\rangle\)(实空间中共轭对称即对称)。两式相减得 \(4\langle u,v\rangle\),移项即证。这说明在实内积空间中,内积完全由范数决定。(复空间也有极化恒等式,见原书 6.A 练习 27,需再借助 \(\|u\pm iv\|^2\) 两项。)
练习 6.A-3
补出定理 6.14 中等号条件的完整论证:\(|\langle u,v\rangle|=\|u\|\|v\|\) 当且仅当 \(u,v\) 线性相关。
解答充分性:若 \(u=tv\)(或 \(v=tu\)),则 \(|\langle u,v\rangle|=|t|\|v\|^2=|t|\|v\|\cdot\|v\|=\|u\|\|v\|\);若其一为零向量,两边同时为零。必要性:设 \(v\ne 0\)(否则显然)。在判别式法证明中取 \(t=\langle u,v\rangle/\|v\|^2\),则等号成立当且仅当 \(\langle u-tv,u-tv\rangle=0\),由确定性即 \(u=tv\)。特例:若 \(\langle u,v\rangle=0\) 且等号成立,则 \(\|u\|\|v\|=0\),故其一为零向量,仍线性相关。
练习 6.A-4
在 \(C[-1,1]\)(实值连续函数,\(\langle f,g\rangle=\int_{-1}^1fg\))中:(a) 证明 \(x\) 与 \(x^2\) 正交;(b) 计算 \(\langle x^2,|x|\rangle\) 与 \(\|x\|\);(c) 求 \(\|x+x^2\|^2\)。
解答(a) \(\langle x,x^2\rangle=\int_{-1}^{1}t^3\,dt=0\),因被积函数是奇函数。(b) \(\langle x^2,|x|\rangle=\int_{-1}^{1}t^2|t|\,dt=2\int_0^1t^3\,dt=\tfrac12\);\(\|x\|^2=\int_{-1}^1t^2dt=\tfrac23\),故 \(\|x\|=\sqrt{2/3}\)。(c) 由 (a) 及勾股定理 6.12,\(\|x+x^2\|^2=\|x\|^2+\|x^2\|^2=\tfrac23+\tfrac25=\tfrac{16}{15}\)。
练习 6.A-5
(Bessel 不等式,原书 6.26)设 \(e_1,\dots,e_m\) 是 \(V\) 中标准正交组,\(v\in V\)。令 \(w=v-\sum_{k=1}^m\langle v,e_k\rangle e_k\)。证明 \(w\) 与每个 \(e_j\) 正交,并由此证明
\[ \sum_{k=1}^m|\langle v,e_k\rangle|^2\le\|v\|^2. \]解答
利用第一变元的线性与 \(\langle e_k,e_j\rangle=\delta_{kj}\):
\(\displaystyle \langle w,e_j\rangle=\langle v,e_j\rangle-\sum_{k=1}^m\langle v,e_k\rangle\langle e_k,e_j\rangle=\langle v,e_j\rangle-\langle v,e_j\rangle=0\).
于是 \(v=\sum_{k}\langle v,e_k\rangle e_k+w\) 是"标准正交组合 + 正交剩余"的分解;由 6.24 与勾股定理(归纳地用于多个两两正交向量),
\(\displaystyle \|v\|^2=\Big\|\sum_k\langle v,e_k\rangle e_k\Big\|^2+\|w\|^2=\sum_{k=1}^m|\langle v,e_k\rangle|^2+\|w\|^2\ge\sum_{k=1}^m|\langle v,e_k\rangle|^2\).
这正是 Bessel 不等式;它保证 6.B 中"按标准正交基展开"的系数平方和收敛且不超过 \(\|v\|^2\)。