第六章 正交性和最小二乘法
6.1 内积、长度和正交性
内积：$u$和$v$是$n×1$矩阵，则其内积表示为.
设$v$,$u$和$w$是$\mathbb{R}^{n}$空间的向量，$c$是一个数，那么
- $u\cdot v=v\cdot u$.
- $(u+v)\cdot w=u\cdot w+v\cdot w$.
- $(cu)\cdot v=c(u\cdot v)=u\cdot (cv)$.
- $u\cdot u\geqslant 0$，并且$u\cdot u=0$成立的充分必要条件是$u=0$.
向量的长度：向量$v$的长度（范数）是非负数$\left | v \right |$，定义为$\left | v \right |=\sqrt{v\cdot v}=\sqrt{v_{1}^{2}+v_{2}^{2}+\cdots +v_{n}^{2}}$，且$\left | v \right |^{2}=v\cdot v$.
长度为1向量称为单位向量，如果把一个非零向量除以自身的长度，即乘$\frac{1}{\left | v \right |}$，就可以得到单位化的向量，$u=\frac{v}{\left | v \right |}$. 这种把向量$v$化成单位向量$u$的过程，称为向量$v$的单位化，且此时$u$和$v$方向一致.
$\mathbb{R}^{n}$中向量$u$和$v$的距离，记为$dist(u,v)$，表示向量$u-v$的长度，即$dist(u,v)=\left | u-v \right |$.
如果$u\cdot v=0$，则两个向量$u$和$v$称为（相互）正交的.（两个向量相互垂直）
由$0^{T}\cdot v=0$对任意$v$都成立，可以得出零向量与任意向量正交.
毕达哥拉斯（勾股）定理：两个向量$u$和$v$正交的充分必要条件是$\left | u+v \right |^{2}=\left | u \right |^{2}+\left | v \right |^{2}$.
如果向量$z$与$\mathbb{R}^{n}$的子空间$W$中的任意向量都正交，则称$z$正交于$W$.与子空间$W$正交的向量$z$的全体组成的集合称为$W$的正交补，并记作$W^{\perp }$（$W^{\perp }$读作$W$正交补）.
$W^{\perp }$的性质：
- 向量$x$属于$W^{\perp }$的充分必要条件是向量$x$与生成空间$W$的任一向量都正交.
- $W^{\perp }$是$\mathbb{R}^{n}$的一个子空间.
假设$A$是$m×n$矩阵，那么$A$的行向量空间的正交补空间是$A$的零空间，且$A$的列向量空间的正交补是$A^{T}$的零空间：$(RowA)^{\perp }=Nul\,A$，且$(ColA)^{\perp }=NulA^{T}$.
$\mathbb{R}^{2}$空间和$\mathbb{R}^{3}$空间的角度：如果$u$和$v$是$\mathbb{R}^{2}$或$\mathbb{R}^{3}$中的非零向量，那么可以用内积，将从原点到点$u$和原点到点$v$的两个线段之间的夹角联系起来，对应的公式是$u\cdot v=\left | u \right | \ \left | v \right |cos\upsilon $.
6.2 正交集
$\mathbb{R}^{n}$中的向量集合$\begin{Bmatrix}u_1,\cdots ,u_p\end{Bmatrix}$称为正交向量集，如果集合中的任意两个向量都正交，即当$i\neq j$时，$u_i\cdot u_j=0$.
如果$S=\begin{Bmatrix}u_1,\cdots ,u_p\end{Bmatrix}$是由$\mathbb{R}^{n}$空间中非零向量构成的正交集，那么$S$是线性无关集，因此构成所生成的子空间$S$的一组基.
$\mathbb{R}^{n}$中子空间$W$的一个正交基是$W$的一个基，且是正交集.
假设$\begin{Bmatrix}u_1,\cdots ,u_p\end{Bmatrix}$是$\mathbb{R}^{n}$中子空间$W$的正交基，对$W$中的每个向量$y$，线性组合$y=c_1u_1+\cdots +c_pu_p$中的权值可以由$c_j=\frac{y\cdot u_j}{u_j\cdot u_j}$（$j=1,\cdot,p$）计算.
正交投影：对$\mathbb{R}^{n}$中给出的非零向量$u$，考虑$\mathbb{R}^{n}$中一个向量$y$分解为两个向量之和的问题，一个向量是向量$u$的数量乘积，另一个向量与$u$垂直.我们期望写成$y=\hat{y}+z$（1），其中$\hat{y}=\alpha u$，$\alpha $是一个数，$z$是一个垂直于$u$的向量.对给定数$\alpha $，记$z=y-\alpha u$，则方程（1）可以满足，那么$y-\hat{y}$和$u$正交的充分必要条件是$0=(y-\alpha u)\cdot u=y\cdot u-(\alpha u)\cdot u=y\cdot u-\alpha(u\cdot u)$，也就是满足方程（1），且$z$与$u$正交的充分必要条件是$\alpha=\frac{y\cdot u}{u\cdot u}$且$\hat{y}=\frac{y\cdot u}{u\cdot u}\cdot u$.向量$\hat{y}$称为$y$在$u$上的正交投影，向量$z$称为$y$垂直$u$的分量.
如果$c$是非零数，且在$\hat{y}$的定义中用$cu$代替$u$，那么$y$在$cu$上的正交投影和$y$在$u$上的正交投影完全一致，因此这个投影可由$u$向量所生成的子空间$L$（经过$u$和原点的直线）说确定。有时用$proj_L\,y$来表示$\hat{y}$，并称之为$y$在$u$上的正交投影，即$\hat{y}=proj_L\,y=\frac{y\cdot u}{u\cdot u}\cdot u$.
如果集合$\begin{Bmatrix}u_1,\cdot ,u_p\end{Bmatrix}$是由单位向量构成的正交集，则它是一个单位正交集. 如果$W$是一个由单位正交集合组成的子空间，那么$\begin{Bmatrix}u_1,\cdot ,u_p\end{Bmatrix}$是$W$的单位正交基，原因是这类集合自然线性无关.
各列形成单位正交基的矩阵的主要性质：
一个$m×n$矩阵$U$具有单位正交列向量的充分必要条件是$U^TU=I$.
假设$U$是一个具有单位正交列的$m×n$矩阵，且$x$和$y$是$\mathbb{R}^{n}$的向量，那么
- $\left | Ux \right |=\left | x \right |$.
- $(Ux)\cdot (Uy)=x\cdot y$.
- $(Ux)\cdot (Uy)=0$的充分必要条件是$x\cdot y=0$.
一个正交矩阵就是一个可逆的方阵$U$，且满足$U^{-1}=U^T$，这样的矩阵具有单位正交列，也具有单位正交行.
6.3 正交投影
正交分解定理：若$W$是$\mathbb{R}^{n}$的一个子空间，那么$\mathbb{R}^{n}$中每一个向量$y$可以唯一表示$y=\hat{y}+z$，此处$\hat{y}$属于$W$且$z$属于$W^T$，实际上，如果$\begin{Bmatrix}u_1,\cdots ,u_p\end{Bmatrix}$是$W$的任意正交基，那么$\hat{y}=\frac{y\cdot u_1}{u_1\cdot u_1}\cdot u_1+\cdots +\frac{y\cdot u_p}{u_p\cdot u_p}u_p$，且$z=y-\hat{y}$.
最佳逼近定理：假设$W$是$\mathbb{R}^{n}$空间中的一个子空间，$y$是$\mathbb{R}^{n}$中的任意向量，$\hat{y}$是$y$在$W$上的正交投影，那么$\hat{y}$是$W$中最接近$y$的点，也就是指$\left | y-\hat{y} \right |< \left | y-v \right |$对所有属于$W$又异于$\hat{y}$的$v$成立.
如果$\begin{Bmatrix}u_1,\cdots ,u_p\end{Bmatrix}$是$\mathbb{R}^{n}$中子空间$W$的正交基，那么$proj_wy=(y\cdot u_1)u_1+(y\cdot u_2)u_2+\cdots +(y\cdot u_p)u_p$.如果$U=[u_1\,u_2\,\cdots \, u_p]$，则$proj_wy=UU^Ty$，对所有$y\in \mathbb{R}^{n}$成立.
6.4 格拉姆-施密特方法
格拉姆-施密特方法是对$\mathbb{R}^{n}$中任何非零子空间，构造正交基或标准正交基的简单算法.
格拉姆-施密特方法:对$\mathbb{R}^{n}$中子空间的一个基$\begin{Bmatrix}x_1,\cdots ,x_p\end{Bmatrix}$，定义
$v_1=x_1$
$v_2=x_2-\frac{x_2\cdot v_1}{v_1\cdot v_1}\cdot v_1$
$v_3=x_3-\frac{x_3\cdot v_1}{v_1\cdot v_1}\cdot v_1-\frac{x_3\cdot v_2}{v_2\cdot v_2}v_2$
$\vdots $
$v_p=x_p-\frac{x_p\cdot v_1}{v_1\cdot v_1}v_1-\frac{x_p\cdot v_2}{v_2\cdot v_2}v_2-\cdots -\frac{x_p\cdot v_{p-1}}{v_{p-1}\cdot v_{p-1}}v_{p-1}$
那么$\begin{Bmatrix}v_1,\cdots ,v_p\end{Bmatrix}$是$W$的一个正交基，此外$Span\begin{Bmatrix}v_1,\cdots ,v_k\end{Bmatrix}=Span\begin{Bmatrix}x_1,\cdots ,x_k\end{Bmatrix}$，其中$1\leqslant k \leqslant p$.
$QR$分解：如果$m×n$矩阵$A$的列线性无关，那么$A$可以分解为$A=QR$，其中$Q$是一个$m×n$矩阵，其列形成$ColA$的一个标准正交基，$R$是一个$n×n$上三角可逆矩阵且在对角线上的元素为正数.
6.5 最小二乘问题
当方程组的解不存在但又需要求解时，最好的办法是寻找$x$,使得$Ax$尽可能接近$b$.考虑$Ax$作为$b$的一个近似，从$b$到$Ax$的距离越小，$\left | b-Ax \right |$的近似程度越好，一般的最小二乘问题就是找出使$\left | b-Ax \right |$尽量小的$x$.
如果$m×n$矩阵$A$和向量$b$属于$\mathbb{R}^{m}$，$Ax=b$的最小二乘解是$\mathbb{R}^{n}$中的$\hat{x}$，使得$\left | b-A\hat{x} \right |\leqslant \left | b-Ax \right |$.
方程$Ax=b$的最小二乘解集和法方程$A^TAx=A^Tb$的非空解集（解通常用$\hat{x}$表示）一致.
矩阵$A^TA$是可逆的充分必要条件是：$A$的列是线性无关的，在这种情形下，方程$Ax=b$有唯一最小二乘解，$\hat{x}$且它有下面的表示$\hat{x}=(A^TA)^{-1}A^Tb$.
当最小二乘解$\hat{x}$用于产生$b$的近似逼近$A\hat{x}$时，从$b$到$A\hat{x}$的距离称为这个近似的最小二乘误差.
给定一个$m×n$矩阵$A$，且具有线性无关的列，取$A=QR$是$A$类似$QR$分解，那么对每一个属于$\mathbb{R}^{m}$的$b$，矩阵$Ax=b$有唯一的最小二乘解，其解为$\hat{x}=R^{-1}Q^Tb$.
6.6 线性模型中的应用
略
6.7 内积空间
向量空间$V$上的内积是一个函数，对每一对属于$V$的向量$u$和$v$，存在一个实数$\left \langle u,v \right \rangle$满足下面公理，对任意属于$V$的$V$的$u,v,w$和所有数$c$：
- $\left \langle u,v \right \rangle=\left \langle v,u \right \rangle$.
- $\left \langle u+v,w \right \rangle=\left \langle u,w \right \rangle + \left \langle v,w \right \rangle$.
- $\left \langle cu,v \right \rangle=c\left \langle u,v \right \rangle$.
- $\left \langle u,u \right \rangle\geqslant 0$，且$\left \langle u,u \right \rangle=0$的充分必要条件是$u=0$.
一个赋予上面内积的向量空间称为内积空间.
柯西-施瓦茨不等式：对空间$V$中任意向量$u$和$v$，有$\begin{vmatrix}\left \langle u,v \right \rangle\end{vmatrix}\leqslant \begin{Vmatrix}u\end{Vmatrix}\; \begin{Vmatrix}v\end{Vmatrix}$.
三角不等式：对属于$V$的所有向量$u,v$，有$\begin{Vmatrix}u+v\end{Vmatrix}\leqslant \begin{Vmatrix}u\end{Vmatrix}+\begin{Vmatrix}v\end{Vmatrix}$.
6.8 内积空间的应用
略
