前言
随着对机器学习的深入学习，越发觉得对其中的方法难以理解，而这些方法大多涉及到一些数学知识，这对于在大学没有上过数学课程的我而言，实在非常痛苦。所以，我下定决心，决定自学线性代数。由于是自学，那么对学习材料的要求自然是非常高的。经过综合考量，我选择了《线性代数及其应用》这本书，这本书非常地详尽，适合入门者学习。当然，我还会学习一些其他的材料，这里就不再赘述了。
第一章
1.1 线性方程组
线性方程：包含未知数 的一个线性方程是形如$ a_1 x_1+a_2 x_2+⋯a_n x_n=b $的方程，其中与系数是实数或复数，通常是已知数。下标可以是任意正整数。
线性方程组：线性方程组是由一个或几个包含相同变量$x_1,x_2,⋯x_n$的线性方程组成的。线性方程组的一组解是一组数$(s_1,s_2,⋯s_n )$。
线性方程组的解有下列三种情况：
- 无解.
- 有唯一解.
- 有无穷多解.
若一个线性方程组有一个解或无穷多个解，则它是相容的；若它无解，则为不相容。
系数矩阵：由线性方程组的系数组成的矩阵。
增广矩阵：增广矩阵是在线性代数中系数矩阵的右边添上线性方程组等号右边的常数列得到的矩阵。
线性方程组的解法：
基本思想：把方程组用一个更容易解的等价方程组代替。
三种基本变换:
- 把某一个方程换成与另一个方程的倍数的和；
- 交换两个方程的位置；
- 把某一方程的所有的项乘以一个非零常数。
这三种基本变换对应于矩阵的行初等变换（倍加变换，对换变换，倍乘变换）。
行变换是可逆的。若两个线性方程组的增广矩阵是行等价的，则它们具有相同的解集。
线性方程组的两个基本问题：
- 方程组是否相容，即它是否至少有一个解？
- 若它有解，它是否只有一个解，即解是否唯一？
1.2 行化简与阶梯形矩阵
矩阵中非零行或列指矩阵中至少包含一个非零元素的行或列。
非零行的先导元素是指该行中最左边的非零元素。
一个矩阵称为阶梯形（或行阶梯形），则它有以下三个性质：
- 每一非零行在每一零行之上
- 某一行的先导元素所在的列位于前一行向导元素的右面
- 某一个先导元素所在列下方元素都是零
若一个阶梯形矩阵还满足以下性质，称它为简化阶梯形（或简化行阶梯形）：
- 每一非零行的先导元素是1
- 每一先导元素1是该元素所在列的唯一非零元素
简化阶梯形矩阵的唯一性：每个矩阵行等价于唯一的简化阶梯形矩阵。
主元位置：矩阵中的主元位置是$A$中对应于它的阶梯形中先导元素。主元列是$A$的含有主元位置的列。
行化简算法：用行初等变换把矩阵化为阶梯形，再化为简化阶梯形。
线性方程的解：对应主元列的变量称为基本变量，其他变量称为自由变量。所有解的显示表示称为通解。
存在与唯一性定理：线性方程组相容的充要条件是增广矩阵的最右列不是主元列。也就是说，增广矩阵的阶梯形没有形如：$[0 ··· 0b] b ≠ 0 $的行，若线性方程组相容，它的解集可能有两种情形：
- 当没有自由变量时，有唯一解
- 若至少有一个自由变量，有无穷多个解
1.3 向量方程
仅含一列的矩阵称为列向量，或简称向量。
所有$n$个元素的向量的集记为$ \mathbb{R}^{n} $，$ \mathbb{R} $表示向量中的元素是实数，指数$n$表示每个向量包含$n$个元素。 $ \mathbb{R}^{n} $ 中两个向量相等，当且仅当对应元素相等，因此，我们称$ \mathbb{R}^{n} $中向量是实数的有序对。
线性组合：给定$ \mathbb{R}^{n} $中向量$v_1,v_2,…,v_p$ 和标量$c_1,c_2,…,c_p$，向量$y=c_1 v_1+⋯+c_p v_p$
称为向量$ v_1,v_2,…,v_p $以$ c_1,c_2,…,c_p $ 为权的线性组合。（在一组数据里，一个数据出现的次数称为权）
若$v_1,v_2,…,v_p $是$ \mathbb{R}^{n} $中的向量，则$v_1,v_2,…,v_p$ 的所有线性组合所成的集合用记号表示，称为由$v_1,v_2,…,v_p $所生成（或张成）的$ \mathbb{R}^{n} $的子集，也就是说，是所有形如$c_1 v_1+c_2 v_2+…+c_p v_p$的向量的集合，其中$c_1,c_2,…,c_p$ 为标量。
1.4 矩阵方程Ax = b
向量的线性组合可以看作是矩阵与向量的积：若$A$是$m×n$矩阵，它的各列为$a_1,⋯,a_n$，若$x$是$ \mathbb{R}^{n} $ 中向量，则$A$与$x$的积，记为$Ax$，就是 ，当且仅当$A$的列数等于$x$中元素个数时才有定义。
解的存在性：方程$Ax=b$有解当且仅当$b$是$A$的各列的线性组合。
设$A$是$m×n$矩阵（系数矩阵），则下列命题是逻辑上等价的，也就是说，对某个$A$，它们都成立或者都不成立。
- 对$ \mathbb{R}^{n} $中每个$b$，方程$Ax=b$有解。
- $ \mathbb{R}^{n} $ 中的每个$b$是$A$的列的一个线性组合。
- $A$的各列生成$ \mathbb{R}^{n} $ 。
- $A$在每一行都有一个主元位置。
单位矩阵：主对角线上元素为1，其他位置上元素为0的矩阵。
若$A$是$m×n$矩阵，$u$和$v$是$ \mathbb{R}^{n} $中向量，$c$是标量，则
- $A(u+v) = Au+Av$
- $A(cu) = c(Au)$
1.5 线性方程组的解集
齐次线性方程组：若线性方程组可写成$Ax=0$的形式，其中$A$是$m×n$矩阵，而0是$ \mathbb{R}^{n} $中的零向量。 $x=0$称为它的平凡解；齐次方程$Ax=0$有非平凡解，当且仅当方程至少有一个自由变量。
把相容方程组的解集表示成参数向量形式：
- 把增广矩阵行化简为简化阶梯形
- 把每个基本变量用自由变量表示
- 把一般解$x$表示成向量，如果有自由变量，其元素依赖于自由变量
- 把$x$分解为向量（元素为常数）的线性组合，用自由变量作为参数
1.6 线性方程组的应用
用例子来说明有多解的线性方程组是如何产生的，例子包括列昂惕夫的“投入-产出”模型，化学方程式配平，以及网络流。
1.7 线性无关
$ \mathbb{R}^{n} $中一组向量${v_1,v_2,…,v_p }$称为线性无关的，若向量方程$x_1 v_1+x_2 v_2+…+x_p v_p=0$ 仅有平凡解。向量组（集）${v_1,v_2,…,v_p }$称为线性相关，若存在不全为零的权$c_1,…,c_p$，使$c_1 v_1+⋯+c_p v_p=0$。
线性相关集的特征：两个或更多个向量的集合$S={v_1,v_2,…,v_p }$线性相关，当且仅当$S$中至少有一个向量是其他向量的线性组合，事实上，若$S$线性相关，且$v_1≠0$，则某个$v_j(j>1)$ 是它前面几个向量$v_1,…,v_{j-1}$ 的线性组合。（注意：线性相关集中某个向量可能不是其他向量的线性组合。）
线性相关的条件：若一个向量组的向量个数超过每个向量元素个数，那么这个向量组线性相关。就是说，$ \mathbb{R}^{n} $中任意向量组${v_1,v_2,…,v_p }$，当$p>n$时线性相关。（因为有自由变量） 若向量组$S={v_1,v_2,…,v_p }$包含零向量，则它线性相关。
线性相关集的特征的证明：若$S$中某个$v_j $是其他向量的线性组合，那么把方程两边减去$v_j$就产生一个线性关系，其中$v_j$ 的权为（-1），例如，若$v_1=c_2 v_2+c_3 v_3$，那么$0=(−1) v_1+c_2 v_2+c_3 v_3+0v_4+⋯+0v_p $于是$S$线性相关。反之，设$S$线性相关。若$v_1 $为零，则它是$S$中其他向量的一个（平凡）线性组合。若不为零，存在$c_1,…,c_p$ 不全为零，使$c_1 v_1+c_2 v_2+…+c_p v_p=0$。设$j$是使$C_j≠0$，的最大下标。若$j=1$则$c_1 v_1=0$，这是不可能的，因$v_1≠0$，故$j>1$。而
1.8 线性变换介绍
解方程$Ax=b$实际上是要求出$ \mathbb{R}^{n} $中所有经过乘以$A$的“作用”后变为$b$的向量$x$。那么，由$x$到$Ax$的对应就是由一个向量集到另一个向量集的函数。
由$ \mathbb{R}^{n} $到$ \mathbb{R}^{m} $ 的一个变换（或称函数、映射）$T$是一个规则，它把$ \mathbb{R}^{n} $中每个向量$x$对应以$ \mathbb{R}^{m} $中的一个向量$T(x)$。集$ \mathbb{R}^{n} $ 称为$T$的定义域，而$ \mathbb{R}^{m} $称为$T$的余定义域（或取值空间）。符号$T： \mathbb{R}^{n} → \mathbb{R}^{m} $ 说明$T$的定义域是$ \mathbb{R}^{n} $而余定义域是$ \mathbb{R}^{m} $，对于$ \mathbb{R}^{n} $中向量$x$，$ \mathbb{R}^{m} $中向量$T(x)$称为$x$（在$T$作用下）的像。所有像$T(x)$的集合称为$T$的值域。
矩阵变换：有关矩阵乘法的映射。对$ \mathbb{R}^{n} $中每个$x$，$T(x)$由$Ax$计算得到，其中$A$是$m×n$矩阵，为简单起见，有时将这样一个矩阵变换记为$x→Ax$，注意当$A$有$n$列时，$T$的定义域为$ \mathbb{R}^{n} $，而当$A$的每个列有$m$个元素时，$T$的余定义域为$ \mathbb{R}^{m} $，$T$的值域为$A$的列的所有线性组合的集合，因为每个像$T(x)$有$Ax$的形式。
线性变换的性质：变换（或映射）T称为线性的，若
- 对$T$的定义域中一切$u,v，T(u+v)=T(u)+T(v)$
- 对一切$u$和标量$T(cu)=cT(u)$ 由上面性质得出：若$T$是线性变换，则$T(0)=0$且对$T$的定义域中一切向量$u$和$v$以及数$c$和$d$有：$T(cu+dv)=cT(u)+dT(v)$
1.9 线性变换的矩阵
设$T$:$ \mathbb{R}^{n} → \mathbb{R}^{m} $ 为线性变换，则对$ \mathbb{R}^{n} $中一切$x$，存在唯一的矩阵$A$，使$T(x)=Ax$， 事实上，$A$是$m×n$矩阵，它的第$j$列是向量$T(e_j )$，其中$e_j $是单位矩阵$I_n $的第$j$列：$ A=[T(e_1 )⋯T(e_n )] $ 矩阵$A$称为线性变换$T$的标准矩阵。
证明：记，由于$T$是线性变换，知 由$ \mathbb{R}^{n} $到$ \mathbb{R}^{m} $的每个线性变换都是矩阵变换，反之亦然。
线性变换强调映射的性质，而矩阵变换描述这样的映射如何实现。
存在与唯一性问题：
满射：映射T:$ \mathbb{R}^{n} → \mathbb{R}^{m} $称为到$ \mathbb{R}^{m} $上的映射，若$ \mathbb{R}^{m} $中任一$b$都至少有一个$ \mathbb{R}^{n} $中的$x$与之对应。
“$T$是否把$ \mathbb{R}^{n} $映到$ \mathbb{R}^{m} $上”（T的值域是否是整个余定义域$ \mathbb{R}^{m} $）是存在性问题。
单射：映射T:$ \mathbb{R}^{n} → \mathbb{R}^{m} $称为一对一映射，若$ \mathbb{R}^{m} $中每个$b$是$ \mathbb{R}^{n} $中至多一个$x$的像。
“$T$是否是一对一的”（$ \mathbb{R}^{m} $中是否有某个$b$是$ \mathbb{R}^{n} $中多个向量的像）是唯一性问题。
设$ T: \mathbb{R}^{n} → \mathbb{R}^{m} $为线性变换，则$T$是一对一当且仅当方程$Ax=0$仅有平凡解。
设$ T: \mathbb{R}^{n} → \mathbb{R}^{m} $ 是线性变换，设$A$为$T$的标准矩阵，则
- $T$把$ \mathbb{R}^{n} $映到$ \mathbb{R}^{m} $，当且仅当的列生成$ \mathbb{R}^{m} $ 。
- $T$是一对一的,当且仅当$A$的列线性无关。
1.10 经济学、科学和工程中的线性模型
线性差分方程（或递归关系）：如果有矩阵$A$使$x_1=Ax_0，x_2=Ax_1$，一般地， $x_{k+1}=Ax_k,k=0,1,2,⋯$
总结
本章从线性方程组开始讲起，介绍了线性方程组的求解方法，将线性方程组与向量方程与矩阵方程相联系，了解线性表示，线性无关，线性转换的基本概念。
