矩阵

warning

基础的概念就不写了。

矩阵乘法

tip

先来考虑一个问题，对于矩阵乘法

$$A_{m\times\textcolor{red}s}B_{\textcolor{red}{s}\times n}=C_{m\times n}$$

如果我们从 $B,C$ 矩阵的角度考虑，

Details

答案

C 的行向量可以由 B 的行向量线性表示；即新矩阵的每一行都是原矩阵的所有行线性组合得到的，组合系数就是 A 矩阵的每一行。

这也揭示了矩阵乘法的一个性质——左乘表示行变换。

如果我们从 $A,C$ 矩阵的角度考虑呢？

Details

答案

C 的列向量可以由 A 的列向量线性表示；即新矩阵的每一列都是原矩阵的所有列线性组合得到的，组合系数就是 B 矩阵的每一列。

这也揭示了矩阵乘法的另一个性质——右乘表示列变换。

Details

特别地

特别地，当 A 矩阵满秩时，可以认为 C 的所有行向量，与 B 的所有行向量等价；当 B 矩阵满秩时，可以认为 C 的所有列向量，与 A 的所有行向量等价。

上述性质对于矩阵和向量或分块矩阵相乘同样适用，如对于一个列向量组 $\{\alpha_{1}+\alpha_{2},\alpha_{2}+\alpha_{3},\alpha_{3}+\alpha_{1}\}$，想用 $\{\alpha_{1},\alpha_{2},\alpha_{3}\}$ 和一个矩阵相乘的形式表示它，那么显然右乘表示列变换，表示如下

$$(\alpha_{1}+\alpha_{2},\alpha_{2}+\alpha_{3},\alpha_{3}+\alpha_{1})=(\alpha_{1},\alpha_{2},\alpha_{3})\begin{bmatrix} 1&0&1\\1&1&0\\0&1&1 \end{bmatrix}$$

一个列向量右乘一个矩阵，可以看作是对该矩阵的列向量进行线性组合，如下，线性组合的结果就是列向量 ${b_{m}}$，详情见线性方程组。

$$\begin{bmatrix} a_{11} & a_{12}& \cdots & a_{1n} \\ a_{21}& a_{22} &\cdots &a_{2n} \\ \vdots& \vdots& \ddots&\vdots\\a_{m1} &a_{m2}& \cdots &a_{mn} \end{bmatrix} \begin{bmatrix} x_{1} \\ x_{2} \\ \vdots \\x_{n}\end{bmatrix}=\begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\b_{m}\end{bmatrix}\implies\left\{ \begin{align*} a_{11}x_1 &+ a_{12}x_2 + a_{13}x_3 + \ldots + a_{1n}x_n = b_1 \\ a_{21}x_1 &+ a_{22}x_2 + a_{23}x_3 + \ldots + a_{2n}x_n = b_2 \\ &\cdots \\ a_{m1}x_1 &+ a_{m2}x_2 + a_{m3}x_3 + \ldots + a_{mn}x_n = b_m \end{align*}\right.$$

性质

不满足交换律，不满足消去率，但是当消去矩阵为满秩矩阵时，可以消去。

初等矩阵

tip

经过一次初等行/列变换对应的变换矩阵是 互换初等矩阵；此外还有 倍乘初等矩阵 和 倍加初等矩阵（某一行的 $k$ 倍数加到另一行）。

其中互换初等矩阵的行列式是 $-1$，倍乘是乘数 $k$，倍加也是 $-1$.

矩阵的高次幂

找规律 + 数学归纳法

一般先乘前几项，看看能否找到什么规律，如前几项的乘积是一个常数称单位矩阵，或是根据初等矩阵的变换性质，如交换、倍加等。

低秩分解

有些时候前几项的乘积没有规律，可以尝试分解一个矩阵为两个非方阵的乘积，如 $n\times 1$ 和 $1\times n$，或者 $n\times 2$ 和 $2\times n$ 等。

对于前者，可以使用向量乘积的结合律化为常数，而后者通过结合律可能可以发现某些规律。

对于两个列向量 $\alpha,\beta$，$\alpha\beta^T$ 是一个秩为 $1$ 的矩阵，其对角线之和被称为 迹，$tr(\alpha\beta^T)=\sum\alpha_{i}\beta_{i}$，其值等于 $\alpha^T\beta$.

相似矩阵

将原矩阵 $A$ 转换为 $P^{-1}BP$ 的形式，再运用结合律寻找规律。

二项展开

二项展开

$$(A+B)^n=C_{n}^0A^0B^n+C_{n}^1A^1B^{n-1}+\cdots+C_{n}^nA^nB^0$$

将一个矩阵拆分为两个高次幂好求的矩阵，一般拆分为一个单位矩阵和幂零矩阵。

秩一矩阵

秩为 $1$ 的矩阵，其各行/列都成比例，可以表示为两个向量的乘积

$$A=\alpha\beta^T$$

秩一矩阵对应的迹就是 $A$ 对角线元素之和，也即

$$tr(A)=\beta^T\alpha$$

根据两向量乘积的结合率，对于 $\alpha\beta^T\alpha=A\alpha=tr(A)\alpha$，也就是其迹就是其对应的特征值，而 $\alpha$ 就是特征向量；此外还有特征值 $0$，对应特征多项式

$$Ax=0$$

由于 $r(A)=1$，因此其有 $n-1$ 个线性无关的特征向量；由此可得，秩一矩阵可以相似对角化的充要条件是 $tr(A)\neq 0$.

实对称矩阵

tip

实对称矩阵一定能形似对角化（特征值均为实数），并且一定存在正交矩阵 $Q$，使得 $Q^TAQ=\Lambda$；实对称矩阵的伴随、逆和转置都是实对称矩阵。

证明思路就是通过运算的交换律将 $A^T$ 的形式化为 $A$.

相似对角化

实对称矩阵有以下特有性质：

1. 不同特征值的特征向量一定线性无关，并且天然正交；
2. 属于同一特征值的特征向量也一定线性无关，但不一定正交（不知道），因此需要进行正交化、单位化，处理后的向量仍是特征向量。

对实对称矩阵的所有特征向量进行正交化和单位化，拼在一起可以得到一个正交矩阵，其拥有很多优良的性质，如逆矩阵很好求、不改变向量的长度等。

向量正交化

知二求一：已知两向量正交，求第三个向量，只需要设其坐标，再利用点积为 $0$ 即可求解即可。

知一求二：只适用于一个一重特征值和一个二重特征值，并且已知的是一重特征值对应的特征向量 $\alpha$，由不同特征值的特征向量一定正交，可以得到其他两个 线性无关 的特征向量所组成的平面一定是垂直于 $\alpha$ 的，并且该平面任意两个线性无关的向量都是对应的特征向量，因此只需要设一个与其 $\alpha$ 垂直的向量即可，再解出第三个向量。

正交矩阵

tip

正交矩阵满足

$$Q^TQ=QQ^T=E$$

也即 $Q ^{-1}=Q^T$.

正交矩阵就是由两两正交的单位列/行向量拼成的矩阵。

性质

1. $|QQ^T|=|E|=1\implies |Q|=1\ or\ |Q|=-1$；
2. 特征值为 $1$ 或 $-1$；
3. 元素均小于等于 $1$，若存在 $1$，则该行和列其余元素均为 $0$；
4. $Q^T,Q ^{-1},Q^*$ 均是正交矩阵；
5. 两正交矩阵的左右乘都是正交矩阵；
6. $\beta=Q\alpha$ 为正交变换，且 $||\alpha||=||\beta||$；
7. $A^T$ 是 $Ax=E$ 的解。