Lecture 11：向量与向量组的线性相关性

定义： #向量#

描述： 矩阵中的若干个行 (列) 都是向量，它们之间存在着某种联系，这种联系说到底就是线性无关的向量个数 (独立信息的个数)的问题，也就是在若干个向量组成的向量组中，其中某几个就足够代表这个向量组了，其他的向量都可以由这几个向量线性表示出来； 比如，向量组 $[1,2,3]$, $[6,7,9]$ 与 $[2,4,6]$, 有三个成员，可是 $[2,4,6]$ 这个向量可以由 $[1,2,3]$ 这个向量的 2 倍来表示，于是 $[2,4,6]$ 这个向量就是“多余”的，不是独立的信息 极大线性无关组是向量组的“代表”，而矩阵就是由向量组拼成的，所以矩阵的秩、向量组的秩都反映了“代表”中向量的个数，本质完全相同；

解释

• 向量组： $\begin{pmatrix}1&6&2\\2&7&4\\3&9&6\end{pmatrix}$
  • 向量组合在一起就是矩阵；
• 列向量： $[1,2,3]$, $[6,7,9]$ 与 $[2,4,6]$；
• 计算：比如 $2\alpha_1=\alpha_3$
  • 比如：[1,2,3] 和 [2,4,6]
  • 因为它们可以进行线性运算，所以说具有线性相关性；
• 目标：
  • 在当前向量组当中，找到某几个可以足够代表整个向量组的向量；
  • 比如 $2\alpha_1=\alpha_3$ 时，$\alpha_3$ 就可以被抹去了，而 $\alpha_2$ 不行；
  • 此时 $\alpha_1$ 和 $\alpha_2$ 就可以表达所有向量组 -> 空间的维度（秩）；
• 目标：
  • 搞清楚向量与向量之间的关系：线性无关、线性独立；

定义： #n维向量#

描述： $n\text{ 个数构成的一个有序数组}\left[a_1,a_2,\cdots,a_n\right]\text{称为一个}n\text{ 维向量},\text{记成}\alpha=\left[a_1,a_2,\cdots,a_n\right]$； 并称 $\alpha\text{为}n\text{维行向量},\alpha^{\mathrm{T}}=[a_1,a_2,\cdots,a_n]^{\mathrm{T}}\text{称为}n\text{维列向量,其中}a_i\text{称为向量}\alpha(\text{或}\alpha^{\mathrm{T}})\text{的第}i\text{个分量}$

解释

• n 维：
• 对应矩阵的行数或者列数；
• 并且 n 在小于三时、是完全可以理解的；
• 当 n 大于 3 之后，此时就需要现在空间当中先定义距离、面积等内容，比如利用点积来计算；

定义： #向量的基本运算#

描述：

1. 相等：向量的相等就是矩阵的相等，对应元素全部相同；
2. 加法：$a+\beta=\left[a_1+b_1,a_2+b_2,\cdots,a_n+b_n\right]$
3. 数乘：$ka=\begin{bmatrix}ka_1,ka_2,\cdots,ka_n\end{bmatrix}$

定义： #向量的内积#

描述： $\alpha^{\mathrm{T}}\beta=\sum_{i=1}^{n}a_{i}b_{i}=a_{1}b_{1}+a_{2}b_{2}+\cdots+a_{n}b_{n}=||\alpha||||\beta||cos_{角度}$ $\text{为向量}\alpha,\beta\text{的内积, 记作}\left (\alpha,\beta\right),\text{即}\left (\alpha,\beta\right)=\alpha^{\mathrm{T}}\beta$

解释

• 配对相乘再相加：
  • 向量的配对相乘再相加，得到向量的内积；
  • 等于： $\alpha^{\mathrm{T}}\beta=\sum_{i=1}^{n}a_{i}b_{i}=||\alpha||||\beta||cos_{角度}$
  • 虽然不能在图形上看到它，但是可以求出它的 $cosx$
• 举例：
  • $\left.A^{T}A=\left(\begin{matrix}\alpha^{T}\\\beta^{T}\end{matrix}\right.\right)({\alpha}{\beta})=\left(\begin{matrix}{\alpha^{T}\cdot\alpha}&{\alpha^{T}\beta}\\{\beta^{T}\alpha}&{\beta^{T}\beta}\\\end{matrix}\right)=\begin{pmatrix}||\alpha||^{2}&||\alpha||||\beta||\cdot\cos\theta&\\||\alpha||||&||\beta||^{2}\end{pmatrix}$

定义： #正交#

描述：位置关系里面的特殊关系：当 $\alpha^T\beta=0$ 时，称向量 $\alpha,\beta$ 是正交向量；

解释

• 为什么叫正交而不是垂直：因为垂直是三维或者二维中的概念；

概念：模

• $\parallel\alpha\parallel=\sqrt{\sum_{i=1}^{n}a_{i}^{2}}$ 称之为向量的长度（模）
• $\parallel\alpha\parallel=1$ 的向量是单位向量 -> $A^{T}A=(\begin{matrix}1&0\\0&1\end{matrix})=E$

概念：n 阶正交矩阵

• $A^{T}A=(\begin{matrix}1&0\\0&1\end{matrix})=E$

定义： #标准正交向量组#

描述：若列向量组 $a_1,a_2,\cdots,a_s$ 满足：$\alpha_i^\mathrm{T}\alpha_j=\begin{cases}0,&i\neq j,\\1,&i=j,\end{cases}$ 则称 $a_1,a_2,\cdots,a_s$ 为标准或单位正交向量组，也叫规范正交基；

定义： #正交矩阵#

描述： $设A是n阶方阵，满足A^TA=E，则称A是正交矩阵$； $A\text{ 是正交矩阵}\Leftrightarrow A^\top A=E\Leftrightarrow A^\top=A^-\Leftrightarrow A\text{ 的行 }(\text{列 })\text{ 向量组是规范正交基}$

解释

• 解释：
  • 正交矩阵当中都是单位向量，并且这些向量之间都垂直；
  • 其他无数的正交阵，都是由标准正交阵旋转移动而来 -> 组成的矩阵是无数个的；
• 作用：
  • 用来把数据进行正交旋转、变换；
  • 通过变换，可以更好的求得其最大值、最小值；
  • 举例：把一个椭圆进行旋转，然后可以得到其在 y 轴上的顶点；
• 举例： $\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}$
  • 它乘上任何一个角度，都是将其旋转 sin 的角度 $\theta$；
  • $\left(\begin{matrix}\frac{\sqrt{2}}{2}-\frac{\sqrt{2}}{2}\\\frac{\sqrt{2}}{2}\frac{\sqrt{2}}{2}\end{matrix}\right)\left(i\right)=\left(\begin{matrix}0\\\sqrt{2}\end{matrix}\right)$
• 概念：
  • 正交矩阵进行操作时，不会变换矩阵的性质，只是将其相对位置进行变换，而不会使得其形状发生变化；

补充：三维时的情况

• $A=\begin{bmatrix}a_{1}&a_{2}&a_{3}\\b_{1}&b_{2}&b_{3}\\c_{1}&c_{2}&c_{3}\end{bmatrix}$
• $\alpha=[a_1,a_2,a_3]^\mathrm{T},\beta=[b_1,b_2,b_3]^\mathrm{T},\gamma=[c_1,c_2,c_3]^\mathrm{T}$
• 得到：${AA^\mathrm{T}=\begin{bmatrix}a_1&a_2&a_3\\b_1&b_2&b_3\\c_1&c_2&c_3\end{bmatrix}\begin{bmatrix}a_1&b_1&c_1\\a_2&b_2&c_2\\a_3&b_3&c_3\end{bmatrix}=E=\begin{bmatrix}1&0&0\\0&1&0\\0&0&1\end{bmatrix}}$
• 得到：$\begin{aligned}&a_{1}^{2}+a_{2}^{2}+a_{3}^{2}=1\Rightarrow\left\|\alpha\right\|=1,\\&b_{1}^{2}+b_{2}^{2}+b_{3}^{2}=1\Rightarrow\left\|\beta\right\|=1,\\&c_{1}^{2}+c_{2}^{2}+c_{3}^{2}=1\Rightarrow\left\|\gamma\right\|=1,\\&a_{1}b_{1}+a_{2}b_{2}+a_{3}b_{3}=0\Rightarrow\left(\alpha,\beta\right)=0,即\alpha 与\beta 正交,\\&a_{1}c_{1}+a_{2}c_{2}+a_{3}c_{3}=0\Rightarrow\left(\alpha,\gamma\right)=0,即\alpha 与\gamma 正交,\\&b_{1}c_{1}+b_{2}c_{2}+b_{3}c_{3}=0\Rightarrow\left(\beta,\gamma\right)=0,即\beta 与\gamma 正交,\end{aligned}$

定义： #线性组合#

描述：对 m 个 n 维向量和 m 个数，线性组合：$k_1\alpha_1+k_2\alpha_2+\cdots+k_m\alpha_m$

解释

• 作用：
  • 当只有两个向量时，假设一个是 $(0,1)$ 一个是 $(1,0)^T$
  • 若 k 任意取值，则可以用 $k_1\alpha_1+k_2\alpha_2$ 来表示空间中的所有点；

定义： #线性表示#

描述： $\text{向量}\beta\text{能表示成向量组}\alpha_1,\alpha_2,\cdots,\alpha_m\text{的线性组合,即存在}m\text{ 个数}k_1,k_2,\cdots,k_m\text{,使得}：$ $\beta=k_1\alpha_1+k_2\alpha_2+\cdotp\cdotp\cdotp+k_m\alpha_m$ 则称向量 $\beta$ 可被向量组线性表示；

解释

• 如果 $\beta$ 可以被 m 个空间中数表示，也表示 $\beta$ 是存在于这个空间当中；

定义： #线性相关#

描述： $对于m个n维向量a_1,a_2,\cdots,a_m,若存在一组不全为零的数k_1,k_2,\cdots,k_m,使得$： $k_1\alpha_1+k_2\alpha_2+\cdotp\cdotp\cdotp+k_m\alpha_m=0$ 则称向量线性相关； 含有零向量或有成比例的向量的向量组必线性相关；

解释

• 解释：
  • 即意味着 $\alpha_i$ 这一项是可以被其他向量线性表示的；
• 概念：
  • 一组向量线性相关：它是指这组向量中至少有一个向量、可以被其他向量组成的空间所表示；
  • 再换句话说：一个线性相关的向量组，至少在这个小组里，至少有一个向量可以被其它向量表示；
  • 那也就是说，至少有一个向量是多的信息。我们就称这组向量线性相关；
• 注意：
  • 第一个：零向量
    • 零向量一定可以被其他向量表示：
    • 这个空间里的，零向量只要在里头，一定这个小组是线性相关的；因为零一定可以被其他的表示；
  • 第二个：成比例的向量；
    • 如果一个向量组里面有成比例的向量 -> 多余的向量；

定义： #线性无关#

描述：不存在任何一个向量可以被其他向量表示； $\text{只有当 }k_1=k_2=\cdots=k_m=0\text{时,才有 }k_1a_1+k_2a_2+\cdots+k_ma_m=0成立，则称向量线性无关；$

解释

• 概念：
  • 把线性相关当成线性无关的反面来理解；
  • 向量组或线性相关或线性无关，二者必居其一且仅居其一；
• 解释：
  • 它实际上就是没有一个向量是多余的；
  • 它对装成它们所在的这样一个 N 维空间，每个人都有贡献；
  • 我们称其为叫做线性无关；
  • 比如现在有三个向量，它们之间谁也表示不了谁，则此时是三维向量；
• 注意：
  • 单个非零向量、两个不成比例的向量均线性无关；