前言

Hello！小伙伴！
非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～
 
自我介绍 ଘ(੭ˊᵕˋ)੭
昵称：海轰
标签：程序猿｜C++选手｜学生
简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖…已保研。目前正在学习C++/Linux/Python
学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！
 
机器学习小白阶段
文章仅作为自己的学习笔记 用于知识体系建立以及复习
知其然 知其所以然！

往期文章

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（1）：二阶与三阶行列式、全排列及其逆序数

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（2）：n阶行列式、对换

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（3）：行列式的性质

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（4）：行列式按行（列）展开

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（5）：克拉默法则

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（6）：矩阵的运算

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（7）：逆矩阵

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（8）：矩阵的初等变换

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（9）：矩阵的秩、线性方程组的解

【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（10）：向量组及其线性组合

4.2 向量组的线性相关性

定义4

线性相关/无关

给定向量组： A : a 1 , a 2 , . . . . , a m A:a_1,a_2,....,a_m A:a1​,a2​,....,am​，如果存在不全为零的数 k 1 , k 2 , . . . , k m k_1,k_2,...,k_m k1​,k2​,...,km​（至少有一个 k k k不为0）使

k 1 a 1 + k 2 a 2 + . . . . + k m a m = 0 k_1a_1 + k_2a_2 + .... + k_ma_m = 0 k1​a1​+k2​a2​+....+km​am​=0

则称向量组A是线性相关的

否则称其为线性无关（ k 1 , k 2 , . . . k m 全 为 0 k_1,k_2,...k_m全为0 k1​,k2​,...km​全为0）

特殊情况

（1） 当 m = 1 时，向量组A也就只含有一个向量，即 A : a A:a A:a

• a = 0 时， 线性相关（任意一个k都会使得 k a = 0 ka = 0 ka=0，一定就存在一个 k k k使得 k a = 0 ka=0 ka=0，所以一定线性相关）
• a != 0 时， 线性无关（只有当k = 0 时，才会使得 k a = 0 ka = 0 ka=0，所以一定线性无关）

（2） 当 m = 2 时， A : a 1 , a 2 A:a_1,a_2 A:a1​,a2​，其线性相关的充分必要条件是 a 1 , a 2 a_1,a_2 a1​,a2​的分量对应成比例，几何意义是两向量共线

当 A : a 1 , a 2 A:a_1,a_2 A:a1​,a2​线性相关时
k 1 a 1 + k 2 a 2 = 0 k_1a_1 + k_2 a_2 = 0 k1​a1​+k2​a2​=0
k 1 a 1 = − k 2 a 2 k_1a_1 = -k_2 a_2 k1​a1​=−k2​a2​
a 1 a 2 = − k 2 k 1 ( k 1 ≠ 0 ) \frac{a_1}{a_2} = \frac{-k_2}{k_1}(k1\neq0) a2​a1​​=k1​−k2​​(k1​=0)
得到 a 1 , a 2 a_1,a_2 a1​,a2​的分量对应成比例
反过来也一样

（3） 当 m = 3 时， A : a 1 , a 2 , a 3 A:a_1,a_2,a_3 A:a1​,a2​,a3​，其线性相关的几何意义是三向量共面

当 A : a 1 , a 2 , a 3 A:a_1,a_2,a_3 A:a1​,a2​,a3​线性相关时
k 1 a 1 + k 2 a 2 + k 3 a 3 = 0 k_1a_1 + k_2a_2 + k_3a_3 = 0 k1​a1​+k2​a2​+k3​a3​=0
k 3 a 3 = − k 1 a 1 − k 2 a 2 k_3 a_3 = - k_1 a_1 - k_2 a_2 k3​a3​=−k1​a1​−k2​a2​
a 3 = − k 1 k 3 a 1 − k 2 k 3 a 2 a_3 = -\frac{k_1}{k_3}a_1 - \frac{k_2}{k_3}a_2 a3​=−k3​k1​​a1​−k3​k2​​a2​
说明 向量 a 3 a_3 a3​可以由向量 a 1 , a 2 a_1,a_2 a1​,a2​合成（ k 1 , k 2 , k 3 都 是 常 数 k_1,k_2,k_3都是常数 k1​,k2​,k3​都是常数）

且位于位于同一平面
所以三个向量共面

（4） 向量组 A : a 1 , a 2 , . . . , a m ( m ≥ 2 ) A:a_1,a_2,...,a_m(m \geq 2) A:a1​,a2​,...,am​(m≥2)线性相关，也就是向量组 A A A中至少有一个向量能由其余 m − 1 m- 1 m−1个向量线性表示

证明：

假设向量组 A A A线性相关，则有不全为0的数 k 1 , k 2 , . . . , k m k_1,k_2,...,k_m k1​,k2​,...,km​使得 k 1 a 1 + k 2 a 2 + . . . . + k m a m = 0 k_1a_1 + k_2a_2+....+ k_ma_m= 0 k1​a1​+k2​a2​+....+km​am​=0

k 1 , k 2 , . . . . , k m k_1,k_2,....,k_m k1​,k2​,....,km​不全为0，那么我们可以设 k 1 ≠ 0 k_1 \neq 0 k1​​=0，就有

k 1 a 1 = − ( k 2 a 2 + . . . + k m a m ) k_1a_1 = -(k_2a_2+...+k_ma_m) k1​a1​=−(k2​a2​+...+km​am​)

a 1 = − 1 k 1 ( k 2 a 2 + . . . + k m a m ) a_1= \frac{-1}{k_1}(k_2a_2+...+k_ma_m) a1​=k1​−1​(k2​a2​+...+km​am​)

说明 a 1 a_1 a1​可以由 a 2 , . . . , a m a_2,...,a_m a2​,...,am​线性表示

（5） 向量组 A : a 1 , a 2 , . . . , a m A:a_1,a_2,...,a_m A:a1​,a2​,...,am​构成矩阵 A = ( a 1 , a 2 , . . . , a m ) A=(a_1,a_2,...,a_m) A=(a1​,a2​,...,am​)，向量组 A A A线性相关，就是奇次线性方程组 x 1 a 1 + x 2 a 2 + . . . . + x m a m = 0 x_1a_1 + x_2a_2 +.... + x_ma_m=0 x1​a1​+x2​a2​+....+xm​am​=0即 A x = 0 Ax = 0 Ax=0有非零解

定理4

由向量组 a 1 , a 2 , . . . , a m a_1,a_2,...,a_m a1​,a2​,...,am​线性相关的充分必要条件就是它所构成的矩阵 A = ( a 1 , a 2 , . . . , a m ) A=(a_1,a_2,...,a_m) A=(a1​,a2​,...,am​)的秩小于向量个数 m m m；向量组线性无关的充分必要条件是 R ( A ) = m R(A)=m R(A)=m

线性相关： R ( A ) < m R(A) < m R(A)<m
线性无关： R ( A ) = m R(A) = m R(A)=m

举例

例4

试讨论 n n n维单位坐标向量组的线性相关性

解答：

E = ( e 1 , e 2 , . . . , e n ) E=(e_1,e_2,...,e_n) E=(e1​,e2​,...,en​)是 n n n阶单位矩阵

单位矩阵：从左上角到右下角的对角线（称为主对角线）上的元素均为1，除此以外全都为0

显然

∣ E ∣ = 1 ≠ 0 |E| = 1 \neq 0 ∣E∣=1​=0

得到

R ( E ) = n R(E)=n R(E)=n

由定理4可得， n n n维单位坐标向量组为线性无关

例5

已知

a 1 = [ 1 1 1 ] , a 2 = [ 0 2 5 ] , a 3 = [ 2 4 7 ] a_1=\begin{bmatrix} 1\\ 1\\ 1 \end{bmatrix},a_2=\begin{bmatrix} 0\\ 2\\ 5 \end{bmatrix},a_3=\begin{bmatrix} 2\\ 4\\ 7 \end{bmatrix} a1​=⎣⎡​111​⎦⎤​,a2​=⎣⎡​025​⎦⎤​,a3​=⎣⎡​247​⎦⎤​

讨论向量组 a 1 , a 2 , a 3 a_1,a_2,a_3 a1​,a2​,a3​及向量组 a 1 , a 2 a_1,a_2 a1​,a2​的线性相关性

解答：

( a 1 , a 2 , a 3 ) = [ 1 0 2 1 2 4 1 5 7 ] ∼ [ 1 0 2 0 2 2 0 5 5 ] ∼ [ 1 0 2 0 2 2 0 0 0 ] ∼ [ 1 0 2 0 1 1 0 0 0 ] (a_1,a_2,a_3)=\begin{bmatrix} 1 & 0 & 2\\ 1 & 2 & 4\\ 1 & 5 & 7 \end{bmatrix} \sim \begin{bmatrix} 1 & 0 & 2\\ 0 & 2 & 2\\ 0 & 5 & 5 \end{bmatrix} \sim \begin{bmatrix} 1 & 0 & 2\\ 0 & 2 & 2\\ 0 & 0 & 0 \end{bmatrix}\sim \begin{bmatrix} 1 & 0 & 2\\ 0 & 1 & 1\\ 0 & 0 & 0 \end{bmatrix} (a1​,a2​,a3​)=⎣⎡​111​025​247​⎦⎤​∼⎣⎡​100​025​225​⎦⎤​∼⎣⎡​100​020​220​⎦⎤​∼⎣⎡​100​010​210​⎦⎤​

可以得到

• R ( a 1 , a 2 , a 3 ) = 2 R(a_1,a_2,a_3) = 2 R(a1​,a2​,a3​)=2，说明 a 1 , a 2 , a 3 a_1,a_2,a_3 a1​,a2​,a3​线性相关

• R ( a 1 , a 2 ) = 2 R(a_1,a_2)=2 R(a1​,a2​)=2，说明 a 1 , a 2 a_1,a_2 a1​,a2​线性无关

例6

已知向量组 a 1 , a 2 , a 3 a_1,a_2,a_3 a1​,a2​,a3​线性无关， b 1 = a 1 + a 2 , b 2 = a 2 + a 3 , b 3 = a 3 + a 1 b_1=a_1 + a_2,b_2=a_2 + a_3,b_3=a_3+a_1 b1​=a1​+a2​,b2​=a2​+a3​,b3​=a3​+a1​，试证明向量组 b 1 , b 2 , b 3 b_1,b_2,b_3 b1​,b2​,b3​线性无关

证法一

设

B = ( b 1 , b 2 , b 3 ) , A = ( a 1 , a 2 , a 3 ) B=(b_1,b_2,b_3),A=(a_1,a_2,a_3) B=(b1​,b2​,b3​),A=(a1​,a2​,a3​)

由

{ b 1 = a 1 + a 2 b 2 = a 2 + a 3 b 3 = a 3 + a 1 \begin{cases} b_1=a_1 + a_2\\ b_2=a_2 + a_3\\ b_3=a_3+a_1 \end{cases} ⎩⎪⎨⎪⎧​b1​=a1​+a2​b2​=a2​+a3​b3​=a3​+a1​​

推出

( b 1 , b 2 , b 3 ) , = ( a 1 , a 2 , a 3 ) [ 1 0 1 1 1 0 0 1 1 ] (b_1,b_2,b_3),=(a_1,a_2,a_3)\begin{bmatrix} 1& 0 & 1\\ 1 & 1 & 0\\ 0 & 1 & 1 \end{bmatrix} (b1​,b2​,b3​),=(a1​,a2​,a3​)⎣⎡​110​011​101​⎦⎤​

令 K = [ 1 0 1 1 1 0 0 1 1 ] K =\begin{bmatrix} 1& 0 & 1\\ 1 & 1 & 0\\ 0 & 1 & 1 \end{bmatrix} K=⎣⎡​110​011​101​⎦⎤​ 得到

B = A K B=AK B=AK

设

x 1 b 1 + x 2 b 2 + x 3 b 3 = 0 x_1b_1 + x_2b_2 + x_3b_3=0 x1​b1​+x2​b2​+x3​b3​=0

( b 1 , b 2 , b 3 ) [ x 1 x 2 x 3 ] = 0 (b_1,b_2,b_3)\begin{bmatrix} x_1\\ x_2\\ x_3 \end{bmatrix}=0 (b1​,b2​,b3​)⎣⎡​x1​x2​x3​​⎦⎤​=0

令

x = [ x 1 x 2 x 3 ] x=\begin{bmatrix} x_1\\ x_2\\ x_3 \end{bmatrix} x=⎣⎡​x1​x2​x3​​⎦⎤​

得到

B x = 0 Bx=0 Bx=0

又因为 B = A K B=AK B=AK 所以

B x = ( A K ) x = A ( K x ) = 0 → A ( K x ) = 0 Bx=(AK)x=A(Kx)=0\rightarrow A(Kx)=0 Bx=(AK)x=A(Kx)=0→A(Kx)=0

因为 A A A中的列向量都是线性无关的，所以 R ( A ) = 3 R(A)=3 R(A)=3

说明方程 A ( K x ) = 0 A(Kx)=0 A(Kx)=0只有一个解，就是零解

则 K x = 0 Kx=0 Kx=0

由因为 ∣ K ∣ = 2 ≠ 0 |K|=2 \neq 0 ∣K∣=2​=0 说明 R ( K ) = 3 R(K)=3 R(K)=3

若 A A A为 n n n阶子式

• 当 ∣ A ∣ ≠ 0 |A| \neq 0 ∣A∣​=0时， R ( A ) = n R(A) = n R(A)=n
• 当 ∣ A ∣ = 0 |A| = 0 ∣A∣=0时， R ( A ) < n R(A) < n R(A)<n

说明方程 K x = 0 Kx=0 Kx=0只有一个解，就是零解

x = 0 x=0 x=0

即

[ x 1 x 2 x 3 ] = [ 0 0 0 ] \begin{bmatrix} x_1\\ x_2\\ x_3 \end{bmatrix}=\begin{bmatrix} 0\\ 0\\ 0 \end{bmatrix} ⎣⎡​x1​x2​x3​​⎦⎤​=⎣⎡​000​⎦⎤​

只有 x 1 , x 2 , x 3 x_1,x_2,x_3 x1​,x2​,x3​ 全为0时，式子 x 1 b 1 + x 2 b 2 + x 3 b 3 = 0 x_1b_1 + x_2b_2 + x_3b_3=0 x1​b1​+x2​b2​+x3​b3​=0才成立，说明 b 1 , b 2 , b 3 b_1,b_2,b_3 b1​,b2​,b3​线性无关

证法二

( b 1 , b 2 , b 3 ) , = ( a 1 , a 2 , a 3 ) [ 1 0 1 1 1 0 0 1 1 ] (b_1,b_2,b_3),=(a_1,a_2,a_3)\begin{bmatrix} 1& 0 & 1\\ 1 & 1 & 0\\ 0 & 1 & 1 \end{bmatrix} (b1​,b2​,b3​),=(a1​,a2​,a3​)⎣⎡​110​011​101​⎦⎤​

记作

B = A K B=AK B=AK

还可以写作

B = E A K B=EAK B=EAK

因为 ∣ K ∣ = 2 ≠ 0 |K| = 2 \neq 0 ∣K∣=2​=0 得到 K K K可逆

又因为 E 、 K （ E 是 单 位 阵 ） E、K（E是单位阵） E、K（E是单位阵）均可逆

所以

A ∼ B A \sim B A∼B

A ∼ B A \sim B A∼B的充分必要条件是存在m阶可逆矩阵P、n阶可逆矩阵Q，使得PAQ=B

所以

R ( A ) = R ( B ) R(A)=R(B) R(A)=R(B)

上一章定理2：若 A ∼ B A \sim B A∼B，则有 R ( A ) = R ( B ) R(A)=R(B) R(A)=R(B)

因为

R ( A ) = 3 R(A)=3 R(A)=3

所以

R ( B ) = 3 R(B)=3 R(B)=3

由定理4可知 B B B线性无关

定理5

（1）若向量组 A : a 1 , . . . a m A:a_1,...a_m A:a1​,...am​线性相关，则向量组 B : a 1 , . . . a m , a m + 1 B:a_1,...a_m,a_{m+1} B:a1​,...am​,am+1​也线性相关。反言之，若向量组 B B B线性无关，则向量组 A A A也线性无关

证明：向量组 A : a 1 , . . . a m A:a_1,...a_m A:a1​,...am​线性相关，则向量组 B : a 1 , . . . a m , a m + 1 B:a_1,...a_m,a_{m+1} B:a1​,...am​,am+1​也线性相关

设 A = ( a 1 , . . . , a m ) ， B = ( a 1 , . . . , a m , a m + 1 ) A=(a_1,...,a_m)，B=(a_1,...,a_m,a_{m+1}) A=(a1​,...,am​)，B=(a1​,...,am​,am+1​)

很明显有

R ( B ) ≤ R ( A ) + 1 R(B) \leq R(A)+1 R(B)≤R(A)+1

由 A A A线性相关 得

R ( A ) < m R(A) < m R(A)<m

所以

R ( B ) < m + 1 R(B) < m + 1 R(B)<m+1

说明 B B B一定线性相关

证明：向量组 B B B线性无关，则向量组 A A A也线性无关

若 B B B线性无关 则有

R ( B ) = m + 1 R(B)=m+1 R(B)=m+1

因为 R ( B ) ≤ R ( A ) + 1 R(B) \leq R(A)+1 R(B)≤R(A)+1 得到

R ( A ) ≥ R ( B ) − 1 = ( m + 1 ) − 1 = m R(A) \geq R(B) -1=(m+1)-1=m R(A)≥R(B)−1=(m+1)−1=m

即

R ( A ) ≥ m R(A)\geq m R(A)≥m

因为 A = a 1 , . . . , a m A=a_1,...,a_m A=a1​,...,am​ 得

R ( A ) ≤ m R(A) \leq m R(A)≤m

综上 有

R ( A ) = m R(A)=m R(A)=m

所以 A A A线性无关

（2） m m m个 n n n维向量组成的向量组，当维数 n n n小于向量个数 m m m时一定线性相关。特别地， n + 1 n+1 n+1个 n n n维向量一定线性相关

证明：

设 A = ( a 1 , a 2 , . . . , a m ) A=(a_1,a_2,...,a_m) A=(a1​,a2​,...,am​) 很明显有

R ( A ) ≤ m R(A) \leq m R(A)≤m

又因为 a i ( i ∈ [ 1 , m ] ) a_i(i \in [1,m]) ai​(i∈[1,m])为 n n n维列向量 有

R ( A ) ≤ n R(A) \leq n R(A)≤n

因为 n < m n < m n<m 则一定有

R ( A ) < m R(A) < m R(A)<m

所以 A A A一定是线性相关

当 m = n + 1 m=n+1 m=n+1依然满足 n < m = n + 1 n<m=n+1 n<m=n+1这个条件，所以 n + 1 n+1 n+1个 n n n维向量一定线性相关

（3）设向量组 A : a 1 , a 2 , . . . . , a m A:a_1,a_2,....,a_m A:a1​,a2​,....,am​线性无关，而向量组 B : a 1 , . . . , a m B:a_1,...,a_m B:a1​,...,am​， b b b线性相关，则向量 b b b必定能由向量组 A A A线性表示，且表示式是惟一的

证明：

记 A = ( a 1 , a 2 , . . . , a m ) ， B = ( a 1 , a 2 , . . . , a m , b ) A=(a_1,a_2,...,a_m)，B=(a_1,a_2,...,a_m,b) A=(a1​,a2​,...,am​)，B=(a1​,a2​,...,am​,b) 有

R ( A ) ≤ R ( B ) R(A) \leq R(B) R(A)≤R(B)

因为 A A A线性无关 、 B B B线性相关 所以

R ( A ) = m 、 R ( B ) < m + 1 R(A)=m、R(B) < m+1 R(A)=m、R(B)<m+1

综上有

m ≤ R ( B ) < m + 1 m \leq R(B) < m+1 m≤R(B)<m+1

得到

R ( B ) = m = R ( A ) R(B)=m=R(A) R(B)=m=R(A)

在方程组 A x = b Ax=b Ax=b中

因为 R ( A ) = R ( B ) = R ( A , b ) R(A)=R(B)=R(A,b) R(A)=R(B)=R(A,b)

说明该方程组有惟一解

即向量b可以由向量 A A A线性表示，且是惟一的

结语

说明：

• 参考于 课本《线性代数》第五版 同济大学数学系编
• 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有所帮助，如有错误欢迎小伙伴指正～

我是 海轰ଘ(੭ˊᵕˋ)੭

如果您觉得写得可以的话，请点个赞吧

谢谢支持 ❤️