計算機應用數學-線性代數

前敘

筆記內容著重於，計算機與人工智慧領域所應用的數學，目的為快速導讀數理重點脈絡及公式，類似於直式的心智圖

目錄

筆記目前整理三個部分

1. 計算機應用數學-微積分 (研究連續變化、累積與極限現象的數學)
2. 計算機應用數學-線性代數 (研究向量、矩陣與線性變換的結構與操作)
3. 計算機應用數學-離散數學(和廣義邏輯學) (研究離散結構的數學，為計算理論與邏輯基礎)

矩陣向量特性

行矩陣（Row Matrix / vector）

$$A = \begin{bmatrix} a_{11} & a_{12} & a_{13} \end{bmatrix}$$

列矩陣（Column Matrix / vector）

$$A = \begin{bmatrix} a_{11} \\ a_{21} \\ a_{31} \end{bmatrix}$$

單元素矩陣（Singleton Matrix）

$$A = \begin{bmatrix} a_{11} \end{bmatrix}$$

方矩陣（Square Matrix）

指行數和列數相等的矩陣

$$A = \begin{bmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix}$$

全一矩陣（Matrix of Ones）

$$O = \begin{bmatrix} 1 & 1 & 1 \\ 1 & 1 & 1 \\ 1 & 1 & 1 \end{bmatrix}$$

零矩陣（Zero Matrix）

$$A = \begin{bmatrix} 0 & 0 \\ 0 & 0 \end{bmatrix}$$

單位矩陣（Identity Matrix, I）

單位矩陣是一種方陣，其主對角線元素為 1，其他元素為 0

$$A = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}$$

對角矩陣（Diagonal Matrix）

對角矩陣是一種方陣，主對角線以外的元素為 0

$$A = \begin{bmatrix} d_1 & 0 & 0 \\ 0 & d_2 & 0 \\ 0 & 0 & d_3 \end{bmatrix}$$

上三角矩陣（Upper Triangular Matrix）

$$A = \begin{bmatrix} a_{11} & a_{12} & a_{13} \\ 0 & a_{22} & a_{23} \\ 0 & 0 & a_{33} \end{bmatrix}$$

下三角矩陣（Lower Triangular Matrix）

$$A = \begin{bmatrix} a_{11} & 0 & 0 \\ a_{21} & a_{22} & 0 \\ a_{31} & a_{32} & a_{33} \end{bmatrix}$$

對稱矩陣（Symmetric Matrix）

$$A = \begin{bmatrix} a & b & c \\ b & d & e \\ c & e & f \end{bmatrix} \quad \text{滿足：} A = A^\top$$

反對稱矩陣（Skew-Symmetric Matrix）

$$A = \begin{bmatrix} 0 & a & b \\ -a & 0 & c \\ -b & -c & 0 \end{bmatrix} \quad \text{滿足：} A = -A^\top$$

---

矩陣特徵值

對角化 (Diagonalization)

$$A = P \cdot D \cdot P^{-1}$$

• P 是一個由矩陣 A 的特徵向量組成的矩陣。
• D 是一個對角矩陣，其中的對角元素是 A 的特徵值。
• $P^{-1}$ 是矩陣 P 的逆矩陣。

特徵值與特徵向量(Eigenvalues and Eigenvectors)

基本運算

矩陣加法（Matrix Addition）

矩陣加法的條件是兩個矩陣的維度必須相同，也就是說，它們的行數和列數必須相等。進行加法運算時，對應位置的元素相加。

$$A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}, \quad B = \begin{pmatrix} 5 & 6 \\ 7 & 8 \end{pmatrix}$$ $$A + B = \begin{pmatrix} 1+5 & 2+6 \\ 3+7 & 4+8 \end{pmatrix} = \begin{pmatrix} 6 & 8 \\ 10 & 12 \end{pmatrix}$$

矩陣乘法（Matrix Multiplication）

矩陣乘法不備具交換律，因此乘法順位會影響輸出張量

$$A_{m \times n} \cdot B_{n \times p} = C_{m \times p}$$ $$A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}, \quad B = \begin{pmatrix} 5 & 6 \\ 7 & 8 \end{pmatrix}$$ $$A \times B = \begin{pmatrix} 1 \times 5 + 2 \times 7 & 1 \times 6 + 2 \times 8 \\ 3 \times 5 + 4 \times 7 & 3 \times 6 + 4 \times 8 \end{pmatrix} = \begin{pmatrix} 19 & 22 \\ 43 & 50 \end{pmatrix}$$

例子2:

$$AB = \begin{pmatrix} x_1 \\ x_2 \end{pmatrix} \begin{pmatrix} y_1 & y_2 \end{pmatrix} = \begin{pmatrix} x_1 y_1 & x_1 y_2 \\ x_2 y_1 & x_2 y_2 \end{pmatrix}$$

純量乘法（Scalar Multiplication）

純量乘法讓矩陣所代表的變換按比例縮放

$$k A = k \times \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix} = \begin{pmatrix} k a_{11} & k a_{12} \\ k a_{21} & k a_{22} \end{pmatrix}$$ $$A = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}, \quad 2 \times A = \begin{pmatrix} 2 & 4 \\ 6 & 8 \end{pmatrix}$$

對稱矩陣 (Symmetric Matrix)

$$A^T = A$$

表示矩陣轉置（Matrix Transposition）為矩陣本身

例子

$a_{ij} = a_{ji}$

$$A = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 5 \\ 3 & 5 & 6 \end{bmatrix}$$

$A_{12} = A_{21} = 2$

$A_{13} = A_{31} = 3$

$A_{23} = A_{32} = 5$

重點

• 用於 特徵值分解 (Eigenvalue Decomposition)
• 正交對角化 (Orthogonally Diagonalizable)。

行列式（Determinant, Det）

$$A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}$$ $$\text{det}(A) = ad - bc$$

拉普拉斯展開(Laplace expansion)

$$A = \begin{bmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{bmatrix}$$ $$\det(A) = a_{11} \begin{vmatrix} a_{22} & a_{23} \\ a_{32} & a_{33} \end{vmatrix} - a_{12} \begin{vmatrix} a_{21} & a_{23} \\ a_{31} & a_{33} \end{vmatrix} + a_{13} \begin{vmatrix} a_{21} & a_{22} \\ a_{31} & a_{32} \end{vmatrix}$$

需注意交替性（Alternating Property）決定正負號

伴隨矩陣（Adjoint / Adjugate Matrix）

為每個元素求餘子式（Cofactor）後轉置：

$$\operatorname{adj}(A) = \left[ \text{cofactor}(A) \right]^\top$$

反矩陣（Inverse Matrix）

僅對於方陣（Square Matrix）時才能使用反矩陣 若 $A$ 為可逆矩陣（即 $\det(A) \ne 0$）則

$$A^{-1} = \frac{1}{\det(A)} \cdot \operatorname{adj}(A)$$

I 是單位矩陣 (Identity Matrix)

$$A A^{-1} = A^{-1} A = I$$

對於 A 是 2×2 矩陣：

$$A = \begin{bmatrix} a & b \\ c & d \end{bmatrix}$$

反矩陣公式：

$$A^{-1} = \frac{1}{\det(A)} \begin{bmatrix} d & -b \\ -c & a \end{bmatrix}$$

轉置矩陣（Transpose Matrix）

將矩陣的行與列對調：

$$A^\top = \text{transpose of } A$$

例：

$$A = \begin{bmatrix} 1 & 2 \\ 3 & 4 \end{bmatrix} \quad \Rightarrow \quad A^\top = \begin{bmatrix} 1 & 3 \\ 2 & 4 \end{bmatrix}$$

解線性方程組

克拉默法則（Cramer's Rule）

用於求解線性方程組（System of Linear Equations），當係數矩陣為可逆矩陣（即行列式不為零）時

高斯消去法（Gaussian Elimination）

這種方法透過行運算，將矩陣變成上三角形式，然後用回代法求解。

假設已知方程組：

$$\begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \begin{bmatrix} -1 \\ 2 \end{bmatrix}$$

將 $x_1$ 的係數變為 1

用 第一行除以 2：

$$\begin{bmatrix} 1 & 0.5 \\ 1 & 2 \end{bmatrix} \quad | \quad \begin{bmatrix} -0.5 \\ 2 \end{bmatrix}$$

將 $x_1$ 在第二行變為 0

用 第二行 - 第一行 × 1：

$$\begin{bmatrix} 1 & 0.5 \\ 0 & 1.5 \end{bmatrix} \quad | \quad \begin{bmatrix} -0.5 \\ 2.5 \end{bmatrix}$$

回代求解

• 先解 $x_2$ ：

  $$1.5 x_2 = 2.5 \quad \Rightarrow \quad x_2 = \frac{2.5}{1.5} = \frac{5}{3}$$

• 代入 $x_1$ 的方程：

  $$x_1 + 0.5 \times \frac{5}{3} = -0.5$$ $$x_1 = -0.5 - \frac{5}{6} = -\frac{3}{6} - \frac{5}{6} = -\frac{8}{6} = -\frac{4}{3}$$

結果

$$x_1 = -\frac{4}{3}, \quad x_2 = \frac{5}{3}$$

LU 分解

這種方法將矩陣 A 分解為兩個矩陣：

$$A = LU$$

• LL 是 下三角矩陣 (Lower Triangular Matrix)
• UU 是 上三角矩陣 (Upper Triangular Matrix)

線性代數

線性方程組（System of Linear Equations | simultaneous equations）

二元一次方程組：

$$\begin{cases} A_1x + B_1y = C_1 \\ A_2x + B_2y = C_2 \end{cases}$$

線性方程組的解法

代入法（Substitution Method）

$$\begin{cases} x + 2y = 8 \\ 3x - y = 3 \end{cases}$$

1. 從第一條方程式中解出 xx:

   $$x = 8 - 2y$$

2. 將 x = 8 - 2y 代入第二條方程式：

   $$3(8 - 2y) - y = 3$$

   解得 y=1y = 1。

3. 把 y = 1 代入x = 8 - 2y 得到 x=6

解： x=6x = 6, y=1y = 1

---

加減法（Elimination Method）

$$\begin{cases} 2x + 3y = 12 \\ 4x - 2y = 6 \end{cases}$$

1. 使 y 消失。首先將第一條方程式乘以 2，第二條方程式乘以 3，然後兩式相加：

   $$4x + 6y = 24\\ 12x - 6y = 18$$

2. 相加兩條方程式：

   $$(4x + 6y) + (12x - 6y) = 24 + 18\\ 16x = 42 \quad \Rightarrow \quad x = \frac{42}{16} = \frac{21}{8}$$

3. 將 $x = \frac{21}{8}$ 代入原方程式$2x + 3y = 12$，得到：

   $$2 \times \frac{21}{8} + 3y = 12 \quad \Rightarrow \quad \frac{42}{8} + 3y = 12$$

$y = \frac{14}{8} = \frac{7}{4}$

解： $x = \frac{21}{8}, y = \frac{7}{4}$

---

矩陣法（Matrix Method）

矩陣法適用於更高維度的線性方程組，這種方法使用矩陣來表示方程組，並通過矩陣運算來求解。這在計算機科學和數值分析中非常常見。

步驟：

1. 將方程組寫成矩陣形式：$A \cdot X = B$，其中 A 是系數矩陣，X 是變數矩陣，B 是常數矩陣。
2. 求解 $X = A^{-1} \cdot B$（假設 A 是可逆的）

$$\begin{pmatrix} a_1 & b_1 \\ a_2 & b_2 \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} c_1 \\ c_2 \end{pmatrix}$$ $$\begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} a_1 & b_1 \\ a_2 & b_2 \end{pmatrix}^{-1} \begin{pmatrix} c_1 \\ c_2 \end{pmatrix}$$

範例：

$$\begin{cases} x + y = 4 \\ 2x - y = 1 \end{cases}$$

1. 寫成矩陣形式：

   $$\begin{pmatrix} 1 & 1 \\ 2 & -1 \end{pmatrix} \begin{pmatrix} x \\ y \end{pmatrix}= \begin{pmatrix} 4 \\ 1 \end{pmatrix}$$

2. 求解矩陣：

   $$X = A^{-1} \cdot B$$

   計算 $A^{-1}$，然後計算 X。

---

線性方程式（Linear Equations）

線性方程式是指 變數的最高次方為 1 的方程式，表示的是線性關係，可以有一個變數、兩個變數或多個變數。例如：

一元一次方程式（ Linear equation in one variable）：

$$ax+b=c$$

這只涉及一個變數 x，解出來是 x = 2。

二元一次方程式（linear equation in two variable ）：

這種方程式代表一條 直線，解是無限多個點的集合。

$$ax+by=c$$

多元一次方程式（ linear equation in multi variable）：

關鍵字: **超平面（hyperplane）**方程式、高維度

$$ax + by + cz = d$$