特徵向量和特徵值(eigenvector and eigenvalue)

作者:
林昱誠(Yu-Cheng Lin)、劉瑋彤
閱讀時間:
6
分鐘
# 特徵向量和特徵值(eigenvector and eigenvalue) 本篇文章會是這一系列難度最高的數學教學,會是大部分新手接觸線性代數時開始感受到挫折的地分。為了幫助新手理解 eigenvector 與 eigenvalue 這抽象的概念,我們要先從矩陣開始解釋。 ## 簡介 以下式為例: \begin{gather} \begin{bmatrix} 2 & 0 \\ -1 & 2 \end{bmatrix} \times \begin{bmatrix} 1\\ 1 \end{bmatrix}= \begin{bmatrix} 2\\ 1 \end{bmatrix} \end{gather} 我們可以用幾何的角度來看待上式,矩陣是一種變換,可以將向量 $(1,1)$ 經過**旋轉**和**伸縮**後變成另一個向量 $(2,1)$,這就是矩陣的作用,對向量做「旋轉」與「伸縮」。
矩陣對上向量

從幾何的角度,矩陣對向量的作用相當於對向量做旋轉與伸縮

而有種特別的矩陣和特別的向量,值得我們拿出來做討論,當這矩陣與這向量作用在一起時,向量只有做伸縮而沒有旋轉: \begin{gather} \begin{bmatrix} 2 & 0 \\ -1 & 2 \end{bmatrix} \times \begin{bmatrix} 0\\ 1 \end{bmatrix}=2 \begin{bmatrix} 0\\ 1 \end{bmatrix} \end{gather} 同樣的矩陣,作用在向量 $(0,1)$ 時,只有對其做兩倍伸縮,而沒有旋轉。在這種情況下,我們稱這向量 $(0,1)$ 為 eigenvector(特徵向量),係數 2 則為 eigenvalue(特徵值)
矩陣對上向量

有些特定的矩陣對上特定的向量只有伸縮作用而沒有旋轉

這邊要注意的是,當係數是負時,代表向量指向與原本方向的反方向,你可能會好奇,這不就是 "旋轉",沒錯,但我們姑且說他是一種"伸縮"。
## 數學定義 上述是比較通俗的解釋,數學點的寫法是這樣: 假設存在一個 $n$ 階矩陣 $A$(以上式為例,$n=2$),如果存在純量(常數) $\lambda$ 和 $n$ 維非零向量 $v$,使得 $Av=\lambda v$ ,則稱 $\lambda$ 為矩陣 $A$ 的 eigenvalue, $v$ 為矩陣 $A$ 對應於此特徵值的 eigenvector。
矩陣對上向量

Eigenvalue 與 Eigenvector 的示意圖

以下是 eigenvector 的性質: 1. $v$(eigenvector)必須是非零的向量 2. 一個矩陣可能有多個 eigenvalue 和對應的 eigenvector 3. 線性獨立的 eigenvector 可以形成向量空間的一組 basis ## 應用 為何這數學工具會這麼重要,值得我們放在數學教學系列中,因為 eigenvector 與 eigenvalue 在量子力學裡到處都可見到,最常見的為: \begin{gather} \hat H\Psi=E\Psi \end{gather} 上式為量子力學(與量子化學)的核心方程式,公式中的 $\hat H$ 可以想成矩陣,表示一個系統的 Hamiltonian(可以想成是總能量),$\Psi$ 是系統的狀態(波函數),$E$ 是系統的能量,其中 $E$ 一定是個數字,或說純量,這公式與上述 $Av=\lambda v$ 不謀而和。 還記得我們在特殊矩陣那篇中特別提到 Hamiltonian matrix,當矩陣 $A$ 是 Hamiltonian 矩陣時(即 $A=A^\dagger$),則 eigenvalue($\lambda$)必定是實數而非複數(證明放在附錄 1),因為有這樣的性質,在量子力學中,許多[觀測量](https://www.entangletech.tw/lesson/basic-algorithm-17-2)(像是剛剛提到的 $\hat H$)都會用 Hamiltonian 矩陣表示,確保觀測到的東西(像是能量值 $E$)會是實數,與現實中我們對自然的了解會一樣。 ## 求解 Eigenvector 和 Eigenvalue 要找到一個矩陣的 eigenvector,我們需要解特徵方程 $det(A-λI)=0$,其中 $det$ 表示行列式,$I$ 是單位矩陣,解出的 $\lambda$ 就是 eigenvalue,一旦找到 eigenvalue,就可以通過解線性方程組 $(A-λI)v=0$ 來找到對應的 eigenvector $v$。以下我們做個範例,比方說矩陣 $A$: \begin{align} A= \left[ \ \begin{array}{cc} 2 & 0 \\ -1 & 2 \\ \end{array} \ \right] \end{align} 代入 $det(A-λI)=0$ 中: \begin{gather} det \ ( \ \left[ \ \begin{array}{cc} 2 & 0 \\ -1 & 2 \\ \end{array} \ \right] - \lambda \times \left[ \ \begin{array}{cc} 1 & 0 \\ 0 & 1 \\ \end{array} \ \right])\ = \ (2-λ)^2 \ =\ 0 \end{gather} 可得出唯一解 $\lambda=2$,此為矩陣 $A$ 的 eigenvalue,接著我們代入 $(A-\lambda I)v=0$ : \begin{align} (\begin{bmatrix} 2 & 0 \\ -1 & 2 \end{bmatrix}-2 \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})v &= \begin{bmatrix} 2-2 & 0 \\ -1 & 2-2 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}\\ &= \begin{bmatrix} 0 & 0 \\ -1 & 0 \end{bmatrix} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \\ &= \begin{bmatrix} 0 \\ -x_1 \end{bmatrix} \\ &=0 \end{align} 從上式可以得出 $x_1=0$,而 $x_2$ 不管是什麼值都符合上式,因此這矩陣 $A$ 的 eigenvector 為: \begin{gather} \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}= \begin{bmatrix} 0 \\ c \end{bmatrix} \end{gather} 其中 c 為常數,完整為: \begin{gather} \begin{bmatrix} 2 & 0 \\ -1 & 2 \end{bmatrix} \begin{bmatrix} 0 \\ c \end{bmatrix}=2 \begin{bmatrix} 0 \\ c \end{bmatrix} \end{gather} ## 矩陣對角化 不管在量子力學還是量子計算中,我們常常會對 $H$ 做許多計算操作,像是 $e^{-iHt}$ 或是 $\ln{H}$,在小矩陣的時候,這都還能輕易計算,然而當矩陣越來越大時,這計算會非常可觀,這時候,我們就需要將矩陣「對角化」來讓問題簡化,而如何把矩陣對角化,也跟這節在介紹的 eigenvalue 和 eigenvector 有關。 如果今天有個矩陣 $A$: \begin{align} Av=\lambda v \end{align} 那矩陣 $A$ 對應的對角化矩陣 $D$ 為(推導放在文末附錄二): \begin{align} D&= \begin{bmatrix} v_1 & v_2 & \cdots v_n \end{bmatrix}^{-1} A \begin{bmatrix} v_1 & v_2 & \cdots v_n \end{bmatrix} \\ &=P^{-1}AP \end{align} 其中 $D=diag[\lambda_1, \lambda_2, \cdots \lambda_n]$。我知道你現在看不太懂,因此我們做個例子,假設矩陣 $A$ 為: \begin{align} A= \begin{bmatrix} 1 & 2 & 0 \\ 0 & 3 & 0 \\ 2 & -4 & 2 \end{bmatrix} \end{align} 你可以輕易地算出他有 3 個 eigenvalue 與 eigenvector: \begin{align} \lambda_1 = 3, \quad \lambda_2 = 2, \quad \lambda_3 = 1 \end{align} \begin{align} v_1= \begin{bmatrix} -1 \\ -1 \\ 2 \end{bmatrix}, v_2= \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}, v_3= \begin{bmatrix} -1 \\ 0 \\ 2 \end{bmatrix} \end{align} 那 $P$ 為: \begin{align} P = \begin{bmatrix} -1 & 0 & -1\\ -1 & 0 & 0\\ 2 & 1 & 2 \end{bmatrix} \end{align} 有了這些就能算出矩陣 $A$ 對應的對角化矩陣 $D$: \begin{align} P^{-1}AP= \begin{bmatrix} 0 & -1 & 0\\ 2 & 0 & 1\\ -1 & 1 & 0 \end{bmatrix} \begin{bmatrix} 1 & 2 & 0 \\ 0 & 3 & 0 \\ 2 & -4 & 2 \end{bmatrix} \begin{bmatrix} -1 & 0 & -1\\ -1 & 0 & 0\\ 2 & 1 & 2 \end{bmatrix}= \begin{bmatrix} 3 & 0 & 0\\ 0 & 2 & 0\\ 0 & 0 & 1 \end{bmatrix}=D \end{align} 可以發現矩陣 $D$ 上的對角化元素正好是矩陣 $A$ 的 eigenvalue,最有趣的是,矩陣 $D$ 的 eigenvector 剛好是: \begin{align} v_1= \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}, v_2= \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix}, v_3= \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix} \end{align} eigenstate 互相線性獨立,互相 [Orthogonal](https://www.entangletech.tw/lesson/math-04) ## 附錄 1(選讀) 證明當 $H$ 是 Hamiltonian 矩陣,即 $H=H^\dagger$,$Hv=\lambda v$ 中的 $\lambda$ 必定為實數。 先對兩邊取 dagger: \begin{gather} v^{\dagger}H^{\dagger}=\lambda^* v^{\dagger}=v^{\dagger}H \end{gather} 從右邊與 $v$ 做內積: \begin{align} v^{\dagger}Hv&=\lambda^* v^{\dagger}v \\ v^{\dagger}\lambda v&=\\ \lambda v^{\dagger} v&= \end{align} 上式因為 $Hv=\lambda v$,所以右式 $v^{\dagger}(Hv)=v^{\dagger}(\lambda v)$,總結可以得出 \begin{gather} \lambda v^{\dagger} v=\lambda^* v^{\dagger}v \end{gather} $v^{\dagger} v$ 即為向量長度的平方,必為正實數,意味著 $\lambda=\lambda^*$,因此 $\lambda$ 必為實數 ## 附錄 2(選讀) 證明 $P^{-1}AP=D$,假設矩陣 $A$ 有 $n$ 個 eigenvalue 與 eigenvector,將 eigenvector 組成矩陣 $P$: \begin{align} P= \begin{bmatrix} v_1 & v_2 & \cdots v_n \end{bmatrix} \end{align} 那 $A\times P$ 為: \begin{align} AP= \begin{bmatrix} Av_1 & Av_2 & \cdots Av_n \end{bmatrix} \end{align} 且因為 $Av=\lambda v$,所以上式變成: \begin{align} AP= \begin{bmatrix} \lambda_1v_1 & \lambda_2v_2 & \cdots \lambda_nv_n \end{bmatrix} \end{align} 又可以改寫成: \begin{align} =\begin{bmatrix} v_1 & v_2 \cdots & v_n \end{bmatrix} \begin{bmatrix} \lambda_1 & 0 & 0 & \cdots & 0\\ 0 & \lambda_2 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & 0 & \cdots & \lambda_n \end{bmatrix}=\begin{bmatrix} v_1 & v_2 \cdots & v_n \end{bmatrix}D=PD \end{align} 於是 $AP=PD$,兩邊右乘 $P$ 的逆矩陣: \begin{align} APP^{-1}&=PDP^{-1}\\ A&=PDP^{-1} \\ P^{-1}AP&=D \end{align} 因為 $PP^{-1}=I$。得證。
本文章採用創用 CC「姓名標示-相同方式分享 4.0 國際」授權條款
課程目錄