이번 글에서는 eigenvalue problem에 대해서 알아보겠습니다. 한글로 번역하면 고유값 문제인데요. 고윳값 문제가 무엇인지 먼저 알아보겠습니다. 그런후에는 고윳값 문제의 종류에 대해서 알아보겠습니다. 그러면 이제는 eigenvalue problem에 대해 알아보도록 하겠습니다.
Eigenvalue problem
eigenvalue problem의 numerical solution 을 고려해보겠다. 이러한 문제는 공학, 물리학, 화학, 경제학 그리고 통계학등에서 많이 보인다. 다른 분야에서도 많이 보인다. 이 글과 다음에 이어질 글에서는 몇몇 문제만 다룰 것이다. 그리고 eigenvalue problem의 type을 여러개로 classify 할것이다. 그리고 수학적인 백그라운드를 제공할 것이다.
Matrix eigenvalue problem
행렬 고윳값 문제에서는 실수나 복소수인 eigenvalue를 찾는 것을 목적으로 한다. 그리고 eigenvalue에 대응하는 nonzero vector를 찾는 것을 목적으로 한다. 쉽게 말하면 아래의 식을 만족하는 eigen value $\lambda$와 nonzero vector $\mathbf{x}$를 찾는 것을 목적으로 한다.
$$A\mathbf{x} = \lambda \mathbf{x}$$
여기서 $A$는 실수나 복소수 정사각행렬이다. 위의 방정식의 해는 characteristic polynomial $det(A-\lambda I)=0$의 해이다. $A$가 $n\times n$ matrix 라면 characteristic polynominal $det(A-\lambda I)$는 $n$이다. 그리고 이 polynomial 은 정확히 $n$개의 root (real이건 complex건) $\lambda_1,\lambda_2,…\lambda_n$개가 존재합니다. 중근도 포함해서 센것입니다. eigen value $\lambda_i$를 찾고나면 이것에 대응하는 eigen vector $\mathbf{x}_i$를 아래와 같은 방정식을 풀어서 찾을 수 있습니다.
$$(A-\lambda_i I ) \mathbf{x}=0$$
$A$가 실수로 구성된 행렬이여도 eigen value와 eigen vector는 복소수가 될 수 있다. 사실 $det(A-\lambda I )=0$을 푸는 것은 쉬운일이 아니다. 그래서 컴퓨터를 이용해서 수치적으로 푸는게 나을 수 있다.
Differential equations (미분방정식)
미분방정식은 대표적인 eigenvalue problem의 예이다. 아래의 ODE (Ordinary Differential Equations, 상미분 방정식)을 생각해보자.
$$\frac{d\mathbf{y}}{dt} = A \mathbf{y} $$
여기서 $A$는 주어진 $n\times n $ matrix 이다. 위의 미분방정식의 해를 구하기 위해 $\mathbf{y}(t) = e^{\lambda t} \mathbf{x} $를 미분방정식에 넣어보자. 여기서 $\mathbf{x}$는 어떤 constant 인데 알려지지 않은 벡터이다. 그리고 $\lambda$또한 알려지지 않은 parameter 이다. 어쨋든 $\mathbf{y}(t) = e^{\lambda t} \mathbf{x} $를 입력해보면 아래와 같은 식이 성립한다.
$$\frac{d\mathbf{y}}{dt} = \lambda e^{\lambda t}\mathbf{x} = A(e^{\lambda t} \mathbf{x})$$
또는 $A \mathbf{x} = \lambda \mathbf{x} $가 얻어진다. 결국엔 $\mathbf{y}(t) = e^{\lambda t}$가 $\frac{d\mathbf{y}}{dt} = A \mathbf{y} $의 해가 되기 위한 필요충분 조건은 $\lambda$와 $\mathbf{x}$가 $A$의 eigen value이고 $\mathbf{x}$는 $\lambda$에 대응하는 eigen vector여야 한다는 뜻이다. matrix (행렬)에는 여러종류가 있다 이중에서 중요한 type은 $n$ linearly independet eigen vectors를 갖는 행렬이다. 만약에 행렬 $A$가 $n\times n$크기의 행렬이고 $n$개의 linearly independent eigen vector를 갖는다고 하자. $\lambda_1,…,\lambda_n$를 eigen value라고 하고 $\mathbf{x}_1,…,\mathbf{x}_n$을 eigen value에 대응하는 eigenvector라고 하자. 그러면 $\mathbf{y}_i (t) = e^{\lambda_i t} \mathbf{x}_i, i=1,2,3,…n$는 위에서 언급한 미분방정식 $\frac{d\mathbf{y}}{dt} = A \mathbf{y} $의 independent 한 solution 이 된다. 따라서 $\frac{d\mathbf{y}}{dt} = A \mathbf{y} $의 solution 은 아래와 같이 쓸 수 있다.
$$\mathbf{y}(t) = \sum_{i=1}^n c_i \mathbf{y}_i(t) = \sum_{i=1}^n c_i e^{\lambda_i t}\mathbf{x}_i$$
여기서 constant $c_1,c_2,…,c_n$는 다른 조건들에 의해 결정될 것입니다. 여기까지 얘기를 정리해보면$\frac{d\mathbf{y}}{dt} = A \mathbf{y} $의 해는 eigenvalue와 eigenvector를 구함으로써 구해질수있따는 얘기입니다. 만약에 $A$가 n개의 linearly independent eigenvector를 갖고 있지 않다면 해는 비슷하고 복잡한 표현을 가질 것입니다.
Linearly Independet Eigenvectors
이제 $n$개의 linearly independet eigenvectors를 갖는 matrix에 대해 좀더 자세히 알아볼것이다. 여기서 similarity transformation 에 대해 알아보겠다. $A$라는 행렬이 있다고 하자. $A$의 similarity form 은 $PAP^{-1}$을 의미한다. 여기서 $P$는 어느 nonsingular matrix이면 된다. similarity transformation of $A$는 change of variables로 부터 발생한다. 예를들어 $A\mathbf{x} = \mathbf{b}$를 생각하자. 그리고 $\mathbf{y} = P \mathbf{x}$라고 하고 $\mathbf{c} = P \mathbf{b}$라고 하자. 그리고 여기서 $P$는 nonsingular matrix이다. 이것들을 대입해보자 그러면 방정식 $AP^{-1} \mathbf{y} = P^{-1} \mathbf{c}$을 얻는다. 여기에 왼쪽에 $P$를 곱하면 $PAP^{-1} \mathbf{y} =\mathbf{c}$를 얻는다. 그래서 새로운 system에서 coefficient matrix 는 $PAP^{-1}$이다.
simlilarity transformation 의 특징을 알아보자. similarity transformation을 행렬 $A$에 적용한다고 할 때 결과값인 similiarity matrix는 $A$의 eigenvalue와 같은 eigen valuef를 갖는다. 즉 $A$와 $PAP^{-1}$의 eigenvalue는 동일하다는 얘기이다. 이 사실은 characteristic polynomial을 관찰할 때 잘 보인다. 행렬의 곱들의 determinant는 곱을 구성하는 행렬들의 determinant를 먼저 구하고 곱하는것과 동일하기 때문이다. 이점을 이용하다면 $A$와 $PAP^{-1}$의 eigenvalue가 동일함을 알 수 있다. 이 둘의 eigenvalue는 같다고 하더라도 eigenvector는 바뀐다.
가장 중요한 질문은 $A$를 simlilarity transformation을 이용하여 간단한 form으로 만들수 있냐이다. 이 기초적인 질문은 우리에게 eigenvector들의linear independence를 생각하게 한다.
similarity transformation 과 대각화의 관계
행렬 $A$가 있다고 합시다. $A$가 diagonal matrix와 similar 하다는 것은 $A$가 $n$개의 linearly independent eigenvectors를 갖는다는 사실과 동치이다. 이 theorem의 증명을 다음에 알아보자.