선형대수에 대해 다룹니다.
선형대수에서는 행렬을 곱하는거 벡터를 내적하는 것등의 곱계산이 굉장히 중요하다. 행렬 곱의 정의는 다들 알고 있을 테고 이번에는 $M \times N$ 크기의 행렬 $A$와 $N \times K$ 크기의 행렬 $B$를 곱했을 때 행렬 $AB$ 원소가 어떻게 생겨 먹었는지 알아보도록 하자. 행렬 원소 표기법 곱을 했을 때 행렬 원소를 알아보기 위해서는 우선 행렬의 원소를 표기하는 방법을 정의하자. … Read more
선형대수는 수학의 여러 분야 중에서도 특히 중요한 역할을 하는 분야입니다. 이 글에서는 선형대수의 핵심 개념 중 하나인 ‘고유 벡터(Eigen Vector)’와 ‘고유값(Eigen Value)’에 대해 자세히 알아보겠습니다. 고유 벡터의 정의 고유 벡터는 특정 조건을 만족하는 벡터를 의미합니다. 이를 이해하기 위해서는 정사각 행렬 A (사이즈 n X n)를 떠올릴 필요가 있습니다. 이 행렬 A의 고유 벡터는 다음과 같은 … Read more
이번 글에서는 eigenvalue problem에 대해서 알아보겠습니다. 한글로 번역하면 고유값 문제인데요. 고윳값 문제가 무엇인지 먼저 알아보겠습니다. 그런후에는 고윳값 문제의 종류에 대해서 알아보겠습니다. 그러면 이제는 eigenvalue problem에 대해 알아보도록 하겠습니다. Eigenvalue problem eigenvalue problem의 numerical solution 을 고려해보겠다. 이러한 문제는 공학, 물리학, 화학, 경제학 그리고 통계학등에서 많이 보인다. 다른 분야에서도 많이 보인다. 이 글과 다음에 이어질 … Read more
역행렬은 행렬이 정방행렬(Square Matrix)일때만 정의된다. 그런데 때때로 정방행렬이 아닌 행렬에 대해 역행렬과 비슷한 성질을 갖는 놈이 종종 필요하다. 다행이도 유사역행렬(Pseudo Inverse)이 있고 역행렬과 성질이 비슷하다. 이번 글에서는 유사역행렬이 무엇인지 알아보고 유사역행렬을 구하는 방법을 알아보자. 유사역행렬(Pseudo Inverse)란? 행렬 $A$의 유사역행렬 $A^+$는 다음의 성질을 만족하는 행렬이다. $AA^+A = A$ $A^+AA^+ = A+$ $(AA^+)^* = AA^+$ $(A^+A)^* = … Read more
symmetric positive semi definite matrix 의 quadratic form의 최대값과 최소값에 대해 알아보겠습니다. 결론부터 말씀드리면 symmetric postive semi definite matrix의 quadratic form 의 최대값은 이 행렬의 eigenvalue중 최대값이 되고 최소값은 이 행렬의 eigenvalue중 최소값이 됩니다. symmetric positive semi definite matrix의 quadratic form의 최대값과 최소값은 eigen value 행렬 $A$를 symmetric positive semi definite matrix 라고 합시다. 그러면 … Read more
이번에는 행렬 $Y$를 미분하는 방법에 대해 알아보자. $Y$를 어떤 변수 $x$와 관련이 있다고 해보자. 그랬을 때 $Y$의 determinant 를 $x$에 대해 편미분을 하면 아래와 같은 식이 만족한다. $Y$의 행렬식에 대한 $x$의 편미분 $$\frac{\partial \det (Y) }{\partial x} = det ( Y) Tr\left[ Y^{-1} \frac{\partial Y}{\partial x} \right]$$ 출처-https://www.math.uwaterloo.ca/~hwolkowi/matrixcookbook.pdf
Matrix inversion lemma 에 대하여 알아보겠습니다. Matrix inversion lemma 를 이용하면 멋진 결과들을 유도할 수 있습니다. 식 자체는 간단하니까 함 보도록 하죠. 참 그리고 Matrix inversion lemma 는 Woodbury matrix identity 라고도 불리웁니다. 자 그러면 Matrix inversion lemma 에 대해 보겠습니다. Matrix inversion lemma $$\left(A+UCV\right)^{-1}=A^{-1}-A^{-1}U\left(C^{-1}+VA^{-1}U\right)^{-1}VA^{-1}$$ 위와 같이 행렬의 곱과 합으로 이루어진 행렬의 역행렬을 구하는 식인데요. … Read more
이번에는 단위 임펄스 응답 (unit impulse response)에 대해 알아보도록 하겠습니다. 단위 임펄스 함수에 대해는 알고계신가요?그리고 LTI 시스템에 대해 알고 계신가요? 단위 임펄스 응답은 단위 임펄스 함수와 단위 임펄스 응답과 관련있으니 단위 임펄스 함수 LTI 시스템에 대해 알고 계셔야합니다. 일단 단위 임펄스 함수와 LTI시스템에 대해 먼저 보고 오세요. 단위 임펄스 응답 (unit impulse response)의 정의 단위 … Read more
선형대수에 중요한 행렬공식중 하나인 Matrix Inversion Lemma (Sherman-Morrison-Woodbury formula)에 대해 알아보도록 하겠습니다. Matrix Inversion Lemma (Sherman-Morrison-Woodbury formula)는 군데 군데 잘 쓰이니까 알아두면 좋겠습니다. Matrix Inversion Lemma (Sherman-Morrison-Woodbury formula) 정사각행렬 가 있습니다. 그리고 또다른 정사각행렬 가 있습니다. 그리고 행렬 가 있다고 합시다. 행렬들의 사이즈에 대해 얘기 안했지만 행렬 연산 가 잘 정의된다고 합시다. 그럴 때 의 … Read more