symmetric positive semi definite matrix 의 quadratic form의 최대값과 최소값에 대해 알아보겠습니다. 결론부터 말씀드리면 symmetric postive semi definite matrix의 quadratic form 의 최대값은 이 행렬의 eigenvalue중 최대값이 되고 최소값은 이 행렬의 eigenvalue중 최소값이 됩니다.
symmetric positive semi definite matrix의 quadratic form의 최대값과 최소값은 eigen value
행렬 $A$를 symmetric positive semi definite matrix 라고 합시다. 그러면 $A$는 대각화가 되어서 $A= U \Lambda U^T$ 형태를 갖게 됩니다. $\Lambda$는 대각행렬이고 대각선 원소 $\lambda_i$는 eigen value 입니다. $U$의 각 column vector $u_i$는 $\lambda_i$에 대응 되는 $A$의 eigen vector이며 ($Au_i=\lambda_i u_i$), $\{u_i \}$는 orthonormal basis를 구성하고 $U$는 orthonormal matrix 입니다 ($U^T=U$). $\lVert x \rVert=1$인 벡터 $x$가 있다면 $\{u_i\}$는 basis이므로 $x = \sum_{i} c_i x_i$인 스칼라 $\{c_i\}$가 존재합니다. 이 사실과 $\{u_i\}$가 orthonormal basis라는 사실을 이용하면 quadratic form을 구할 수 있어요.
$$x^T A x = \sum_{i} c_i^2 \lambda_i$$
여기서 $\lambda_{min} = min \{ \lambda_i\}_i , \lambda_{max} = max \{ \lambda_i \}_i$ 이라 정의합시다. $A$는 positive defnite matrix이므로 $\lambda_i$는 모두 양수이고 $\lVert x \rVert^2 = \sum_{i} c_i^2 = 1$이기 때문에 아래와 같은 식을 유도할 수 있어요.
$$\lambda_{min} = \sum_{i} c_i^2 \lambda_{min} \leq \sum_{i} c_i^2 \lambda_i \leq \sum_{i} c_i^2 \lambda_{max} =\lambda_{max} $$
따라서 길이가 1인 vector $x$에 대하여 $\lambda_{min} \leq x^TAx \leq \lambda_{max}$입니다. $u_{min}, u_{max}$를 $Au_{min} = \lambda_{min} u_{min}, Au_{max} = \lambda_{max} u_{max}$를 만족하는 eigen vector들이라 할 때 $u_{min}^TAu_{min} = \lambda_{min} , u_{max}^T A u_{max} = \lambda_{max}$이므로 길이가 1인 벡터들에 대해서 $A$의 quadratic form의 최대값은 $A$의 eigen value의 최대값이 되고 최소값은 $A$의 eigen value의 최소값이 된다는 것을 알 수 있습니다.