[고등자동제어] Singular Value Decomposition과 Degree of Controllability

이번에는 Singular Value Decomposition을 통해 matrix의 singular value를 구하고

이 singular value가 어떤 의미를 가지는지 살펴보겠습니다.

그리고 singular value가 기하학적으로, controllability 관점에서 어떤 의미가 있는지 보겠습니다.

 

---

1. Singular Value Decomposition

어떤 $m\times n$ matrix를 가질 때 이 matrix는 Unitary matrix $U,V$ 그리고 $\Sigma$를 포함한 matrix의 조합으로 표현할 수 있습니다.

 

어떻게 위와 같은 decomposition을 얻을 수 있는지, 순서대로 보여드리겠습니다.

 

 

복소수일 때는 $A^{*}A$, 실수일 때는 $A^{T}A$의 eigenvalue $\lambda_{i}$의 제곱근 $\sigma_{i}$가 singular value입니다.

eigenvalue에 대응되는 eigenvectors는 $v_{i}$라고 하고, eigenvalue가 r개라면 $v_{r}$까지 존재하겠지만, 이 orthonormal vector $v_{i}$와 orthonormal한 vector를 추가로 구해서 $V$ matrix를 만들 수 있습니다.

 

 

$U_{1}=AV_{1}\Sigma^{-1}$로 정함으로써 $\therefore A=U\begin{bmatrix}\Sigma&0\\0&0\end{bmatrix}V^{*}$으로 계산할 수 있습니다.

 

 

아래는 예시입니다.

 

 

 

2. Geometric meaning of Singular values

 

 

$n\times n \text{ matrix }A$가 있을 때 이 matrix는 invertible이라고 가정하겠습니다.

 

$y=Ax$의 해석 중 하나는, A matrix가 X coordinate에서 Y coordinate로 transformation을 한다는 의미로 쓰입니다.

따라서 X coordinate의 orthonormal basis $v_{i}$로 x vector를 표현할 수 있고 이를 $y=Ax$에 넣으면

$u_{i}$ basis에 대한 선형조합으로 변형이 됩니다.

 

이 때 $U\Sigma=AV$로 Singular value decomposition이 이미 이루어졌고, 위에서 언급한 $u_{i}$가 unitary matrix $U$의 vector임을 기억해야합니다.

 

 

이에 대한 정보를 바탕으로 예시를 통해서 이해해보겠습니다.

 

 

$v_{1},v_{2}$ 두 basis로 표현될 때 unit sphere인 x 벡터를 A matrix를 통해 transformation하면 그 계수는 타원형으로 변형됩니다.

 

아래의 글을 번복하자면, 

$\sigma_{max},\sigma_{min}$의 크기 차이가 클수록 transformation을 할 때 방향에 따른 의존성이 커집니다.

 

예를 들어, 아래의 예시에서 $y=\begin{bmatrix}1\\0\end{bmatrix}$일 때 $\sigma_{1}=1,\sigma_{2}=0.01$이라면, $x$가 $v_{1}$ 방향으로 정한다면($x = \begin{bmatrix} 1\\ 0 \end{bmatrix}$) 계수가 1만 가져도 y를 구할 수 있지만, $v_{2}$방향으로 정한다면($x=\begin{bmatrix}0\\1\end{bmatrix}$) 계수가 100이야 겨우 y를 구할 수 있을 것입니다.

 

이와 비슷하게 controllability와 연결됩니다.

 

 

3. Singular value와 Degree of Controllability