뛰는 놈 위에 나는 공대생

결측치에도 종류가 있기 때문에 각 결측치의 특성에 따라서 처리하는 방법이 달라질 수 있습니다. 1. 결측치 Missing data 종류 1) Missing completely at random (MCAR) 완전히 무작위로 Missing value가 있는 경우입니다. 관찰 가능한 변수에도 영향을 받지 않고, 관찰 불가능한 (우리가 관심있어하는) 변수에도 무관합니다. 예를 들면, 설문조사를 하는 데 성별이나, 나이에 관계없이 일정하게 결측치가 존재한다면 결측치가 설문의 결과를 편향되도록 만들지 않을 것입니다. 즉 이 데이터에 대한 분석은 unbiased되었다고 볼 수 있습니다. 2) Missing at random (MAR) 관찰된 데이터의 변수에 따라 결측치 경향성이 있을 뿐, 결측치 자체에는 그 경향성이..

비지도학습 unsupervised learning의 가장 대표적인 방법이 clustering입니다. label이 없기 때문에 prediction이나 classification이 불가능하고 객체 간의 유사성이 큰 것들끼리 묶어주는 방법입니다. 유사성 기준으로 1) 거리를 계산하거나 2) 상관계수를 구하는 방법이 있습니다. 1. 유사성 척도 1) 거리 두 n차원 데이터 $P=(p_{1},p_{2},...,p_{n})$과 $Q=(q_{1}, q_{2},..., q_{n})$이 있을 때 두 점 사이의 거리는 다양하게 구할 수 있습니다. - 유클리디안 거리(euclidean distance) 가장 흔하게 쓰이는 거리 척도 $d(P,Q)=\sqrt{\sum_{i=1}^{n}(p_{i}-q_{i})^{2}}$ - 민..

빅데이터, 인공지능을 위한 수학에 대해서 정리합니다. 책은 The elements of Statistical Learning, Date Mining, Inference, and Prediction(Treveor Hastie 외 2명)을 참고할 것 같습니다. 수업을 들으면서 정리하는 내용이 주를 이룰 예정입니다. 제가 아직 확률 및 통계를 글로 정리하지는 않았지만 확률 및 통계 지식이 베이스로 있다고 생각하고 수업이 진행되기 때문에, 확률 및 통계 쪽 지식이 없으면 힘들 수도 있습니다. (저도 복습하면서 진행해야 할 것 같습니다ㅠ) 1. Probability와 관련된 용어 Set : Given a certain condition, the collection of well-defined distinct ob..

이번에는 Singular Value Decomposition을 통해 matrix의 singular value를 구하고 이 singular value가 어떤 의미를 가지는지 살펴보겠습니다. 그리고 singular value가 기하학적으로, controllability 관점에서 어떤 의미가 있는지 보겠습니다. 1. Singular Value Decomposition 어떤 $m\times n$ matrix를 가질 때 이 matrix는 Unitary matrix $U,V$ 그리고 $\Sigma$를 포함한 matrix의 조합으로 표현할 수 있습니다. 어떻게 위와 같은 decomposition을 얻을 수 있는지, 순서대로 보여드리겠습니다. 복소수일 때는 $A^{*}A$, 실수일 때는 $A^{T}A$의 eigenva..

지금까지 배웠던 controllability와 observability를 실제 예시를 통해 보기로 하겠습니다. (이전 글 참고) 이번에는 그림도 들어가고 matrix의 차원도 높아서 그림 위주로 작성하려고 합니다. 1. Controllability 위와 같은 dynamic system에서 $x_{1}$은 $m_{1}$의 position, $x_{2}$는 velocity로 설정했습니다. 마찬가지로 $m_{2}$의 position, velocity 각각 $x_{3},x_{4}$로 설정했습니다. 따라서 state는 $\begin{bmatrix}x_{1}\\x_{2}\\x_{3}\\x_{4}\end{bmatrix}$ 그림에서 위 식이 이 system의 equation이고 아래 P matrix는 controlla..

Remind Observability : output과 input을 알고 있을 때, 시스템의 state을 estimate할 수 있는지 여부 1. Definition of observability (CT) $\textbf{Definition :}$ $\dot{x}(t)=Ax(t)+Bu(t)$ $y(t)=Cx(t)+Du(t), A\in R^{n\times n}, C\in R^{r\times n}$ $\text{The LTI continuous time system is said to be observable if, }$ $\text{for any initial state }x(0)=x_{0}$ $\text{there exists a finite time t_{1}>0 such that knowledge of..

Remind : controllability : control input을 이용해 원하는 state로 만들 수 있는지 여부 이번에는 discrete time이 아닌 continuous time에서 controllability를 판별하는 방법에 대해서 알아보겠습니다. discrete time과 거의 유사해서 설명 자체를 간소하게 할 수도 있을 것 같습니다. 참고 글 : normal-engineer.tistory.com/71 1. Definition of controllability $\text{The LTI continous time system}$ $\dot{x}(t)=Ax(t)+Bu(t)\text{ is said to be controllable if,}$ $\text{for any initial st..

Remind Observability : output과 input을 알고 있을 때, 시스템의 state을 estimate할 수 있는지 여부 1. Definition of Observability $\textbf{Definition :}$ $\dot{x}(t)=Ax(t)+Bu(t)$ $y(t)=Cx(t)+Du(t), A\in R^{n\times n}, C\in R^{r\times n}$ $\text{The LTI continuous time system is said to be observable if, }$ $\text{for any initial state }x(0)=x_{0}$ $\text{there exists a finite time } t_{1}>0\text{ such that knowledge..

Controllability : control input을 이용해 원하는 state로 만들 수 있는지 여부 Observability : 측정한 output을 이용해 state를 estimate할 수 있는지 여부 왜 controllability와 observability가 중요할까? controllability는 제어 관점에서 당연히 중요한 것처럼 보입니다. 우리가 원하는 state로 만들 수 없다면 이는 제어할 수 없다는 의미이기 때문. observability는, 모든 state가 다 측정가능하지는 않다는 점에서 중요합니다. 나는 velocity를 feedback하고 싶은데, 실제로 측정 가능한 센서는 position 밖에 없을 수 있습니다. input과 output(position)을 통해서 velo..

그 전 글들은 모두 continuous time에서의 Lyapunov stability를 다룬 것이므로 Discrete time에 대해서도 정리하려고 합니다. 1. Definition of Stability in Discrete Time $x(k+1)=f(x(k),k), x(k_{0})=x_{0}$ 다음과 같은, Nonlinear/linear time varying/time-invariant systme이 있을 때 이 system과 관련된 $V(x,k)$ 함수의 변화량은 다음과 같이 정의됩니다. $\Delta V(x,k+1)=V(x(k+1),k+1)-V(x(k),k)$ 2. Theorem relative to stability $\textbf{Theorem 1}$ $\text{The equilibrium..