feature가 굉장히 많은 데이터에서는 feature를 일부만 추출해서 학습하는 것이 컴퓨팅 파워를 줄이고 성능을 높이는 방법이 될 수 있습니다.
이 글에서는 전체적인 Feature extraction 방법에 대해 언급을 하고, 개별적인 주제에 대해 자세히 설명하는 것은 다른 글로 넘기겠습니다.
feature extraction 방법에는
Linear method : PCA(Principal Component Analysis), LDA, Metric Multidimensional Scaling(MDS)
Non-linear method : Isomap, Locally-linear Embedding(LLE), Kernel PCA, Autoencoder
1. Principal Component Regression
주성분을 이용해서 만든 회귀모형을 principal component regression이라고 합니다.
주성분은 독립변수들의 분산을 잘 설명해줄 수 있는 축을 고르는 것이지, 종속변수(예측하고 싶은 변수 y)에 대해 잘 설명하는 변수는 아닙니다.
2. Partial Least Square Regression
PLS 방법은 잘 설명해줄 수 있는 축을 사용하되, feature 정보만을 이용하는 것이 아니라 예측하고 싶은 변수 y에 대한 정보 역시 활용합니다. 여기서 나온 결과는 latent variable(LV)라고 표현합니다. 앞서 본 PCA에서는 주성분(Principal component)이라고 말하는 것과 동등한 의미라고 생각하면 됩니다.