[인공지능] 딥러닝, 머신러닝에서 uncertainty/error 개념

 

 

머신러닝, 딥러닝을 공부하다보면 다양한 에러에 대해서 배우게 된다.

이 글에서는 이러한 용어들의 혼동을 막고자 종합적으로 정리하는 글이다.

 

1. Model bias, Estimation bias, Estimation variance

 

 

그 중에 하나가 model bias, estimation bias, estimation variance이다.

 

 

 

 

위 그림을 보면 이 개념을 설명하는 결과라고 볼 수 있다.

 

Model bias는 실제 값과 내가 모델로 만든 값 중에서 가장 실제값을 가깝게 반영하는 모델에서 발생하는 바이어스이다. 즉, 내가 정한 모델은 아무리 최적화를 시켜도 truth 값과 완벽하게 일치하지 않을 수 있다. 예를 들어 비선형 모델인데 내가 아무리 선형 모델로 fitting을 하려고 해도 모델 바이어스가 발생한다.

 

Estimation Bias는 내가 구한 모델을 여러 개 두고 봤을 때 평균적인 모델을 구할 수 있다고 하자. 이 때 가장 최적의 모델(위 그림에서는 빨간색)과 내가 가진 데이터로 그나마 구한 마젠타색 모델과의 평균적인 오차이며, 이 모델 오차들의 분산을 Estimation variance라고 한다.

 

 

 

2. Aleatoric (우연성의) uncertainty / Epistemic (지식의) uncertainty

 

Aleatoric uncertainty는 데이터 수집 시 우연으로 발생하는 오차이다. (노이즈 같은 성격)

반면 Epistemic uncertainty는 우리가 가지고 있는, 알고 있는 모델의 오류로 인해 발생하는 오차이다.

 

Aleatoric uncertainty (data uncertainty)

Uncertainty innate in data or measurement process.

Cannot be explained away no matter how much data we collect.

 

Epistemic uncertainty (model uncertainty)

Uncertainty due to the incompleteness of the model.

Can be understood as an uncertainty in the parameter $\theta$

Can be explained away as we collect more data.

 

 

 

3. Generalization error, Optimization error, Approximation error

 

다음 논문을 참고하면 아래와 같은 내용이 나온다.