뛰는 놈 위에 나는 공대생

이 글에서는 딥러닝에 사용되는 automatic differentiation에 대한 설명을 하고자 한다. 참고한 서적은 Mathematics for machine learning이다. 처음에는 automatic differentiation에 대한 설명을 하고, 이를 딥러닝 백엔드인 PyTorch 결과값을 가지고 이해를 해볼 것이다. 내가 모델에 대해 많이 알고 있지 않아도 요즘은 코드가 잘 되어있어서 쉽게 딥러닝을 테스트해볼 수 있지만 그 구조를 바꾸려면 더 깊은 내용을 알아야 하기 때문에 이 내용을 자세히 살펴볼 필요가 있다. 필요한 사전 지식 : Vector, Matrix calculus Notation 주의 일반적으로 gradient vector를 column vector로 쓰는 경우가 있고, ro..