연구 Research/최적화 Optimization

최적화 방법을 보면 gradient 정보를 사용하는 경우가 많다. 실제 최적화 알고리즘을 구현하고자 할 때 의문인 것이 바로 이 gradient를 어떻게 구하냐는 질문이다. 대표적최적화 방법을 보면 gradient 정보를 사용하는 경우가 많다. 실제 최적화 알고리즘을 구현하고자 할 때 의문인 것이 바로 이 gradient를 어떻게 구하냐는 질문이다.  그 방법으로는0. By hand1. Finite-difference method2. Auto-differentiation3. Complex step method 다음과 같이 설명할 수 있다. 0. By hand만약 목적함수가 파라미터에 대해 간단하게 표현되어있다면 사전에 gradient를 계산해서 결과 값만 대입하면 쉽게 구할 수 있다. 1. Finite-..

최적화에서 가장 처음에 배우는 내용은 geometry의 정의이다. 정의를 보면 그렇구나, 싶지만 나중에 헷갈리게 되어서 정리를 한다. 이해를 위해서는 예시를 많이 알아두는 게 좋다.Definition / Dimension / Bases / Independence / Examples 등에 대해 적는다. 1. Linear subspace 1-1. Definition$L \subset R^{n}$ is a linear subspace iff it possesses the following three properties: - $L \neq \emptyset$-[closedness with respect to additions] Whenever $x, y \in L$, we have $x + y \in L$-[..

# 참고 교재 : Introduction to Optimization (4th edition, Wiley, Chong&Zak) # 참고 수업 : 전자전기공학과 대학원 수업 Introduction to Optimization 책의 구성 PART1 definitions, notations, and relations from linear algebra, geometry, calculus PART2 unconstrained optimization problem, various iterative optimization algorithm, least-squares optimization problem PART3 constrained optimization 중에서 linear programming problem(si..