[수학] Norm of vector

2023. 9. 4. 20:25·수학 Mathematics

 

1. Vector의 norm의 정의

 

vector space $X$에서 정의된 scalar function 'norm'은 특정한 properties를 만족한다. 즉, 다음의 property를 만족하면 norm이라고 할 수 있다.

 

$x \in \mathbb{R}^{n}$ 와 같은 $n$차원 벡터가 있을 때

 

1) positivity & positive definiteness

 

$\|x\| \geq 0$

$\|x\|=0 \text{ iff } x=0$

 

2) absolute homogeneity

$\|\alpha x\|=| \alpha | \|x\|$

 

3) triangle inequality

 

$\|x+y\| \leq \|x\| + \|y\|$

 

 

 

여기서 드는 생각은 왜 norm이라는 것이 중요한가라는 질문이다.

직관적으로 생각하면 벡터는 고등학교에서 배울 때 '크기'와 '방향'을 가진 값이라고 했었다. 하지만 이 때는 우리가 3차원 이상으로 확장하지 않기 때문에 그림을 그려서 크기를 벡터의 2-norm으로 정의했었다. (삼각법칙에 의해 쉽게 나온다.) 따라서 고차원의 벡터를 상징성이 있는 값(크기 등)으로 표현 가능하게 만드는 것을 norm이라고 볼 수도 있겠다.

 

1-1. p-norm의 정의

 

$\|x\|_{p}=\left( \sum_{i=1}^{n} |x_{i}|^{p} \right)^{1/p} \text{ for }1 \leq p \leq \infty$

 

이 정의로부터 가장 대표적으로 쓰이는 1-norm, 2-norm, $\infty$-norm까지 알 수 있다.

 

1-2. 1-norm의 정의

$\| x \|_{1}=\sum_{i=1}^{n} |x_{i}|$

 

1-3. 2-norm의 정의

$\| x \|_{2}=\sqrt{ \sum_{i=1}^{n} |x_{i}|^{2} }$

 

2-norm은 Euclidean norm of vector로도 불린다.

 

1-4. $\infty$-norm의 정의

$\infty$-norm을 직관적으로 이해하려면 $|x_{i}|^{\infty}$에서 가장 큰 값 외에 다른 값은 무시되었다고 볼 수 있다.

 

$\| x \|_{\infty}=\max_{1\leq i \leq n} |x_{i}|$

 

 

2차원 벡터를 기준으로 p-norm의 p값을 바꿔가며 시각화하면 다음과 같다. (그림출처)

 

 

 

1-5. dual norm의 정의

dual norm이라는 개념은 최적화 분야에서 중요하다.

 

$$ \text{Definition of dual norm : } \|x\|_{*}=\sup \{ <x,z>| \|z\| \leq 1 \}$$

다음 dual norm 정의에 따라서

 

  • 2-norm의 dual norm은 2-norm
  • 1-norm의 dual norm은 $\infty$-norm
  • $\infty$-norm의 dual norm은 1-norm
  • $l_{p}$-norm의 dual은 $l_{q}$-norm이다. ($1/p+1/q=1$이다.)

 

위의 명제에 대한 증명은 다음과 같다.

 

1) 2-norm의 dual norm이 2-norm임을 증명

 

$$ z^{\top}x = \langle z,x \rangle = \left\langle \dfrac{z}{\|z\|_{2}}\cdot \|z\|_{2}, x\right\rangle $$

$$=\|z\|_{2}\left\langle \dfrac{z}{\|z\|_{2}}, x \right \rangle = \|z\|_{2}\|x\|_{2}\cos\theta \leq \|x\|_{2} \; (\because \|z\|_{2}=1) $$

 

 

 

2) 1-norm의 dual norm이 $\infty$-norm임을 증명

$$z^{\top}x=\sum_{i=1}^{n}z_{i}x_{i}\leq \left| \sum_{i=1}^{n}  z_{i} x_{i} \right| \leq \sum_{i=1}^{n}|z_{i}| \cdot | x_{i} | \leq \max |x_{i}| \sum_{i=1}^{n}|z_{i}| \leq \max |x_{i}| \; (\because \|z\|_{1}=1)$$

 

3) $\infty$-norm의 dual norm이 1-norm임을 증명

 

$$ z^{\top}x=\sum_{i=1}^{n}z_{i}x_{i}\leq \left| \sum_{i=1}^{n}  z_{i} x_{i} \right| \leq \sum_{i=1}^{n}|z_{i}| \cdot | x_{i} | \leq \max |z_{i}| \sum_{i=1}^{n}|x_{i}| \leq \sum_{i=1}^{n}|x_{i}| \; (\because \|z\|_{\infty}=1) $$

 

 

 

 

 

 

 

 

 

저작자표시 비영리 변경금지 (새창열림)

'수학 Mathematics' 카테고리의 다른 글

[수학] Convex function  (0) 2022.10.14
[수학] Matrix Exponential 미분/적분  (0) 2022.10.12
[수학] 수학적 증명 방법  (0) 2022.03.10
[수학] Definition, Theorem, Lemma, Corollary  (0) 2021.02.18
'수학 Mathematics' 카테고리의 다른 글
  • [수학] Convex function
  • [수학] Matrix Exponential 미분/적분
  • [수학] 수학적 증명 방법
  • [수학] Definition, Theorem, Lemma, Corollary
보통의공대생
보통의공대생
수학,프로그래밍,기계항공우주 등 공부하는 기록들을 남깁니다.
  • 보통의공대생
    뛰는 놈 위에 나는 공대생
    보통의공대생
  • 전체
    오늘
    어제
    • 분류 전체보기 (459)
      • 공지 (1)
      • 영어 공부 English Study (40)
        • 텝스 TEPS (7)
        • 글 Article (21)
        • 영상 Video (10)
      • 연구 Research (99)
        • 최적화 Optimization (3)
        • 데이터과학 Data Science (7)
        • 인공지능 Artificial Intelligent (40)
        • 제어 Control (45)
      • 프로그래밍 Programming (103)
        • 매트랩 MATLAB (25)
        • 파이썬 Python (33)
        • 줄리아 Julia (2)
        • C++ (3)
        • 리눅스 우분투 Ubuntu (6)
      • 항공우주 Aeronautical engineeri.. (21)
        • 항법 Navigation (0)
        • 유도 Guidance (0)
      • 기계공학 Mechanical engineering (13)
        • 열역학 Thermodynamics (0)
        • 고체역학 Statics & Solid mechan.. (10)
        • 동역학 Dynamics (1)
        • 유체역학 Fluid Dynamics (0)
      • 수학 Mathematics (34)
        • 선형대수학 Linear Algebra (18)
        • 미분방정식 Differential Equation (3)
        • 확률및통계 Probability &amp; Sta.. (2)
        • 미적분학 Calculus (1)
        • 복소해석학 Complex Analysis (5)
        • 실해석학 Real Analysis (0)
      • 수치해석 Numerical Analysis (21)
      • 확률 및 랜덤프로세스 Random process (2)
      • 추론 & 추정 이론 Estimation (3)
      • 기타 (26)
        • 설계 프로젝트 System Design (8)
        • 논문작성 Writing (55)
        • 세미나 Seminar (2)
        • 생산성 Productivity (3)
      • 유학 생활 Daily (6)
  • 블로그 메뉴

    • 홈
    • 태그
    • 방명록
  • 링크

  • 공지사항

  • 인기 글

  • 태그

    teps
    LaTeX
    ChatGPT
    WOX
    우분투
    Linear algebra
    논문작성
    텝스공부
    Zotero
    matplotlib
    생산성
    고체역학
    텝스
    Statics
    JAX
    서버
    딥러닝
    obsidian
    인공지능
    옵시디언
    Julia
    IEEE
    논문작성법
    Numerical Analysis
    에러기록
    수치해석
    pytorch
    Dear abby
    Python
    MATLAB
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.3
보통의공대생
[수학] Norm of vector
상단으로

티스토리툴바