[수학] Norm of vector

 

1. Vector의 norm의 정의

 

vector space $X$에서 정의된 scalar function 'norm'은 특정한 properties를 만족한다. 즉, 다음의 property를 만족하면 norm이라고 할 수 있다.

 

$x \in \mathbb{R}^{n}$ 와 같은 $n$차원 벡터가 있을 때

 

1) positivity & positive definiteness

 

$\|x\| \geq 0$

$\|x\|=0 \text{ iff } x=0$

 

2) absolute homogeneity

$\|\alpha x\|=| \alpha | \|x\|$

 

3) triangle inequality

 

$\|x+y\| \leq \|x\| + \|y\|$

 

 

 

여기서 드는 생각은 왜 norm이라는 것이 중요한가라는 질문이다.

직관적으로 생각하면 벡터는 고등학교에서 배울 때 '크기'와 '방향'을 가진 값이라고 했었다. 하지만 이 때는 우리가 3차원 이상으로 확장하지 않기 때문에 그림을 그려서 크기를 벡터의 2-norm으로 정의했었다. (삼각법칙에 의해 쉽게 나온다.) 따라서 고차원의 벡터를 상징성이 있는 값(크기 등)으로 표현 가능하게 만드는 것을 norm이라고 볼 수도 있겠다.

 

1-1. p-norm의 정의

 

$\|x\|_{p}=\left( \sum_{i=1}^{n} |x_{i}|^{p} \right)^{1/p} \text{ for }1 \leq p \leq \infty$

 

이 정의로부터 가장 대표적으로 쓰이는 1-norm, 2-norm, $\infty$-norm까지 알 수 있다.

 

1-2. 1-norm의 정의

$\| x \|_{1}=\sum_{i=1}^{n} |x_{i}|$

 

1-3. 2-norm의 정의

$\| x \|_{2}=\sqrt{ \sum_{i=1}^{n} |x_{i}|^{2} }$

 

2-norm은 Euclidean norm of vector로도 불린다.

 

1-4. $\infty$-norm의 정의

$\infty$-norm을 직관적으로 이해하려면 $|x_{i}|^{\infty}$에서 가장 큰 값 외에 다른 값은 무시되었다고 볼 수 있다.

 

$\| x \|_{\infty}=\max_{1\leq i \leq n} |x_{i}|$

 

 

2차원 벡터를 기준으로 p-norm의 p값을 바꿔가며 시각화하면 다음과 같다. (그림출처)

 

 

 

1-5. dual norm의 정의

dual norm이라는 개념은 최적화 분야에서 중요하다.

 

$$\text{Definition of dual norm : } \|x\|_{*}=\sup \{ <x,z>| \|z\| \leq 1 \}$$

다음 dual norm 정의에 따라서

 

• 2-norm의 dual norm은 2-norm
• 1-norm의 dual norm은 $\infty$-norm
• $\infty$-norm의 dual norm은 1-norm
• $l_{p}$-norm의 dual은 $l_{q}$-norm이다. ($1/p+1/q=1$이다.)

 

위의 명제에 대한 증명은 다음과 같다.

 

1) 2-norm의 dual norm이 2-norm임을 증명

 

$$z^{\top}x = \langle z,x \rangle = \left\langle \dfrac{z}{\|z\|_{2}}\cdot \|z\|_{2}, x\right\rangle$$

$$=\|z\|_{2}\left\langle \dfrac{z}{\|z\|_{2}}, x \right \rangle = \|z\|_{2}\|x\|_{2}\cos\theta \leq \|x\|_{2} \; (\because \|z\|_{2}=1)$$

 

 

 

2) 1-norm의 dual norm이 $\infty$-norm임을 증명

$$z^{\top}x=\sum_{i=1}^{n}z_{i}x_{i}\leq \left| \sum_{i=1}^{n}  z_{i} x_{i} \right| \leq \sum_{i=1}^{n}|z_{i}| \cdot | x_{i} | \leq \max |x_{i}| \sum_{i=1}^{n}|z_{i}| \leq \max |x_{i}| \; (\because \|z\|_{1}=1)$$

 

3) $\infty$-norm의 dual norm이 1-norm임을 증명

 

$$z^{\top}x=\sum_{i=1}^{n}z_{i}x_{i}\leq \left| \sum_{i=1}^{n}  z_{i} x_{i} \right| \leq \sum_{i=1}^{n}|z_{i}| \cdot | x_{i} | \leq \max |z_{i}| \sum_{i=1}^{n}|x_{i}| \leq \sum_{i=1}^{n}|x_{i}| \; (\because \|z\|_{\infty}=1)$$