카테고리만 만들어놓고 글을 올리지 않았던 실해석학.
조금씩 정리한 내용을 올리고자 한다.
참고문헌은 다음과 같다.
현재 듣고 있는 수업의 필기/참고 자료
1. Real analysis by Bartle
2. Introduction to Hibert spaces
지금 설명할 내용을 가장 잘 요약한 diagram을 먼저 소개하고 시작한다.
Trying to visualize the hierarchy of mathematical spaces
I was inspired by this flowchart of mathematical sets and wanted to try and visualize it, since I internalize math best in that way. This is what I've come up with so far: Version 1 (old diagram)
math.stackexchange.com
이 공간에 대한 정의를 알고 시작하면 그 이후에 나오는 정리들이 왜 그 공간에서 설명하는지를 알게 된다. 순차적으로 점점 공간의 범위를 좁혀가는 방향으로 설명한다.
이 글에서는 Vector space -> Metric space -> Normed vector space -> Inner product space 순서로 진행된다.
1. Vector space
첫 번째로 다루는 것은 vector space이다. linear algebra를 배운 사람이라면 처음부터 vector space의 정의를 설명한다는 사실을 알고 있다.
벡터 공간은 다음의 성질을 만족하는 공간을 말한다.
Definition : A vector space $\mathcal{S}$ is composed of a set of elements, called \emph{vectors}, and members of a field $\mathbb{F}$ called \emph{scalars}.
벡터 공간은 벡터들과 스칼라값들의 set이라고 볼 수 있다. 여기서 중요한 것은 vector와 scalar이다.
벡터는 어떠한 것도 될 수 있다. 함수가 될 수도 있고, 우리가 아는 일반적인 실수 n개로 구성된 벡터일 수도 있다. 그 벡터들을 가지고 vector addition과 scalar multiplication이 다음과 같은 법칙을 만족해야한다.
Vector addition
The ``$+$'' operation must obey the following four rules for all $x, y \in \mathcal{S}$:
- $x + y = y + x$ (commutative)
- $x + (y + z) = (x + y) + z$ (associative)
- There is a unique \emph{zero vector} $0$ such that $x + 0 = x \quad \forall x \in \mathcal{S}.$
- For each vector $x \in \mathcal{S}$, there is a unique vector (called $-x$) such that $x + (-x) = 0$
다음과 같이 교환법칙, 결합법칙, 덧셈의 항등원에 대한 이야기를 한다. 덧셈이 어떤 방식으로 성립되는지를 보이기 위함이다.
Scalar multiplication
- $a(x + y) = ax + ay$
- $(a + b)x = ax + bx$
- For the multiplicative identity of $\mathbb{F}$, which we write as $1$, we have $1x = x \qquad \forall x \in \mathcal{S}$
- For the additive identity of $\mathbb{F}$, which we write as $0$, we have $0x = 0$
여기서는 스칼라를 곱할 때 지켜야하는 룰에 대해 설명한다. 분배법칙, 결합법칙, 곱셈의 항등원 등.
그리고 이렇게 벡터 덧셈과 스칼라에 대한 곱셈이 정의될 때, 특정 성질을 만족하면 "Linear" vector space라고 할 수 있다.
$\mathcal{S}$ is closed under scalar multiplication and vector addition:
\[
x, y \in \mathcal{S} \;\;\Rightarrow\;\; ax + by \in \mathcal{S}, \qquad \forall a, b \in \mathbb{F}.
\]
우리가 $\mathbb{R}^N$을 고려한다면 당연하게 느껴질 수 있지만 두 벡터의 선형 조합이 그 공간에 포함되지는 않는다.
예를 들면, $\mathcal{S}=\{[x,y]:x>0,y>0\} ; \mathbb{F}=\mathbb{R}$와 같이 4사분면 중에 1사분면 공간을 생각하면 그 안에서의 벡터를 실수에 대하여 스칼라 곱해서 더했을 때 1사분면에 속하지 않는 경우가 생긴다. 이런 경우는 linear vector space라고 할 수 없다.
Vector space 예시
1. $\mathbb{R}^N$, $\mathbb{C}^N$ 실수 벡터 공간이나 복소수 벡터 공간.
2. Bounded continous function $f(t)$ on the interval $[a,b]$ that are real valued.
bounded continuous 실수 함수들은 함수를 pointwise로 더함으로써 벡터 덧셈을 정의할 수 있고, 스칼라 곱도 pointwise로 가능하다.
3. sequece space : 시퀀스로 정의된 공간이 있다. 스퀀스와 함수가 다른 점은 스퀀스의 값들은 모두 자연수로 인덱싱되어있다는 점이다. 함수는 정의역 set이 있지만 그 정의역에 인덱스가 있는 것은 아니다.
$(x_1, x_2,...) +(y_1,y_2,...)$와 같이 시퀀스 공간 안에서 덧셈도 정의될 수 있다. sequence는 실해석학에서 함수와 함께 다뤄지는 중요한 개념.
2. Metric space
metric space는 벡터 공간에서 어떤 값을 측정하기 위해 metric가 정의될 수 있는 공간을 말한다. 따라서 metric space를 정의하려면 어떤 벡터($\mathcal{S}$)를 가지고 어떤 Metric ($d$)를 정의했는지, 두 개념이 있어야 한다. 즉, 같은 벡터를 다루더라도 metric이 다르다면 다른 metric space인 것이다.
Definition:
Let $S$ be a set. A function
\[
d : S \times S \to [0,\infty)
\]
is called a \emph{metric} on $S$ if it satisfies:
\[
\begin{aligned}
\text{(i)}\;& d(x,y) = 0 \;\text{iff}\; x = y, \\[4pt]
\text{(ii)}\;& d(x,y) = d(y,x) \quad \forall\, x,y \in S, \\[4pt]
\text{(iii)}\;& d(x,z) \le d(x,y) + d(y,z) \quad \forall\, x,y,z \in S.
\end{aligned}
\]
다음 성질을 만족하는 $(S,d)$를 a metric space라고 한다.
$\textbf{Example.}$ Let $S$ be any set. Define
\[
d(x,y) =
\begin{cases}
1, & \text{if } x \ne y,\\[4pt]
0, & \text{if } x = y.
\end{cases}
\]
다음과 같은 metric은 discrete metric으로 위의 성질을 만족한다. 우리가 흔히 생각하는 Euclidean distance도 metric이지만 다음과 같이 정의하면 metric space를 정의할 수 있다. 또한 이렇게 metric을 정의하는 이유는 우리가 공간에서 "ball"을 정의하기 위함이다. 이렇게 ball을 정의해야 convergence와 같은 개념들을 또 정의할 수 있다.
In a metric space, we define the open ball with center $x$ and radius $r$ by
\[
B_r(x) = \{\, y : d(x,y) < r \,\}.
\]
이런 the open ball $B_r$을 정의할 수 있다.
A set $U$ is open iff it is a (possibly empty) union of open balls.
Equivalently, $U$ is open iff for every $x \in U$ there exists an $r > 0$ such that
\[
B_r(x) \subset U.
\]
어떤 set이 open이라고 정의하기 위해서도 open ball 개념이 필요하다. 이런 open, closed, compact 등의 개념은 중요하지만 나중에 다루는 것으로 하자.
3. Normed space
Definition:
Let $E$ be a vector space over $\mathbb{F}$.
A function
\[
\| \cdot \| : E \to [0,\infty)
\]
is called a \emph{norm} if:
\[
\begin{aligned}
\text{(i)}\;& \|x\| = 0 \;\text{iff}\; x = 0, \\[4pt]
\text{(ii)}\;& \|\lambda x\| = |\lambda|\,\|x\| \quad \forall\, \lambda \in \mathbb{F},\; x \in E, \\[4pt]
\text{(iii)}\;& \|x + y\| \le \|x\| + \|y\| \quad \forall\, x,y \in E.
\end{aligned}
\]
A vector space with a norm is called a $\emph{normed space}$.
정의에 따라 normed space는 vector space와 norm 정의가 같이 있어야한다. normed space는 정의를 보면 알 수 있듯이 metric space의 정의를 만족한다. 따라서 normed space면, metric space라고 할 수 있다. 그러나 metric space의 discrete metric 예시에서 알 수 있듯이 metric space라고 해서 normed space가 될 수 있는 건 아니다.
$\textbf{Examples.} $
Let $E = \mathbb{R}^n$ or $\mathbb{C}^n$. For $z = (z_1,\ldots,z_n)$, define:
\[
\|z\|_2 = \sqrt{|z_1|^2 + |z_2|^2 + \cdots + |z_n|^2},
\]
\[
\|z\|_1 = |z_1| + |z_2| + \cdots + |z_n|,
\]
\[
\|z\|_\infty = \max\bigl(|z_1|,\ldots,|z_n|\bigr).
\]
우리가 아는 1-norm, 2-norm, $\infty$-norm은 모두 norm의 성질을 만족한다.
그리고 Complete Normed space를 Banach space라고 한다. Completeness를 설명하지 않았기 때문에 자세한 설명은 생략
4. Inner product space
이제 가장 작은 space에 왔다.
Definition:
An inner product on a (real- or complex-valued) vector space $\mathcal{S}$ is a mapping
\[
\langle \cdot,\cdot \rangle : \mathcal{S} \times \mathcal{S} \to \mathbb{C}
\]
that obeys:
\[
\begin{aligned}
\text{(1)}\quad & \langle x, y \rangle = \overline{\langle y, x \rangle}, \\[6pt]
\text{(2)}\quad & \langle ax + by, z \rangle =
a \langle x, z \rangle + b \langle y, z \rangle
\qquad \forall\, a,b \in \mathbb{C}, \\[6pt]
\text{(3)}\quad & \langle x, x \rangle \ge 0
\qquad\text{and}\qquad
\langle x, x \rangle = 0 \iff x = 0.
\end{aligned}
\]
다음과 같은 성질을 만족하는 inner product가 정의된 공간을 말한다. inner product 예시는 다음과 같다.
$\textbf{Examples.} $
1. $\mathcal{S} = \mathbb{R}^N$,
\[
\langle x, y \rangle = \sum_{n=1}^N x_n y_n
\;=\; y^{\mathsf{T}} x.
\]
2. $\mathcal{S} = \mathbb{C}^N$,
\[
\langle x, y \rangle = \sum_{n=1}^N x_n \overline{y_n}
\;=\; y^{\mathsf{H}} x.
\]
3. $\mathcal{S} = L_2([a,b])$,
\[
\langle x, y \rangle
= \int_a^b x(t)\,\overline{y(t)}\, dt.
\]
선형대수를 공부했으면 굳이 normed space과 inner product space를 구별해야하는지 의문이 들 수 있다. 그러나 위의 diagram에서 알 수 있듯이 inner product space면 normed space지만, normed space라고 해서 inner product space인 것은 아니다. inner product는 induced norm을 정의할 수 있게 한다.
Frobenius norm 같은 경우에는 norm의 성질을 만족하지만 inner product로 정의할 수 없는 norm이다.
또한 norm은 rough하게 말하면 "거리"를 정의할 수 있는 개념이고, inner product는 orthgonality, 또는 "각도"를 정의할 수 있는 개념이다.
Induced norm:
A valid inner product induces a valid norm by
\[
\|x\| = \sqrt{\langle x, x \rangle }.
\]
Induced norm은 inner product (스칼라값)에 square root를 씌워서 정의할 수 있다.
$\textbf{1. Cauchy--Schwarz Inequality.}$
\[
|\langle x, y \rangle| \le \|x\|\,\|y\|.
\]
Equality is achieved exactly when $x$ and $y$ are \emph{colinear}:
\[
\exists\, a \in \mathbb{C} \quad \text{s.t.} \quad y = ax.
\]
\textbf{2. Pythagorean Theorem.}
\[
\langle x, y \rangle = 0 \;\Rightarrow\; \|x + y\|^2 = \|x\|^2 + \|y\|^2.
\]
This also implies
\[
\|x - y\|^2 = \|x\|^2 + \|y\|^2.
\]
\textbf{3. Parallelogram Law.}
\[
\|x + y\|^2 + \|x - y\|^2 = 2\|x\|^2 + 2\|y\|^2.
\]
You can show this by expanding
\[
\|x + y\|^2 = \langle x + y,\, x + y \rangle
\]
and similarly for $\|x - y\|^2$.
\textbf{4. Polarization Identity.}
\[
\operatorname{Re}\{\langle x, y \rangle\}
= \frac{\|x + y\|^2 - \|x - y\|^2}{4}.
\]
norm를 통해서 다음과 같은 법칙들도 유도할 수 있다.
Cauchy-Schwarz는 두 벡터 사이의 각도가 정의되고 그 값이 1보다 클 수 없음을 알려준다. ($\cos\theta\leq1$)
Pythagorean Theorem은 익히 알 듯이 직각삼각형을 떠올리면 된다.
Parallelogram law는 평행사변형 법칙을 생각하면 된다.
또한 complete inner product space를 Hibert space라고 한다.
Linear algebra에서 다루는 $\mathbb{R}^N$은 이미 Inner product space이기 때문에 벡터 공간이라고 말했지만 우리가 잘 아는 성질들을 편하게 적용할 수 있었다. 그러나 정의 상으로는 이렇다.
다음에는 completeness에 대해 좀 더 얘기하려고 한다.