Essence of Linear Algebra 2

3Blue1Brown 채널의 Essence of linear algebra 시리즈 정리한 내용입니다. 

영상 : https://www.youtube.com/playlist?list=PLZHQObOWTQDPD3MizzM2xVFitgF8hE_ab

---

Rank : transform 결과의 number of dimensions. 변환의 결과가 1차원(선)이라면 Rank 1이라고 하고, 2차원(면)은 Rank 2라 한다. number of dimensions of column space

Column space of A : $ A\vec{v}$ 가능한 모든 결과 (set of all possible outputs $ A\vec{v}$). zero vector는 항상 포함되어있음. 

Full Rank : column space와 Rank가 같은경우. 차원축소가 안 일어나는 경우. 

Null space (Kernel) : 차원축소가 일어나서 원점으로 이동되는 vector 집합. $ A\vec{v}$가 0이라면 null space는 모두 해가 될 수 있음. 

 

$\begin{bmatrix} 2&0\\-1&1\\-2&1 \end{bmatrix}$ 는 3x2 matrix이다. 이 행렬의 column space는 3차원 공간의 원점을 가로지르는 모든 평면상의 vector 가 된다. column space의 차원 수와 dimension 수가 같기 때문에 full rank 이다. 기하학적으로는 2차원 공간을 3차원 공간으로 mapping 하는 것이다. 

2x3 matrix는 어떨까? 3차원에서 2차원으로 이동한다. 

 

dot product(내적) : 같은 좌표값끼리 곱하여 더한다.

위 내용을 조금 어렵게 풀건데 '설명 끝' 이 나오는 부분까지 넘겨도 된다.

기하학적으로 보면, 서로다른 두 벡터$\vec{v}$,$\vec{w}$가 있을 때 하나를 다른 하나 위에 투영(project) 하여 길이를 곱한다. $\vec{v}$와 $\vec{w}$가 같은 방향인 경우 내적은 양수가 되며, 다른 경우는 음수가, 수직인경우 0이 된다.(투영하면 0이 되니까) 

unit vector인 경우, line of symmetry를 이용하여 서로 투영하는 것과 같기 때문에 순서는 상관 없다. non unit vector인 경우에는 unit vector에 project 하고 scale(곱하면) 하면 된다.

설명 끝

 

dual : 벡터가 가진 linear transform 성질 (2차원에서는 특정 벡터를 말한다)

 

cross product : $\vec{v}$ x $\vec{w}$. 평행사변형의 면적(area). $\vec{v}$가 $\vec{w}$의 왼쪽에 있을 경우 -가 붙는다. (아래 그림에서도 면적이 음수로 나온다)

이 평행사변형이 익숙하다면 맞다. 전편에서 determination에 나온 평행사변형과 유사하다. 따라서 아래 그림과 같이 나타낼 수 있다. 

3차원에서는,  $\vec{v}$ x $\vec{w}$ = $\vec{p}$ 가된다.  $\vec{p}$ 는 $\vec{v}$, $\vec{w}의 수직이며, 길이는 $\vec{v}$ x $\vec{w} 값이다. 위치는 아래 그림에 나와있는 것 처럼 오른손을 활용하여 알 수 있다. 오른쪽 그림에서 빨간선이다. 파란선은 - $\vec{p}$  가 되겠지?

외적의 formula는 내적보다 어렵다. 두가지 방식으로 나타낼 수 있다. 

Cramer's rule : 연립방정식을 푸는 방법중 하나이다. 

2차원일 때 : 

$A \begin{bmatrix} x\\y \end{bmatrix} =  \begin{bmatrix} a\\b \end{bmatrix} $ 를 풀어보자.

각 x와 y는 다음과 같이 나타낼 수 있다. 

3차원 행렬에서는 다음과 같다.

eigenvectors(고유벡터) : 고유값(eigenvalue)를 가지고 있는 span을 유지하는 성질을 지닌 vector. shear는 모든 공간을 span하는 고유벡터가 없음.

eigenvalue(고유값) : transformation 중 늘어나고 줄어드는 정도를 나타내는 수. 3차원에서는 회전이 아무것도 늘이거나 줄이지 않으니 1이 된다.

고유벡터의 개념은 다음과 같다.

$A\vec{v} = \lambda\vec{v}$ (A는 transformation matrix, $\vec{v}$는 고유벡터, $\lambda$는 고유값(상수))

A는 $ \begin{bmatrix} \lambda&0&0\\ 0&\lambda&0 \\ 0&0&\lambda \end{bmatrix}$과 같을 것이다. 이는 이렇게도 나타낼 수 있다. $A\vec{v} = (\lambdaI)\vec{v}$ (I는 identity matrix(항등 행렬))

$(A- \lambdaI)\vec{v}=\vec{0}$ 로 정리 하면, $det(A- \lambdaI) = 0 $이다. 전편에서 배운 것처럼 transformation이 낮은 차원으로 내리는 것이여야 한다. 

2차원에서는 고유벡터가 반드시 존재하지는 않는다. 

diagonal matrix(대각선 행렬):  대각선을 제외한 모든 값이 0인 matrix. (예:$\begin{bmatrix} 5 & 0 &0  &  0 \\  0& 2 & 0 & 0  \\  0& 0 & -4 & 0  \\ 0 & 0 & 0 & 3   \\ \end{bmatrix}$

eigenbasis(고유기저) : 기저벡터이기도 한 고유벡터 쌍.

 

고유벡터 찾는 법 : 

1) traditional way

$dat\begin{pmatrix}\begin{bmatrix} a-\lambda & b \\ c & d-lambda \\
\end{bmatrix}\end{pmatrix} = (a-\lambda)(d-\lambda) - bc$

근의공식으로 $\lambda_{1}$, $\lambda_{2}$ 구하기

2) 세가지만 알고 있으면 된다

1. \frac{a+d}{2} = $\frac{\lambda_{1} + \lambda_{2}}{2} = m$  (mean)
2. dat\begin{pmatrix}\begin{bmatrix} a & b \\ c & d \\ \end{bmatrix}\end{pmatrix} = ad-bc =  $\lambda_{1} \lambda_{2} = p$ (product) 
   $p = (m+d)(m-d) = m^2 - d^2$. 다르게 말해서 $d^2 = m^2-p$
3. $\lambda_{1}$, $\lambda_{2}$ = $m \pm \sqrt{m^2-p} $

$avg(ad) \pm \sqrt{avg(ad)^2-(ad-bc) }$

쉽죠?

 

마지막으로 다음은 꼭 기억하자.

Formal definition of linearity

• Additivity : $L(\vec{v}+\vec{w}) = L(\vec{v})+L(\vec{w})$
• Scaling : $L(c\vec{v}) = cL(\vec{v})$

 

놀랍게도, 아래 예시처럼 행렬곱과 미분은 같은 종류다. 따라서 배운 여러 개념들이 함수에서도 사용된다.