[기본 용어] Normalization / Norm / L0 Norm / L1 Norm / L2 Norm

1. Normalization

'정규화'라고 하며 데이터의 범위를 0에서 1사이의 값으로 조정하는 것이다.

\( x_{new} = \frac{x - x_{min}}{x_{max} - x_{min}} \)

 

 

2. Norm

Normalization과 혼동될 수 있는 용어이나 Norm이란 벡터의 크기 또는 길이를 측정하는 방법을 말한다.

측정된 벡터의 크기는 원점에서 벡터 좌표까지의 거리 또는 Magnitude라고 한다.

\( L_p = (\sum_{i}^{n} |x_i|^p)^\frac{1}{p} \)

• p = Norm의 차수, p = 1 = L1 Norm, p = 2 = L2 Norm
• n = 벡터의 요소 개수

 

 

3.  L0 Norm

0이 아닌 벡터의 개수를 말한다.

ex) v(0,0) = 0개, v(0,1) = 1개, v(1,2) = 2개

 

 

4.  L1 Norm

'Manhatten Norm' 또는 'Texicab Norm'으로도 불린다.

이는 벡터 구성 요소에 절댓값을 취하여 모두 합한 값이다.

\( L_p = (\sum_{i}^{n} |x_i|) = |x_1| + |x_2| + ... + |x_n| \)

<사용 영역>

• L1 regularization, computer vision

 

 

5. L2 Norm

'Euclidean Norm'로도 불리며 한 지점에서 다른 지점으로 갈 때 최단 거리를 계산한다.

이는 벡터 구성 요소에 제곱을 한 후 모두 더하여 root를 씌운 값이다.

\( L_2 = \sqrt{\sum_{i}^{n} x_i^2} = \sqrt{x_1^2 + x_2^2 + ... + x_n^2} \)

<사용 영역>

• L2 regularization, KNN algorithm, kmean algorithm

 

 

6. L-Infinity Norm

벡터의 요소를 절댓값을 취했을 때 가장 큰 값을 선택하는 방법이다. ML, DL 데이터 분석 영역에선 사용하지 않는다.

ex) X = [-10, 2, 7] = [|-10|, |2|, |7|] = [10, 2, 7] = 10

<사용 영역>

• 천체나 우주물리학에서 활용

 

 

[Reference]

https://hongjong.tistory.com/24

이 놈은 무엇인가? What is a Norm? L0 Norm, L1 Norm, L2 Norm?

http://taewan.kim/post/norm/

딥러닝을 위한 Norm, 노름

https://seolwonkoo.tistory.com/15

[선형대수] Norm이란? (L0, L1, L2 Norm)

https://hwanii-with.tistory.com/58

[이론 및 파이썬] L1 Norm과 L2 Norm

https://koreapy.tistory.com/530

L0 Norm, L1 Norm, L2 Norm-L-infinity Norm에 대한 이해와 유클리디안 공간에 대한 이해