0v0

1. Normalization

'정규화'라고 하며 데이터의 범위를 0에서 1사이의 값으로 조정하는 것이다.

\( x_{new} = \frac{x - x_{min}}{x_{max} - x_{min}} \)

2. Norm

Normalization과 혼동될 수 있는 용어이나 Norm이란 벡터의 크기 또는 길이를 측정하는 방법을 말한다.

측정된 벡터의 크기는 원점에서 벡터 좌표까지의 거리 또는 Magnitude라고 한다.

\( L_p = (\sum_{i}^{n} |x_i|^p)^\frac{1}{p} \)

• p = Norm의 차수, p = 1 = L1 Norm, p = 2 = L2 Norm
• n = 벡터의 요소 개수

3.  L0 Norm

0이 아닌 벡터의 개수를 말한다.

ex) v(0,0) = 0개, v(0,1) = 1개, v(1,2) = 2개

4.  L1 Norm

'Manhatten Norm' 또는 'Texicab Norm'으로도 불린다.

이는 벡터 구성 요소에 절댓값을 취하여 모두 합한 값이다.

\( L_p = (\sum_{i}^{n} |x_i|) = |x_1| + |x_2| + ... + |x_n| \)

<사용 영역>

• L1 regularization, computer vision

5. L2 Norm

'Euclidean Norm'로도 불리며 한 지점에서 다른 지점으로 갈 때 최단 거리를 계산한다.

이는 벡터 구성 요소에 제곱을 한 후 모두 더하여 root를 씌운 값이다.

\( L_2 = \sqrt{\sum_{i}^{n} x_i^2} = \sqrt{x_1^2 + x_2^2 + ... + x_n^2} \)

<사용 영역>

• L2 regularization, KNN algorithm, kmean algorithm

6. L-Infinity Norm

벡터의 요소를 절댓값을 취했을 때 가장 큰 값을 선택하는 방법이다. ML, DL 데이터 분석 영역에선 사용하지 않는다.

ex) X = [-10, 2, 7] = [|-10|, |2|, |7|] = [10, 2, 7] = 10

<사용 영역>

• 천체나 우주물리학에서 활용

[Reference]

https://hongjong.tistory.com/24

http://taewan.kim/post/norm/

https://seolwonkoo.tistory.com/15

https://hwanii-with.tistory.com/58

https://koreapy.tistory.com/530

모델을 학습할 때엔 오류를 최소화해야 한다.

이를 위한 함수는 3가지 명칭이 존재하는데 Loss function, Cost function, Objective function이 있다.

논문마다 서로 다른 명칭을 사용해서 혼란을 느꼈고, 차이점이 있을 거라는 생각이 들어서 찾아보고 정리해 봤더니 각 함수에 대한 정의는 다음과 같았다.

1. Loss function

하나의 input data에 대한 예측값과 실제값 사이의 오차를 계산하는 함수를 말한다.

<대표적 함수>

Squared error : \( (y - \hat{y})^2 \)

Absolute Error : |\(y-\hat{y}\)|

2. Cost function

entire data에 대한 예측값과 실제값 사이의 오차를 계산하는 함수를 말한다.

즉, 모든 input data에 대해 계산한 Loss function의 평균값을 의미한다.

<대표적 함수>

Mean Squared Error (MSE) : \( \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y_i})^2 \)

Mean Absolute Error (MAE) : \( \frac{1}{N} \sum_{i=1}^{N} |y_i - \hat{y_i}| \) 

3. Objective function

모델에 대해 우리가 일반적으로 사용하는 용어로 최솟값과 최댓값을 구하는 함수를 말한다. 즉, 학습에서 경사 하강법을 사용하여 최적화하는 것을 의미한다. 

<대표적 함수>

Maximum Likelihood Estimate (MLE)

[정리]

위 함수들을 다시 정리해보자면 Loss function  <=  Cost function  <=  Objective function 가 된다.

Objective function 안에 Cost function이 포함되고, Cost function안에 Loss function이 포함되는 개념이라고 할 수 있다.

[Reference]

https://ok-lab.tistory.com/171

https://blog.naver.com/PostView.naver?blogId=qbxlvnf11&logNo=221386278997 

https://ganghee-lee.tistory.com/28

https://velog.io/@regista/%EB%B9%84%EC%9A%A9%ED%95%A8%EC%88%98Cost-Function-%EC%86%90%EC%8B%A4%ED%95%A8%EC%88%98Loss-function-%EB%AA%A9%EC%A0%81%ED%95%A8%EC%88%98Objective-Function-Ai-tech