[기본 용어] Loss function / Cost function / Objective function

모델을 학습할 때엔 오류를 최소화해야 한다.

이를 위한 함수는 3가지 명칭이 존재하는데 Loss function, Cost function, Objective function이 있다.

논문마다 서로 다른 명칭을 사용해서 혼란을 느꼈고, 차이점이 있을 거라는 생각이 들어서 찾아보고 정리해 봤더니 각 함수에 대한 정의는 다음과 같았다.

 

1. Loss function

하나의 input data에 대한 예측값과 실제값 사이의 오차를 계산하는 함수를 말한다.

 

<대표적 함수>

Squared error : \( (y - \hat{y})^2 \)

Absolute Error : |\(y-\hat{y}\)|

 

 

2. Cost function

entire data에 대한 예측값과 실제값 사이의 오차를 계산하는 함수를 말한다.

즉, 모든 input data에 대해 계산한 Loss function의 평균값을 의미한다.

 

<대표적 함수>

Mean Squared Error (MSE) : \( \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y_i})^2 \)

Mean Absolute Error (MAE) : \( \frac{1}{N} \sum_{i=1}^{N} |y_i - \hat{y_i}| \) 

 

 

3. Objective function

모델에 대해 우리가 일반적으로 사용하는 용어로 최솟값과 최댓값을 구하는 함수를 말한다. 즉, 학습에서 경사 하강법을 사용하여 최적화하는 것을 의미한다. 

 

<대표적 함수>

Maximum Likelihood Estimate (MLE)

 

 

[정리]

위 함수들을 다시 정리해보자면 Loss function  <=  Cost function  <=  Objective function 가 된다.

Objective function 안에 Cost function이 포함되고, Cost function안에 Loss function이 포함되는 개념이라고 할 수 있다.

 

 

 

 

[Reference]

https://ok-lab.tistory.com/171

Object Function, Cost Function, Loss Fuction

https://blog.naver.com/PostView.naver?blogId=qbxlvnf11&logNo=221386278997 

머신러닝 - Loss Function, Cost Function, Objective Function의 차이

https://ganghee-lee.tistory.com/28

Objective Function, Loss Function, Cost Function의 차이

https://velog.io/@regista/%EB%B9%84%EC%9A%A9%ED%95%A8%EC%88%98Cost-Function-%EC%86%90%EC%8B%A4%ED%95%A8%EC%88%98Loss-function-%EB%AA%A9%EC%A0%81%ED%95%A8%EC%88%98Objective-Function-Ai-tech

비용함수(Cost Function), 손실함수(Loss function), 목적함수(Objective Function) | Ai-tech