[모두의 딥러닝] 과적합에 대해 알아보자!

과적합이란?

과적합은 기계 학습에서 모델이 훈련 데이터에 지나치게 적합되어 새로운 데이터에 일반화 할 때 성능이 떨어지는 현상을 말합니다.

모델이 훈련 데이터에만 최적화되어 새로운 데이터에 적용할 때 성능이 낮아지는 이유는, 훈련 데이터에 포함되지 않은 다른 데이터에 대한 예측 능력이 부족하기 때문입니다. 이러한 문제는 모델이 복잡하거나 훈련 데이터가 적은 경우 발생할 가능성이 높습니다.

 

과적합을 방지하기 위해, 모델을 단순화하거나 규제 기법을 적용하여 모델이 일반화할 수 있는 능력을 향상시킬 수 있습니다. 또한, 모델을 평가할 때는 훈련 데이터와는 다른 새로운 데이터에 대한 성능을 측정하는 검증 데이터를 사용하여 모델의 일반화 능력을 평가해야 합니다.

 

 

 

데이터셋의 종류

 

훈련 데이터셋 : 모델을 학습시키기 위해 사용되는 데이터셋으로, 모델이 최적의 파라미터를 찾아내도록 하는데 사용됩니다.

 

테스트 데이터셋 : 모델이 학습한 것을 평가하기 위한 데이터셋으로, 모델이 새로운 데이터에 얼마나 잘 일반화되는지를 평가하기 위해 사용됩니다.

 

검증 데이터셋 : 모델을 학습할 때, 최적의 모델을 선택하기 위해 사용되는 데이터셋으로, 모델의 성능을 평가하고 하이퍼파리미터를 조정하는 데 사용됩니다.

 

 

 

그래프로 과적합을 확인하는 가장 일반적인 방법

 

1. 학습 곡선 : 훈련 데이터셋과 검증 데이터셋에서 모델의 성능을 표시한 그래프입니다. 학습 데이터셋 크기에 따라 성능이 어떻게 변화하는지 관찰할 수 있습니다. 과적합된 모델의 경우, 학습 데이터셋에서는 높은 성능을 보이지만, 검증 데이터셋에서는 성능이 낮아집니다. 따라서, 학습 데이터셋에서는 성능이 계속 증가하더라도 검증 데이터셋에서는 일정 수준 이상 성능이 향상되지 않으면 과적합이 발생한 것으로 판단할 수 있습니다.

 

2. 검증 곡선 : 하이퍼파라미터를 변경하면서 검증 데이터셋에서 모델의 성능을 평가한 결과를 표시한 그래프입니다. 모델이 복잡한 경우, 하이퍼파라미터를 증가시키면 검증 데이터셋에서의 성능은 일시적으로 향상되지만, 일정 수준 이상 증가하지 않거나 낮아지는 경향이 있습니다. 따라서 이러한 경향이 나타나면, 모델이 과적합될 가능성이 있으며, 하이퍼파라미터를 감소시켜야 할 수 있습니다.