1.5 모델 선택

❓모델의 용량이란?

모델의 용량이란 학습능력과 구조, 표현력, 일반화 능력 등을 의미한다. 따라서 모델의 용량이 작다는 것은 모델이 복잡한 패턴나 관계를 학습하는 것을 어려워하고, 단순한 구조를 가지는 것을 의미한다. 또한 모델의 용량이 크다는 것은 모델이 복잡한 패턴나 관계를 학습할 수 있고, 복잡한 구조를 가지는 것을 의미한다. 

과소 적합과 과잉 적합

위의 그림에서 1차, 2차는 모델의 용량이 작아서 직선 또는 2차원 곡선의 데이터만 수용할 수 있다. 이러한 경우를 과소 적합이라고 한다.

 

12차는 모델의 용량이 너무 커서 아주 작음 잡음까지 수용해버린다. 따라서, 훈련집합에는 완벽하게 모델이 대응할 수 있지만, 새로운 테스트 집합이 들어오면 아래와 같이 대응하지 못하게 된다. 이러한 경우를 과잉 적합이라고 한다.

 

 

 

 

바이어스와 분산

 

위 모델들에서 1차, 2차 모델은 훈련집합과 테스트집합 모두에서 모두에서 낮은 성능을 보일 것이다. 3차, 4차 모델은 훈련집합에 대한 성능이 12차에 보다는 낮겠지만, 과잉적합되지 않았지 때문에 테스트 집합에서는 성능이 12차 모델보다 높을 것이다. 

 

 

 

2차 모델과 12차 모델을 수집된 독립적인 훈련 집합으로 3번 학습 시킨 결과를 보면 위의 사진과 같다. 2차 모델은 바이어스(모델의 예측 값과 실제 정답의 차이)가 크지만, 모델의 형태는 크게 달라지지 않는다. 12차 모델은 바이어스가 작지만, 모델의 형태는 변경되는 사실을 확인할 수 있다.

 

 

따라서, 기계학습에서의 목표는 낮은 바이어스와 낮은 분산을 가지는 예측 모델을 만드는 것이다. 하지만, 바이어스와 분산은 하나를 낮추면 다른 하나는 높아지는 tradeoff가 발생하기 때문에, 어느 정도의 바이어스 희생을 하되 최소화하면서 분산을 최대로 낮추는 전략을 사용해야한다.

 

 

 

검증집합과 교차검증을 이용한 모델 선택

검증집합이란 모델을 비교하는데 사용하는 데이터의 집합을 말한다. 매번 모델을 비교하는데 새로운 검증집합을 사용하면, 데이터가 많이 필요하다. 데이터는 수집하는데 비용적인 문제가 많이 발생하기 때문에 데이터는 최소한으로 사용하면서 최대한 좋은 모델을 탐색하는 것이 중요하다.

 

따라서, 교차검증을 통해서 성능을 평가는 것이 좋다. 

 

 

교차검증이란, 훈련집합을 같은 크기로 나눠 k개의 그룹을 만들고, 다음 그룹 한개를 남기고 k-1개로 모델을 학습시킨 후 남은 그룹으로 성능을 평가하는 방법이다.