1.4 간단한 기계 학습의 예

 

위의 그림은 직선 모델을 사용해서 회귀 문제를 푸는데, 이러한 기계 학습 알고리즘은 선형 회귀라고 한다. 

 

선형 회귀는 직선 모델을 사용하기 때문에 추정해야 할 매개변수는 w, b이다. 이 매개변수를 묶어서 θ(세타)라고 하고 아래 처럼 표기한다.

 

θ = (w₁, b₁)ᵀ

 

 

 

 

처음에는 난수로 w와 b를 결정하지만, 점점 개선해서 θ₁를 θ₂로 개선하고, θ₂를 θ₃로 개선하여 최적의 매개변수인 θ ^(세타 햇)에 도달해야 한다. 이렇게 개선을 하기 위해서는 동력이 필요한데 수학에서는 이를 목적 함수라고 한다. 이 목적 함수를 수식으로 나타내면 아래와 같다.

 

위의 식을 해석해보면, (예측 함수 - 실제 목표 값)²의 평균을 의미한다. 즉, 예측 함수의 평균 제곱의 오차를 의미한다. 

 

 

따라서, 우리의 목적은 J(θ)가 최소가 되는 θ를 찾는 것이다. 이를 수식으로 나태내면 아래와 같다. 

 

이렇게 목적 함수를 최소화하는 θ를 갖는 모델이 최적의 모델이 된다.