[기본 용어 설명] Generative approach vs Discriminative approach

 

클래스 별로 분류 / 각 클래스가 어떻게 퍼져있는지 파악

 

 

Generative approach

: 주어진 데이터가 특정 결과에 속할 가능성을 구할 뿐만 아니라, 새로운 데이터를 생성할 수도 있는 접근 방식이다. 최종적으로 P(x | y)를 구하여 클래스 y에 따른 데이터 x의 분포를 예측하는 것이다.

 

또한, 클래스 y가 주어지지 않는 P(x) 즉, x의 분포를 예측하는 것은 VAE, GAN이 있다.

 

 

위의 Generative 이미지에 대해서 설명하자면, 빨간색 y와 파란색 y는 각각 다른 y인데, 이 각각의 해당하는 클래스 y에 따른 데이터 분포 x를 예측한다라는 의미이다.

 

 

장점

• 데이터 생성 가능: 학습된 분포를 바탕으로 새로운 데이터를 생성할 수 있어, 비지도 학습이나 데이터 증강에 유용합니다.
• 데이터 분포에 대한 심층적 이해: 입력 데이터와 결과 간의 전체 분포를 학습하므로, 데이터 구조와 생성 과정을 이해하는 데 유리합니다.
• 다양한 활용: 데이터의 전체 분포를 모델링하기 때문에, 이상치 탐지, 비지도 학습, 데이터 생성 등에도 사용할 수 있습니다.

단점

• 복잡한 모델링: 데이터의 생성 과정을 모델링하기 때문에, 모델이 복잡해지고 학습에 시간이 더 소요될 수 있습니다.
• 과적합 가능성: 데이터 분포를 세세하게 학습하기 때문에, 훈련 데이터에 지나치게 맞춰질 위험(과적합)이 있습니다.
• 학습 속도가 느릴 수 있음: 데이터의 전체 분포를 학습하므로, Discriminative Approach에 비해 학습 시간이 더 오래 걸릴 수 있습니다.

 

 

 

Discriminative approach

: 주어진 데이터가 특정 결과에 속할 확률을 학습해서 빠르고 정확하게 분류하는 방식이다. 최종적으로 P(y | x)를 구하여 입력 데이터 x일 때  특정 클래스 y를 예측하는 것이 목표이다. 

 

Discriminative approach에서는 데이터가 특정 결과에 속할 확률을 빠르고 정확하게 예측하는 데 중점을 두기 때문에 P(y|x)를 직접계산한다. 

 

장점

1. 분류 성능이 우수함: 필요한 것은 경계만 학습하면 되므로, 빠르고 효율적으로 분류를 수행할 수 있습니다.
2. 학습이 단순하고 빠름: 데이터의 생성 과정을 모델링할 필요가 없기 때문에, 학습 과정이 간단하고 학습 속도가 빠릅니다.
3. 과적합 위험이 적음: 필요 이상의 데이터를 학습하지 않으므로, 과적합 가능성이 상대적으로 낮습니다.

단점

1. 데이터 생성이 불가능: 데이터가 어떻게 생성되는지에 대해 학습하지 않으므로, 새로운 데이터를 만들어낼 수 없습니다.
2. 데이터의 전체 구조에 대한 이해 부족: 데이터와 결과 간의 경계를 학습할 뿐, 데이터의 생성 과정이나 전체 분포를 모델링하지 않으므로, 데이터의 분포나 구조에 대한 정보는 부족합니다.
3. 특정 작업에만 사용 가능: 분류 문제에 최적화된 접근 방식이므로, 이상치 탐지나 비지도 학습 등에는 적합하지 않습니다