[기본 용어 설명] Generative approach vs Discriminative approach

 

클래스 별로 분류 / 각 클래스가 어떻게 퍼져있는지 파악

 

 

Generative approach

: 주어진 데이터가 특정 결과에 속할 가능성을 구할 뿐만 아니라, 새로운 데이터를 생성할 수도 있는 접근 방식이다. 최종적으로 P(y∣x)를 구하여 입력 x가 특정 결과 y에 속할 확률을 계산하는 것 목표이다. 

 

 

Generative Approach에서는 새로운 데이터를 생성할 수 있는 가능성을 위해 p(y|x)를 간접적으로 구한다. 

 

장점

• 데이터 생성 가능: 학습된 분포를 바탕으로 새로운 데이터를 생성할 수 있어, 비지도 학습이나 데이터 증강에 유용합니다.
• 데이터 분포에 대한 심층적 이해: 입력 데이터와 결과 간의 전체 분포를 학습하므로, 데이터 구조와 생성 과정을 이해하는 데 유리합니다.
• 다양한 활용: 데이터의 전체 분포를 모델링하기 때문에, 이상치 탐지, 비지도 학습, 데이터 생성 등에도 사용할 수 있습니다.

단점

• 복잡한 모델링: 데이터의 생성 과정을 모델링하기 때문에, 모델이 복잡해지고 학습에 시간이 더 소요될 수 있습니다.
• 과적합 가능성: 데이터 분포를 세세하게 학습하기 때문에, 훈련 데이터에 지나치게 맞춰질 위험(과적합)이 있습니다.
• 학습 속도가 느릴 수 있음: 데이터의 전체 분포를 학습하므로, Discriminative Approach에 비해 학습 시간이 더 오래 걸릴 수 있습니다.

 

 

 

Discriminative approach

: 주어진 데이터가 특정 결과에 속할 확률을 학습해서 빠르고 정확하게 분류하는 방식이다. 최종적으로 P(y∣x)를 구하여 입력 x가 특정 결과 y에 속할 확률을 계산하는 것 목표이다. 

 

Discriminative approach에서는 데이터가 특정 결과에 속할 확률을 빠르고 정확하게 예측하는 데 중점을 두기 때문에 P(y|x)를 직접계산한다. 

 

장점

1. 분류 성능이 우수함: 필요한 것은 경계만 학습하면 되므로, 빠르고 효율적으로 분류를 수행할 수 있습니다.
2. 학습이 단순하고 빠름: 데이터의 생성 과정을 모델링할 필요가 없기 때문에, 학습 과정이 간단하고 학습 속도가 빠릅니다.
3. 과적합 위험이 적음: 필요 이상의 데이터를 학습하지 않으므로, 과적합 가능성이 상대적으로 낮습니다.

단점

1. 데이터 생성이 불가능: 데이터가 어떻게 생성되는지에 대해 학습하지 않으므로, 새로운 데이터를 만들어낼 수 없습니다.
2. 데이터의 전체 구조에 대한 이해 부족: 데이터와 결과 간의 경계를 학습할 뿐, 데이터의 생성 과정이나 전체 분포를 모델링하지 않으므로, 데이터의 분포나 구조에 대한 정보는 부족합니다.
3. 특정 작업에만 사용 가능: 분류 문제에 최적화된 접근 방식이므로, 이상치 탐지나 비지도 학습 등에는 적합하지 않습니다