Generative Model

확률론적 생성모형 (Generative Model)

확률론적 생성모형의 기본 개념

• 우리가 궁금한 것은 $ x $ (features) 들이 있을 떄, $ y $가 어떤 Class 인지 맞추는 것이다. 맞추기 위해서는 training set 으로 부터 각 Class 마다 $ P(y \mid x) $의 모형을 알아내야 한다.

• 베이즈 정리를 이용하여, $ y=C_k $일 때의 조건부 확률을 구할 수 있다.
  $$
  P(y = C_k \mid x) = \dfrac{P(x \mid y = C_k); P(y = C_k)}{P(x)}
  $$

• 이 때, $ P(x \mid y = C_k) $
  == Likelihood
  == y가 k라는 클래스 일 때, x의 확률을 구하는 것이 관건

Likelihood 추정의 알고리즘

1. $ P(x \mid y = C_k) $ 가 ** 어떤 ** 확률분포를 따를 것이다라고 가정
   
   
   
2. x의 특성에 따라 우리가 알고 있는 특정 확률분포를 따른다! 라고 가정
   
   
   
3. Class k 를 만드는 data들을 통해 이 확률분포의 모수값을 구한다.
   
   
   
4. 모수값을 안다 == $ P(x \mid y = C_k) $ 의 pdf 를 알고 있다.
   
   
   
5. test set x 가 들어오면 $ P(x \mid y = C_k) $ 를 구할 수 있다.