Day10 : Linear Discriminant Analysis(LDA)

이번주 슬라이드: 

https://lagunita.stanford.edu/c4x/HumanitiesScience/StatLearning/asset/classification.pdf

교재 4.4 중 4.4.1, 4.4.2를 공부하시면 됩니다. (영문: 138~ 141, 국문: 159 ~ 164p)

*Linear Discriminant Analysis and Bayes Theorem (7:12)-4.4.1*

https://www.youtube.com/watch?v=RfrGiG1Hm3M&list=PL5-da3qGB5IC4vaDba5ClatUmFppXLAhE

*Univariate Linear Discriminant Analysis (7:37)-4.4.2*

https://www.youtube.com/watch?v=QG0pVJXT6EU&list=PL5-da3qGB5IC4vaDba5ClatUmFppXLAhE

1. Discriminant Analysis

판별분석은 각각의 클래스가 가지는 X의 분포를 모델링하고 베이지안 이론의 접근을 통해서 X일 때, Y의 클래스를 가질 확률을 추론하는 것이다. (두 개 이상의 모집단에서 추출된 표본들이 지니고 있는 정보를 이용하여 이 표본들이 어느 모집단에서 추출된 것인지를 결정해 줄 수 있는 기준을 찾는 분석법)

만약 우리가 Normal(Gaussian)분포를 각각의 클래스에 대해 사용한다면, linear or quadratic 판별 분석이 된다. 먼저 베이지안 이론이 뭔지부터 확인해보록 하겠습니다.

위의 슬라이드에서 보면 X = x일때, Y = k 일 확률을 추론해내는 방식입니다. 여기에서 들어가는 판별분석의 개념은 Y=k일때 X=x의 확률을 사용한다는 점이고, Pr(Y=k)라는 사전확률을 알고 있어서 사용한다는게 특징입니다.

판별분석을 사용하는 이유?

• 클래스가 잘 분리되면 로지스틱 회귀모델에 대한 매개 변수 추정치가 놀랍게도 불안정합니다. 선형 판별 분석은 이 문제를 겪지 않습니다.
• n이 작고 각 클래스에서 예측값 x의 분포가 normal분포이면 선형판별분석은 로지스틱회귀보다 더 안정적입니다.
• 선형 판별 분석은 Y클래스가 2개 이상이면 데이터의 저차원뷰를 제공하기 떄문에 일반적으로 사용됩니다.

X = x일때, 어떤 클래스로 분류되는지 판단하기 위해서는 어떤 k를 가지는게 가장 확률이 큰지 봐야합니다. 로그를 취하고 k에 의존하지 않는 부분을 버리는 것은 x를 판별 점수가 가장 큰 부분에 할당하는 것과 동일합니다. 

일반적으로 우리는 위의 매개변수 값들을 알지 못합니다. 이 경우 우리는 단순히 매개 변수를 추정하고 규칙에 연결하는 방식을 사용합니다.

2. 예시

위의 그림은 Fisher Discriminant를 나타낸 plot입니다. 

K 클래스가 있을 때 선형 판별 분석은 K-1 차원 플롯에서 정확하게 볼 수 있습니다. 이는 근복적으로 가장 가까운 중심으로 분류되고 K-1 차원 평면에 걸쳐 있기 때문입니다. K>3일 때 조차도 판별 규칙을 검증할 수 있는 최상의 2차원 평면을 찾을 수 있습니다.