[ML] Logistic Regression (Classification)

Pass / Fail based on study hours 예제에서 Linear Regression을 적용했을 경우

 

위와 같은 예제에서 Linear Regression을 적용했을 경우 hour가 커졌을 때 예측값이 1이 넘어가게 되며 hour가 큰 인스턴스가 있을 경우 pass와 fail을 구분하는 hour가 크게 되어 pass인 인스턴스의 예측값이 fail이 될 수 있다.

---

Logistic Classification Hypothesis

 

이러한 문제를 해결하기 위해 예측값의 범위를 0 ~ 1로 압축시키는 함수(Sigmoid Function)가 필요하다.

 

g(z) = 1 / (1+e^(-1).       =       Sigmoid Function       =       Logistic Function

 

z = WX 라고 하고 H(X) = g(z) = g(WX) 라고 한다면 위의 문제를 해결할 수 있다.

 

Logistic Hypothesis

 

---

Logistic Classification Cost Function

 

새로운 Hypothesis를 이전 Cost Function에 그대로 적용하면 오른쪽과 같은 그래프가 나오기 때문에 이전 Cost Fucntion을 이용할 수 없다.

 

Cost Function for Logistic Regression

 

 

 

예측값이 실제값과 다르게 되면 (예측이 틀렸을 경우) Cost값은 무한대에 가까워지며 예측값이 실제값과 같게 되면 (예측이 맞았을 경우) Cost값은 0이 된다.

 

 

 

---

 

 

 

Multinomial Classification

 

출처 : https://hunkim.github.io/ml/lec6.pdf

각 예측값에 대해 sigmod function을 적용하여 결과값을 얻게 되면 계산이 번거로워진다. 이를 해결하기 위해 나온 알고리즘이 softmax이다. softmax 알고리즘은 예측값의 범위가 0~1이 되도록 하며 모든 예측값의 합이 1이 되도록하는 알고리즘이다.