Softmax classifier

---

Intro

인공지능 응용 수업을 수강하고 있는데 사실 인공지능 기초는 다양한 공개 강의들을 통해서 공부했고 몇몇 프로젝트도 진행했기에 아주 가법게 생각하고 듣기 시작했다. 그러나 생각보다 기초적인 부분에서 수식 증명과 같은 세부사항들에서 잊은 내용들이 있어서 기초를 다시 돌아보기 좋다는 생각이들어 블로그 정리도 간간히 하려고 한다.

---

Express as Probability

추론의 결과를 0부터 1까지의 확률로 표현하기 위해서 sigmoid함수가 사용될 수 있다. 

Sigmoid함수를 미분하면 위와 같이 계산된다. 이를 간단하게 표현하면 P'=P(1-P)가 된다. Sigmoid함수를 이용하여 미분된 sigmoid 함수를 표현할 수 있는 것이다. 또한 P가 0 또는 1의 극단으로 갈 수록 미분의 결과는 0에 가까워진다는 사실도 알 수 있다.

 

아래는 Logistic regression에서 쓰이는 optimizer들에 대한 수식적인 설명이다.

Logistic regression은 이진 분류 문제에 사용되는데 Softmax 함수는 이를 확장하여 다중 클래스 분류 문제에 적용할 수 있도록 일반화한 것이다.

Classifier score를 지수함수 위에 올리면 음수값들이 양수로 변환된다. 이는 확률이 무조건 0이상이어야 한다는 사실에 적절하게 부합된다.

확률값을 0에서 1까지의 숫자로 normalization을 하면 최종 결과가 나온다.

예측한 값과 Ground Truth간의 차이를 loss로 두고 학습을 진행하는 것이다.

추가로 구해진 probability를 -log에 넣으면 정보이론에 따라 희소한 데이터의 가치가 높게 평가받는 것을 볼 수 있다. (Shannon)엔트로피 이론은 아래와 같은 식으로 표현할 수 있다.

이를 그래프로 표현하면 아래와 같이 나타낼 수 있다.

최종적으로 softmax와 cross-entropy를 정리해보면 아래와 같이 정리할 수 있다.

---