Coursera-Supervised Machine Learning: Regression and Classification (8) Chapter 1 fin.

---

Gradient descent algorithm

이전에 공부했던 linear regression model

이또한 이전에 공부하였던 Cost function

 

.

교수님이 식에 대한 자세한 이해보다는 아 그렇구나 하고 넘어가도 아무 상관이 없다고 하셨다.

그래도 어떤 연산이길래 그냥 넘어가라고 하시나 궁금해서 한번 봤더니 역시 교수님의 말씀에는 다 이유가 있었다.

이전에도 공부했던 내용인 gradient descent algorithm에 대해 다시보면 최소값을 찾아가는 과정이지만 Global Minimum을 찾는 과정이 아니라 Local Minimum을 찾아가는 과정으로 아래와 같이 여러개의 Local Minimum에 도달하여 결과를 도출할 수 있다.

그러나 convex function꼴로 표현을 하면 아래와 같이 bowl-shape로 global minimum 하나만 존재하여 절대 multiple local minimum이 존재할 수 없다.

이처럼 J(w,b)식을 만들어 낸다면 algorithm을 사용했을때 어떠한 경우에도 유일한 global minimum 값을 도출해낼 수 있기 때문에 큰 장점으로 볼 수 있다.

---

Batch Gradient Descent

"Batch" gradient descent는 gradient descent의 각 단계에서

모든 training examples 즉 모든 data set을 이용하여 학습하는 것이다.

위와 같이 global minimun에 점차적으로 가까워지고 cost가 낮아짐을 알 수 있다.

---