Google ML crash course (3)

Reducing Loss

Loss를 줄이기위해 Gradient descent 과정을 통해 algorithm을 수정한다.

이때 learning rate가 너무 작으면 loss가 최소인점을 찾는데까지 너무 많은 step을 밟아야한고

learning rate가 너무 크면 정확도가 떨어져서 overshooting되어 loss가 최소인점을 크게 벗어날 수 있다.

Too many steps

Too high learning rate

 

 

Appropriate learning rate

 

Course에서 제공된 프로그램을 통하여 Learning rate가 0.05일때, 0.6일때, 0.1일때를

각각 실행시켜보면서 직접확인해 보았다.

---