728x90 Drawing (AI)111 Google ML crash course (4) Tensorflow Machine Learning용 E2E 오픈소스 플랫폼이다. Tensorflow API는 하위 수준 API를 기반으로 하는 상위 수준 API를 사용하여 계층적으로 정렬된다. ML 연구원 수준에서는 하위수준의 API를 사용하여 새로운 머신러닝 알고리즘을 만들고 연구하지만 우선 내가 따라가고자하는 ML crash course에서는 tf.keras라는 상위수준의 API를 사용하여 진행된다. Google colab Google colab을 이용하여 NumPy와 pandas라는 오픈소스에 대한 학습을 진행하는 것이 기본 과정이다. Google colab은 google colaboratory의 줄임말로 Jupitor Notebook 같은 브라우저에서 Python 스크립트를 작성하고 실행시켜볼 수.. 2022. 12. 26. Coursera-Supervised Machine Learning: Regression and Classification (8) Chapter 1 fin. Gradient descent algorithm 교수님이 식에 대한 자세한 이해보다는 아 그렇구나 하고 넘어가도 아무 상관이 없다고 하셨다. 그래도 어떤 연산이길래 그냥 넘어가라고 하시나 궁금해서 한번 봤더니 역시 교수님의 말씀에는 다 이유가 있었다. 이전에도 공부했던 내용인 gradient descent algorithm에 대해 다시보면 최소값을 찾아가는 과정이지만 Global Minimum을 찾는 과정이 아니라 Local Minimum을 찾아가는 과정으로 아래와 같이 여러개의 Local Minimum에 도달하여 결과를 도출할 수 있다. 그러나 convex function꼴로 표현을 하면 아래와 같이 bowl-shape로 global minimum 하나만 존재하여 절대 multiple local min.. 2022. 11. 6. Coursera-Supervised Machine Learning: Regression and Classification (7) Gradient descent intuition gradient descent식을 해석해보았다. 미분값은 w지점의 접선의 기울기를 의미하므로 J가 우상향일때는 양수의 값이 나오고 J가 우하향일때는 음수의 값이 나온다. 양수의 값이 나오면 learning rate인 alpha값은 양수이므로 w를 감소시키는 함수가 된다. 우상향일때 w를 감소시키면 J가 최소인지점과 가까워지므로 올바른 식임을 알 수 있다. 음수의 값이 나오면 반대로 w를 증가시키는 함수가 된다. 우하양일때 w를 감소시키면 J가 최소인 지점과 가까워지므로 이또한 올바른 식임을 알 수 있다. 이렇게 grdient descent에 대한 직관적인 해석을 해보았다. Learning rate 이전부터 이용하던 alpha값 learning rate는 학.. 2022. 8. 24. Coursera-Supervised Machine Learning: Regression and Classification (6) Gradient descent Cost fuction J(w,b)를 얻었다면 그 값을 최소화 하는 것이 적절한 model을 만들기위한 parameter를 결정하는 방법이다. 이때 w와 b을 계속 바꿔가며 J(w, b)값을 감소시키며 최소값에 최대한 가깝게 또는 최소값에 도달하도록 한다. 서서히 최소값을 향하는 방향으로 새로운 w, b를 조사하고 반복한다. 위의 그림에서 볼 수 있듯이 시작점의 사소한 차이가 전혀 다른 결과값을 초래하고 그 지점들은 local minima이다. Gradient descent algorithm 여기서 = 는 양변이같다는 등호가 아니라 코딩에서 이용하는 대입연산자의 개념이다. alpha는 learning rate로 좌표를 변화시키는 정도를 의미한다. 뒷 부분은 derivativ.. 2022. 8. 22. Coursera-Supervised Machine Learning: Regression and Classification (5) Visualizing the cost function cost function J는 국 그릇 모양으로 최적 값을 기준으로 전부 상승하는 경향성을 가진 함수 모양이다. Examples w가 -0.15이고 b가 800인 경우의 모습이다. 상당히 부정확한 model임을 알 수 있다. 여전히 부정확한 model이지만 이전 model보다는 낫다. w=0, b=360인 model이다. J가 최소값이 되는 적절한 model로 w=0.13, b=71인 model이다. 2022. 8. 9. Coursera-Supervised Machine Learning: Regression and Classification (4) Cost function formula 이전 시간까지 공부했듯 features와 그와 매칭되는 target을 통해 model을 만든다. 그러한 model의 function은 다음과 같이 작성할 수 있다. w와 b의 값을 추정값과 실제값이 가깝도록 결정해야한다. 이러한 결정을 돕기위해 cost function fomula를 이용한다. Cost function은 다음과 같다. Cost function intuition 우선 그래프의 경향성과는 관계없는 b를 0으로 가정하여 단순화를 해본다. 우선 (x,y) data set이 (1,1), (2,2), (3,3)인 단순한 경우를 보면 w=1을 통해 cost function 식을 만들고 모든 경우에 오차가 0임을 알 수 있다. 이를 식과 그래프를 통해 관찰한다. .. 2022. 8. 7. Coursera-Supervised Machine Learning: Regression and Classification (3) Linear regression model 주어진 data를 직선적으로 분석하여 예측을 진행하는 model이다. 위와같이 data들의 경향성을 선형적으로 분석하여 분석하는 방법이다. Terminology Training set: Data used to train the model Notation: x = "input" variable feature y = "output" variable, "target" variable m = number of training example features와 targets이 매칭이 되어있는 training set을 통해 학습하여 model f를 만들어내고 해당 model에 x라는 feature을 입력하면 예측값인 y-hat이 출력이 된다. Univariate linear.. 2022. 7. 29. Google ML crash course (3) Reducing Loss Loss를 줄이기위해 Gradient descent 과정을 통해 algorithm을 수정한다. 이때 learning rate가 너무 작으면 loss가 최소인점을 찾는데까지 너무 많은 step을 밟아야한고 learning rate가 너무 크면 정확도가 떨어져서 overshooting되어 loss가 최소인점을 크게 벗어날 수 있다. Course에서 제공된 프로그램을 통하여 Learning rate가 0.05일때, 0.6일때, 0.1일때를 각각 실행시켜보면서 직접확인해 보았다. 2022. 7. 23. Coursera-Supervised Machine Learning: Regression and Classification (2) Unsupervised learning Find something interesting in unlabeled data. Right examples를 통해 훈련을 시키는 것이아니라 unlabeled data를 자체적으로 clustering하는 것이다. Clustering algorithm Clustering algorithm은 말그대로 정보들을 군집화하여 의미있는 data를 구해내는 것이다. 다음과 같이 구글 뉴스에서 연관성이 있는 기사들을 찾아내는 것도 같은 원리이다. 또한 DNA microarray 기술에서도 각각의 개체와 그들의 특징을 나타내는 유전자를 군집화하여 표현하였음을 알 수 있다. 소비자 분석에서도 흔히 쓰인다. 어떤 물건을 구매하는지 어떤 뉴스를 읽는지와 같은 다양한 성향을 토대로 소비자.. 2022. 7. 23. 이전 1 ··· 9 10 11 12 13 다음 728x90
