AI스터디자료-1주차

---

1주차 PPT 자료

딱 정해진 포함관계는 아니지만 흔히 위와 같이 분류하곤한다.

딥러닝의 가장 큰 특징은 인공신경망을 이용하여 방대한 데이터를 다룬다는 것이다.

Machine은 가중치 즉,Parameter와 변수로 구성된 y=ax1+bx2+c와 같이 함수로 독립변수(Feature)와 종속변수(Label)의 관계를

표현하는 Model인 것이다.

이때 가중치(Parameter)를 결정하도록 하는 과정을 우리는 Model을 Training시킨다고 하고

해당 Model로 문제를 예측하는 과정을 추론이라고 한다.

강화학습은 ML, DL과는 조금 결이다른 내용으로 각 state에서 최선의 reward를 찾아가도록 하는

Model을 만드는 과정이라고 볼 수 있다.

가장 좋은 예시로 알파고가 있다. 한수(state)마다 가장 많은 집을 차지할 수 있는(최선의 reward)를 선택을 반복하도록 하여

승리로 향하도록 하는 것이다.

---

Activation Function (활성화 함수)

활성화 함수는 처리 중인 정보가 Network의 다음 layer로 이동하도록 허용되어야 하는지 여부를 결정하는 gatekeeper 역할을 한다.

활성화 함수는 입력의 가중 합계를 계산한 다음 출력으로 변환하는 수학적 함수이다. 활성화 함수의 목적은 뉴런의 출력에 비선형성을 도입하는 것이다. 활성화 함수가 없다면 신경망은 단순히 선형 모델로만 만들어질 뿐이고 입력과 출력 사이의 복잡한 관계를 모델링할 수 없다.

 

활성화 함수의 몇몇 예시들을 알아보자.

Sigmoid Function

시그모이드 함수는 이해하기 쉽고 구현하기 쉽기 때문에 인기 있는 활성화 함수이다. 시그모이드 함수는 임의의 입력 값을 0과 1 사이의 값에 매핑하는데, 이는 특정 입력이 특정 클래스에 속할 확률로 해석될 수 있다. 시그모이드 함수는 이진 분류 문제에 자주 사용된다.

 

Hyperbolic Tangent (tanh) Function

tanh 함수는 시그모이드 함수와 비슷하지만 입력 값을 -1과 1 사이의 값에 매핑한다.

tanh 함수는 종종 다중 클래스 분류 문제에 사용됩니다.

 

Rectified Linear Unit (ReLU) Function

ReLU 함수는 딥 러닝에서 가장 널리 사용되는 활성화 함수 중 하나이다. ReLU 함수는 0보다 큰 입력 값을 동일한 값에 매핑하고 0에서 0보다 작거나 같은 입력 값을 매핑한다. ReLU 함수는 빠르고 효율적이며 컴퓨터 비전 및 자연어 처리 작업에 흔히 사용된다.

ReLU Function에 대한 자세한 내용은 관련 논문을 통해 알아보았다.

---