Lecture1 - Basic Concepts of Probability Theory

---

머릿말

1주차는 공학도로써 확률변수론이 필요한 이유, 그리고 인공지능에 대한 관심이 높아짐에 따른 확률변수론 수강생이 많아진다는 다양한 주제화 함께 교수님이 가볍게 인사하는 시간을 가졌기에 1주차는 패스하고 내가 선택과목인 확률변수론을 수강하는 이유에 대해 간단히 이야기 하고자한다. 사실 인공지능을 연구하는 사람이라면 통계학이 필수라는 것을 모르는 사람은 없을 것이다. 그러나 머신러닝 공부를 시작하지 않은 사람들은 "통계는 어짜피 컴퓨터가 분석하는거 아닌가?? 내가 왜 공부를 해야하지??"와 같은 생각을 할 수 있다. 나 또한 머신러닝 초보지만 모델을 한번 짜보는 경험을 하면서 많은 것을 느꼈다. 물론 싸이킷런 라이브러리가 기본적인 모델의 구조를 잡아주지만 데이터를 제대로 다룰 수 없는 머신러닝 연구자는 결코 좋은 퍼포먼스를 보일 수 없다는 것이 많은 느낀점중 하나였다. 이러한 경험이 있어서인지 나에게 확률변수론이라는 과목은 학점을 위한 하나의 과목이 아니라 나에게 정말 필요한 지식을 얻어갈 기회라는 생각이 들었다.

---

Specifying random experiments

(random) experiment: 임의로 선택된 특정 조건 하에서 불확실한 결과를 만들어내는 과정이다. 풀어서 말한다면 똑같은 조건에서 반복하더라도 그 결과가 다른 실험이다.

outcome (sample point): experiment의 결과이다.

sample space: 가능한 outcome의 집합으로 S로 표시한다.

event: S의 부분 집합

 

확률의 정의: A non-negative number assigned to an 'event'

 

우리가 알고 있는 것과는 다르게 양수이기만 하면 된다. 1보다 클 수 있다는 것이다. 그러나 이는 정의상으로 뿐이고 후에 1보다 작거나 같을 수 밖에 없다는 증명을 할 수 있다.

 

교집합(intersection)은 두 개 이상의 집합(set)이 동시에 포함하는 공통 요소의 집합을 의미한다. 두 집합이 서로 교집합을 가지지 않는 경우에는 서로 mutually exclusive하다고 한다.

---

Axioms of Probability

확률변수론의 다양한 정리들을 증명하는데 필요한 기본 공리들을 알아보자.

Axiom 1: 0 ≤ P[A] (≤ 1)

Axiom 2: P[S] = 1

Axiom 3: If A and B are events that cannot occur simultaneously

                Or if A and B are mutually exclusive

                Or If A ∩ B = ∅ 이면

P[A ∪ B] = P[A] + P[B]

Axiom 3’: If A1, A2, A3, … is a sequence of events satisfying Ai ∩ Aj = ∅, for all i≠j (pairwise mutually exclusive)

---

Conditional Probability

수능 공부를 할 때도 정말 많이 공부했던 조건부확률에 대한 내용이다.

예시를 보고 이해해보자.

 

박스안에 아래 표와 같이 100개의 저항이 들어 있다고 가정하자.

박스에서 한 개의 저항을 선택하는 경우 다음과 같이 세 가지 Event를 정의한다.

A : 선택한 저항이 47 ohm인 event

B : 선택한 저항이 5% tolerance인 event

C : 선택한 저항이 100 ohm인 event

박스에서 저항을 한 개 선택하였다. 이 저항의 tolerance는 5%이다. 이 저항이 47ohm일 확률은?

위의 예시를 통해 조건부 확률의 정의를 살펴보자.

조건부 확률 P(A|B)는 sample space S 에 대한 확률이 아니라 sample space를 B 로 했을 때의 확률을 의미한다. 

따라서 아래와 같은 식도 유추할 수 있다.

---

Total Probability 정리

S = B1 ∪ B2 ∪ B3 ∪ …. ∪ Bn Bi ∩ Bj = ∅, i ≠ j 이면 (pairwise mutually exclusive라면)

분배법칙을 이용하면 다음과 같은 theorem on total probability를 구할 수 있다.

---

Bayes' Rule

---

Independence of Events

Statistical Indepence(통계학적 독립)의 정의

P(A ∩ B ) = P(A)P(B) 이 면 두 event A 와 B 는 statistically independent하다고 한다.

두 event A와 B가 statistically independent하면 P(A|B) = P(A), P(B|A) = P(B) 이다.

---