※ KOCW 이상화교수님의 확률 및 통계 강좌를 기반으로 정리한 내용입니다

정의 살펴보기

• Sample space (S) : 시행 결과가 완전히 랜덤할 때, 시행의 모든 가능한 결과들의 집합

• Event (A) : sample space의 부분 집합. ($A \sub S$)

  • P(A) : A라는 event가 발생할 확률
  • sample space에서 하나의 결과를 뽑았을 때 이 결과가 A에 속할 확률 ($outcome \in A$ 일 확률)

• 조건부확률 (conditional probability)

  : P(B|A) 와 같이 표현하며 이는 A라는 condition이 발생했을 때 B라는 event가 발생할 확률을 의미한다.

  $$ P(B|A) = \frac{P(B \cap A)}{P(A)} =\frac{P(B\cap A|S)}{P(A|S)} $$

  위와 같이 나타낼 수 있으며 마지막 식에서 나타냄과 같이 어떤 sample space가 항상 조건으로 주어진다. 그러나 sample space 외에는 고려할 필요가 없으므로 생략하여 나타낸다.

• total probability : 특정 경우 ( e.g. event A ) 의 확률. P(A)와 같이 나타낸다.

  • sample space S는 {E1, E2, …, En} n개의 배반사건으로 나눌 수 있다. ⇒ E1, E2, E3, …, En은 S의 부분집합.

    

    https://gkjeong.tistory.com/9

  • 따라서 P(A)는 다음과 같이 나타낼 수 있다. $P(A) = P(E_1 \cap A) + P(E_2 \cap A) + … + P(E_n \cap A)\\=P(A|E_1)P(E_1) + P(A|E_2)P(E_2)+... + P(A|E_n)P(E_n) \\= \sum_{i=1}^nP(A|E_i)P(E_i)$

  • 이에 대한 역도 성립한다.

  • $P(A|E_i)$ 는 priori(사전확률)이라고 할 수 있다.

Bayesian theorem

$$ P(B|A) = \frac{P(B \cap A)}{P(A)} ,\;\;\;\; P(A|B) = \frac{P(A \cap B)}{P(B)} $$

$$ P(B|A) = \frac{P(A|B)\;P(B)}{P(A)} $$

위 식이 베이즈 정리이다.

이를 통해 위에서 A와 A내의 배반사건 Ai에 대해 A에 대한 Ai의 조건부확률을 다음과 같이 나타낼 수 있다.

$$ P(A_i|A) = \frac{P(A|A_i)P(A_i)}{P(A)} $$

여기서 A는 이미 관측한 데이터, 즉 observation data라고 할 수 있고, $A_i$는 input data / original data / unseen data라고 할 수 있다. 이에 대한 예시로 Binary Symmetric channel 예시를 알아본다.

ex) Binary Symmetric Channel

input symbols : {$x_1$, $x_2$}

output symbols : {$y_1$, $y_2$}

binary이기 때문에 $x_1=0, x_2=1, y_1 = 0, y_2=1$로 보아도 무관하다.

receiver에서 받는 것은 output symbols이기에 output symbols를 observation data라고 할 수 있다.

$x_1$을 전송해 $y_1$을 받고, $x_2$를 전송해 $y_2$를 받는 것이 이상적이지만, 현실은 그렇지 못하다. 확률이라는 것이 존재한다.