베이즈 추론(Bayesian inference)

여기, 여기 참조함

직관

가장 간단하게는 베이즈 정리를 사용하여 사후확률을 구하는 과정이라고 할 수 있다.

ML적인 관점에서는 보통 $p(모델|샘플)$을 구하는 과정이 된다.

(주어진 샘플을 가장 잘 설명하는 모델파라미터를 찾는 과정...)

문자를 써서 표시하면 $P(\theta|X) = {{P(X|\theta)P(\theta)}\over{P(X)}}$가 되고, 다음과 같은 의미로 해석한다.

$$사후확률(posterior) = {{가능도(likelihood) \times 사전확률(prior)}\over{증거(evidence)}}$$

위에서 X는 샘플 리스트를 의미

사전확률 = 경험적으로 알고 있는 것

사후확률 = 관심있는 것

예제1

아래 예제는 여기서 발췌함

쿠키 가득한 그릇이 2 개 있다고하자. 그릇 # 1에는 10 개의 초콜릿 칩 쿠키와 30 개의 일반 쿠키가 그릇 # 2에는 각각 20 개씩있다 (이것을 전제 지식으로한다). 어느 하나의 그릇을 무작위로 선택하고 또한 무작위로 쿠키를 꺼낸다. 결과 쿠키는 일반이었다. 이것이 그릇 # 1에서 꺼내 진이라는 확률은 어느 정도인가?

절반 이상이라는 것은 직관적으로 알 수있다 (그릇 # 1 분이 일반 쿠키가 많기 때문). 정확한 답변을 베이지안 추정 내자. 그릇 # 1을 선택하는 이벤트를 H ₁ 그릇 # 2를 선택하는 이벤트를 H ₂ 로한다.

먼저 그릇을 무작위로 선택 했으니 그 둘 중 하나를 취할 확률은 P ( H ₁ ) = P ( H ₂ ) = 0.5.

"일반 쿠키가 나왔다"는 관찰 결과를 "데이터 D "로한다. 그릇 # 1에서 D 확률은 P ( D | H ₁ ) = 30/40 = 0.75 그릇 # 2는 P ( D | H ₂ ) = 20/40 = 0.5로 나타났다. 베이지안 식은

${\ displaystyle {\ begin {aligned} P (H_ {1} | D) & = {\ frac {P (H_ {1}) \ cdot P (D | H_ {1})} {P (H_ {1} ) \ cdot P (D | H_ {1}) + P (H_ {2}) \ cdot P (D | H_ {2})}} \\ & = {\ frac {0.5 \ times 0.75} {0.5 \ times 0.75 + 0.5 \ times 0.5}} = 0.6 \ end {aligned}}}$

이되기 때문 쿠키를보기 전에 그릇 # 1을 선택 확률 (사전 확률)는 P ( H ₁ ) = 0.5. 쿠키를 본 후에는이 확률은 P ( H ₁ | D ) = 0.6로 개정된다.

위 예제는 이해하기 쉬운데, 의외로 베타분포는 필요가 없음을 알 수 있다. 그럼 베타 분포는 언제 필요하느냐.. 위처럼 단일 확률에 대한 경우가 아니라 이항분포와 같이 통계적인 부분을 취급할때 필요하게 된다. 다음 예제를 보자.

예제2

관찰 결과가 성공 m 번 실패 n 시간이되었다고한다. 구체적으로는 동전 던지기 에도 누군가에 찬성 · 반대의 의견을 듣는 것도 좋다. 모수 a (시도 횟수, 성공 확률)에 대한 사전 확률 p ( a )에서 표현한다.

주어진 a 의 값에 대한 전체 m + n 회 시행의 내 성공이 m 시간이 될 확률은

${\ displaystyle p (m, n | a) = {\ begin {pmatrix} n + m \\ m \ end {pmatrix}} a ^ {m} (1-a) ^ {n}}$

m 및 n 은 고정되고, a 는 불명하기 때문에 이것은 a 의 가능도된다.

베이 즈 정리 (연속 분포의 형태)에서

${\ displaystyle p (a | m, n) = {\ frac {p (m, n | a) \, p (a)} {\ int _ {0} ^ {1} p (m, n | a) \, p (a) \, da}} = {\ frac {{\ begin {pmatrix} n + m \\ m \ end {pmatrix}} a ^ {m} (1-a) ^ {n} \, p (a)} {\ int _ {0} ^ {1} {\ begin {pmatrix} n + m \\ m \ end {pmatrix}} a ^ {m} (1-a) ^ {n} \, p (a) \, da}}}$

사전 분포 p ( a )로 특정 물건을 선택하면,이 적분을 수행 할 수 사후 확률은 간단한 형태가된다.

특히 p ( a )가 모수 m ₀ 과 n ₀ 의 베타 분포 라면, 사후 분포도 베타 분포에서 모수는 m + m ₀ 과 n + n ₀ 이된다.

위의 예 베타 분포처럼 사후 분포가 동일한 유형의 분포가되도록 사전 분포를 공액 사전 분포 한다.

상세

베이즈 정리와 추론이 있는데 정리는 여기 참조.

베이즈 추론을 알려면 베르누이 분포와 베타분포를 먼저 알아야 함