Naive Bayes
Naive Bayes는 확률에 기반한 머신러닝 알고리즘으로, Bayes’ Theorem를 활용하여 분류 작업을 수행합니다.
- “Naive”(순진한) 라는 명칭은 모든 특징들이 서로 독립적이라고 가정하기 때문에 붙여졌습니다.
- 현실에서는 특징들이 완전히 독립적이지 않을 수 있지만, 이 단순한 가정을 통해 계산을 용이하게 하고 실제로도 좋은 성능을 보입니다.
Key Rule
베이즈 정리는 사전 확률(prior probability)과 우도(Likelihood)를 기반으로 사후 확률(posterior probability)을 계산하는 확률 이론의 기본 법칙입니다. 새로운 데이터나 증거를 바탕으로 기존의 믿음(사전 확률)을 업데이트하는 방법을 제공합니다.
주요 구성 요소
-
사전 확률 ( P(W) ):
- 사건 ( W )가 일어나기 전, 즉 증거 ( J )가 주어지기 전에 ( W )가 일어날 확률입니다. 이는 우리가 가지고 있는 초기 정보나 추정을 나타냅니다.
-
우도 ( P(J | W) ):
- 사건 ( W )가 발생했을 때 증거 ( J )가 관찰될 확률입니다. 주어진 조건에서 새로운 증거가 나올 가능성을 측정합니다.
-
사후 확률 ( P(W | J) ):
- 증거 ( J )가 주어진 후, ( W )가 발생할 확률입니다. 새로운 증거에 의해 업데이트된 사건 ( W )의 확률을 나타냅니다.
-
증거의 확률 ( P(J) ):
- 증거 ( J )가 관찰될 전체 확률입니다. 모든 가능한 사건에 대해 증거가 관찰될 확률을 계산한 값입니다.
베이즈 정리 적용
Conditional Probability베이즈 정리는 아래와 같이 나타낼 수 있습니다:
이 공식을 통해 새로운 증거가 주어졌을 때 기존의 가설을 어떻게 업데이트할 수 있는지를 알 수 있습니다. 즉, 처음에 가지고 있던 믿음(사전 확률)을 증거의 우도를 통해 새롭게 수정하는 방식입니다.
예시: William이 잼을 훔쳤는가?
- 사전 확률: - William이 잼을 훔쳤을 가능성
- 우도: - William이 잼을 훔쳤을 때 그의 옷에 잼이 묻어 있을 가능성
- 증거: William의 옷에 잼이 묻어 있는 사실을 알았을 때, 그가 실제로 잼을 훔쳤을 확률을 구하는 문제
베이즈 정리를 적용하면:
이러한 방식으로, 베이즈 정리는 새로운 정보를 바탕으로 기존 확률을 업데이트하고 더 정확한 결론에 도달하는 데 중요한 역할을 합니다.
실제 사례를 통한 이해
베이즈 정리를 이해하는 데 있어서, 실제 세계에서 어떻게 활용되는지 구체적인 사례를 들어 설명하면 더 명확하게 다가옵니다. 베이즈 정리는 복잡한 의사 결정 과정에서 증거를 기반으로 기존의 가설을 업데이트하는 데 사용되는 매우 강력한 도구입니다.
1. 의료 진단에서의 베이즈 정리
환자가 특정 증상(예: 발열, 기침)을 보일 때, 의사는 이 증상이 특정 질병(예: 독감) 때문인지 판단해야 합니다.
- 사전 확률 ( P(D) ): 환자가 독감에 걸렸을 확률
- 우도 ( P(S | D) ): 독감 환자가 해당 증상을 보일 확률
- 증거의 확률 ( P(S) ): 해당 증상이 나타날 전체 확률
베이즈 정리를 통해 환자가 실제로 독감에 걸렸을 확률 ( P(D | S) )을 계산하여, 의사는 증상만으로 초기 판단을 내리기보다는 다양한 증거를 반영한 정확한 진단을 내릴 수 있게 됩니다.
2. 법적 판단에서의 활용: 범죄 추론
법적 상황에서도 베이즈 정리는 유용하게 활용됩니다. 어떤 사건이 발생했을 때 특정 용의자가 범인일 가능성을 평가하기 위해 여러 증거를 수집합니다.
- 사전 확률: 각 용의자가 범인일 초기 확률
- 우도: 용의자가 특정 증거와 관련될 확률
- 사후 확률: 증거를 반영한 후 용의자가 범인일 확률
베이즈 정리를 사용하면 증거에 따라 특정 용의자가 범인일 확률을 업데이트할 수 있으며, 이를 통해 결정적인 증거의 중요성을 수학적으로 설명할 수 있습니다.
3. 스팸 필터링
이메일에서 스팸 필터는 베이즈 정리를 통해 작동합니다. 이메일이 스팸일 가능성을 판단할 때 특정 단어들이 포함된 경우를 기반으로 합니다.
- 사전 확률 ( P(S) ): 임의의 이메일이 스팸일 확률
- 우도 ( P(W | S) ): 스팸 이메일에 특정 단어(( W ))가 포함될 확률
- 사후 확률 ( P(S | W) ): 특정 단어가 포함되었을 때 이메일이 스팸일 확률
베이즈 정리를 활용하여 스팸 필터는 새로운 단어(증거)가 추가될 때마다 기존 확률을 업데이트하여 정확한 분류를 수행합니다.
연속적인 업데이트 가능성
베이즈 정리는 연속적인 확률 업데이트가 가능합니다. 이는 베이지안 업데이트라고도 하며, 새로운 증거가 주어질 때마다 사후 확률을 계속해서 업데이트하는 과정입니다.
- 새로운 증거가 나타날 때마다 사후 확률이 사전 확률로 업데이트되어 다음 계산에 활용됩니다.
- 이 과정은 새로운 정보가 추가될 때마다 기존의 믿음을 지속적으로 수정하여 더 정확한 판단에 도달하게 합니다.
대규모 적용 가능성
베이즈 정리는 수많은 피실험자나 대규모 데이터에도 적용할 수 있습니다.
- 개별화된 예측: 각 데이터 포인트마다 개별적인 확률 업데이트를 수행하여 개인화된 결과를 도출할 수 있습니다.
- 집단적 통계 분석: 대규모 데이터를 처리하면서 전체적인 패턴이나 경향성을 파악하는 데 유용합니다.
- 실제 적용 사례: 머신러닝의 베이지안 네트워크, 의료 연구에서의 임상 시험 데이터 분석, 추천 시스템 등에서 활용됩니다.
대규모 데이터를 처리하면서도 개별화된 확률을 정확하게 업데이트할 수 있는 능력은 베이즈 정리의 큰 장점입니다.
결론적으로, Naive Bayes는 베이즈 정리를 기반으로 한 간단하지만 강력한 알고리즘입니다. 특징들의 독립성이라는 “순진한” 가정에도 불구하고, 실제로 많은 분야에서 효과적으로 활용되고 있습니다. 베이즈 정리는 새로운 증거가 주어질 때마다 기존의 확률을 업데이트하여 더 정확한 의사 결정을 가능하게 합니다..