ThinkX | AI·기술·IT·개발·산업·자기계발 지식 아카이브
나이브 베이즈란? 베이즈 정리·사전확률·사후확률·조건부 독립 쉽게 이해하기
1장 나이브 베이즈란 무엇인가#
나이브 베이즈 Naive Bayes는 베이즈 정리 Bayes' Theorem를 기반으로 하는 확률 분류기입니다.
새로운 데이터가 들어왔을 때:
이 데이터가 클래스 A일 확률은 얼마나 될까?
클래스 B일 확률은 얼마나 될까?
를 계산한 뒤 더 높은 확률을 가진 클래스로 분류하는 방식입니다.
예를 들어 이메일을:
- 스팸
- 정상 메일
두 종류로 분류한다고 하겠습니다.
메일에 특정 단어들이 등장했을 때:
이 단어들을 가진 메일이 스팸일 확률은 얼마인가?
를 계산해 스팸 여부를 결정할 수 있습니다.
핵심#
Naive Bayes = 베이즈 정리 기반 확률 분류기
입니다.
2장 나이브 베이즈는 어떤 문제에 사용하는가#
제공된 학습자료에서는 나이브 베이즈를 분류기 Classifier로 설명합니다.
즉 결과를 특정 범주로 나누는 문제에 사용할 수 있습니다.
대표적인 사례는:
- 스팸 메일 분류
- 뉴스 기사 분류
- 감정 분석
입니다.
텍스트처럼 여러 특성이 존재하는 데이터를 분류할 때 이해하기 쉬운 대표적인 확률 기반 방법입니다.
3장 나이브 베이즈를 쉽게 이해하면#
메일 한 통이 도착했다고 생각해봅시다.
메일에는:
- 무료
- 당첨
- 이벤트
같은 단어가 포함되어 있습니다.
기존 데이터를 분석해보니 이런 단어가 스팸 메일에서 자주 등장했다고 하겠습니다.
나이브 베이즈는 이 정보를 이용해:
이 단어들이 등장했다는 조건에서 이 메일이 스팸일 확률은 얼마인가?
를 계산합니다.
즉 관찰된 증거를 바탕으로 어떤 클래스일 확률을 계산한다고 이해하면 됩니다.
4장 베이즈 정리란 무엇인가#
나이브 베이즈의 핵심이 되는 공식이 베이즈 정리입니다.
제공된 학습자료의 공식은 다음과 같습니다.
P(A|B) = P(B|A) × P(A) / P(B)
이 식에서 가장 중요한 것은 | 기호입니다.
P(A|B)는:
B라는 조건이 주어졌을 때 A가 발생할 확률
을 의미합니다.
5장 P(A|B)는 무엇인가#
P(A|B)는 조건부 확률입니다.
제공된 학습자료에서는 이를 사후확률 Posterior Probability이라고 설명합니다.
즉 B라는 새로운 정보나 증거를 관찰한 뒤 A일 확률이 얼마인지 나타냅니다.
예를 들어:
A = 스팸 메일
B = "무료"라는 단어가 포함됨
이라고 하면:
P(A|B)
는:
"무료"라는 단어가 포함되어 있을 때 그 메일이 스팸일 확률
을 의미합니다.
핵심#
P(A|B) = B가 주어졌을 때 A의 확률
입니다.
6장 사후확률 Posterior Probability이란 무엇인가#
사후확률은 새로운 정보를 관찰한 이후의 확률입니다.
처음에는 어떤 메일이 스팸인지 확실하지 않습니다.
그런데:
"무료"
"당첨"
"광고"
같은 단어를 관찰합니다.
이러한 증거를 반영한 후 스팸일 확률을 다시 계산합니다.
이렇게 증거를 확인한 뒤 갱신된 확률이 사후확률입니다.
7장 P(A)는 무엇인가#
제공된 학습자료에서 P(A)는 사전확률 Prior Probability입니다.
즉 새로운 증거 B를 보기 전에 A가 발생할 확률입니다.
예를 들어 전체 메일 가운데:
30%가 스팸
이었다면:
P(스팸) = 0.3
으로 생각할 수 있습니다.
핵심#
P(A) = 사전확률
입니다.
8장 사전확률과 사후확률 차이#
사전확률 Prior#
증거를 보기 전 확률
사후확률 Posterior#
증거를 본 뒤의 확률
예를 들어 처음에는:
전체 메일 중 스팸은 30%다.
라고 알고 있었습니다.
그런데 새 메일에 "무료"라는 단어가 나타났습니다.
그 정보를 이용해:
"무료"가 포함된 상황에서는 스팸일 확률이 얼마인가?
를 다시 계산합니다.
즉:
Prior → 새로운 증거 → Posterior
의 흐름입니다.
9장 P(B|A)는 무엇인가#
베이즈 정리에서:
P(B|A)
는 A가 주어졌을 때 B가 나타날 확률입니다.
예를 들어:
A = 스팸
B = "무료" 단어 등장
이라면:
P(B|A)
는:
스팸 메일이라는 조건에서 "무료"라는 단어가 나타날 확률
입니다.
이 값과 사전확률을 이용해 사후확률을 계산합니다.
10장 P(B)는 무엇인가#
P(B)는 증거 B 자체가 나타날 확률입니다.
예를 들어 B가:
"무료"라는 단어가 포함됨
이라면:
P(B)
는 전체 메일 중 "무료"라는 단어가 나타날 확률입니다.
베이즈 정리에서는 이를 이용해 전체 확률의 크기를 조정합니다.
11장 베이즈 정리를 한 번에 정리하면#
공식:
P(A|B) = P(B|A) × P(A) / P(B)
각 항의 의미는 다음과 같습니다.
| 표현 | 의미 |
|---|---|
| P(A|B) | 사후확률 |
| P(B|A) | A일 때 B가 나타날 확률 |
| P(A) | 사전확률 |
| P(B) | 증거 B의 확률 |
시험에서는 특히:
P(A|B) = 사후확률
P(A) = 사전확률
을 구분하는 것이 중요합니다.
12장 베이즈 정리의 핵심은 확률의 갱신#
베이즈 정리를 공식 암기로만 보면 어렵게 느껴질 수 있습니다.
핵심 의미는 단순합니다.
원래 알고 있던 확률을 새로운 증거를 이용해 업데이트한다.
입니다.
처음에는 어떤 고객이 상품을 구매할 가능성이 낮다고 생각했지만 새로운 행동정보가 들어오면 구매할 확률을 다시 계산할 수 있습니다.
즉:
기존 확률 + 새로운 증거 → 수정된 확률
이라는 구조입니다.
13장 왜 이름에 Naive가 붙는가#
Naive는 우리말로 표현하면 순진한, 단순한이라는 의미입니다.
나이브 베이즈가 이런 이름을 가진 이유는 매우 강한 가정을 하기 때문입니다.
제공된 학습자료에서는:
모든 특성이 서로 독립이라고 가정
한다고 설명합니다.
이것이 나이브 베이즈의 가장 중요한 특징입니다.
14장 특성 독립 가정이란 무엇인가#
스팸 메일 분류에서 다음 단어를 특성으로 사용한다고 하겠습니다.
- 무료
- 당첨
- 이벤트
나이브 베이즈는 이러한 각각의 특성이 서로 독립적으로 나타난다고 가정하여 확률을 계산합니다.
즉 한 특성의 존재가 다른 특성의 존재와 관계가 없다고 단순화합니다.
핵심#
Naive = Feature Independence
입니다.
15장 현실에서는 특성이 정말 독립적인가#
항상 그렇지는 않습니다.
제공된 학습자료에서도:
실제로는 독립이 아닌 경우가 많음
이라고 설명합니다.
예를 들어:
키
와
몸무게
는 완전히 독립적인 변수라고 보기 어려울 수 있습니다.
또 텍스트에서도 특정 단어들이 서로 관련되어 함께 나타날 수 있습니다.
하지만 나이브 베이즈는 계산을 단순화하기 위해 특성들이 독립이라고 가정합니다.
16장 나이브한 가정이 왜 중요한가#
특성이 많아지면 여러 특성이 동시에 발생할 확률을 계산하는 것이 복잡해질 수 있습니다.
하지만 모든 특성이 독립이라고 가정하면 각각의 확률을 개별적으로 계산해서 결합할 수 있습니다.
이러한 단순한 가정 덕분에 나이브 베이즈는 계산이 빠른 분류기가 될 수 있습니다.
즉 단점이기도 하지만 동시에 계산 효율성을 높여주는 핵심 가정이기도 합니다.
17장 나이브 베이즈의 분류 흐름#
전체 흐름을 간단하게 정리하면 다음과 같습니다.
새로운 데이터 입력
↓
각 클래스의 사전확률 확인
↓
관찰된 특성의 조건부 확률 계산
↓
베이즈 정리 적용
↓
각 클래스의 사후확률 계산
↓
확률이 높은 클래스로 분류
입니다.
즉 결국 비교하려는 것은:
어느 클래스의 사후확률이 더 높은가
입니다.
18장 스팸 메일 사례로 이해하기#
메일을:
- Spam
- Normal
로 분류한다고 하겠습니다.
새로운 메일에:
"무료"
라는 단어가 들어왔습니다.
나이브 베이즈는 기존 데이터에서:
- Spam의 사전확률
- Normal의 사전확률
- Spam일 때 "무료" 등장 확률
- Normal일 때 "무료" 등장 확률
등을 이용합니다.
그리고 각각의 사후확률을 비교하여 더 가능성이 높은 클래스로 분류합니다.
19장 특성이 여러 개라면#
새로운 메일에:
- 무료
- 당첨
- 이벤트
라는 여러 특성이 있다고 하겠습니다.
나이브 베이즈는 제공된 학습자료의 독립 가정에 따라 각 특성을 서로 독립적으로 취급합니다.
즉:
무료라는 특성
당첨이라는 특성
이벤트라는 특성
각각의 정보를 이용해 클래스 확률을 계산합니다.
이 때문에 변수가 많은 데이터에서도 비교적 간단하게 계산할 수 있습니다.
20장 나이브 베이즈의 장점 1: 계산이 빠르다#
제공된 학습자료에서 첫 번째 장점은:
계산이 빠름
입니다.
특성 간 독립을 가정하기 때문에 복잡한 관계를 모두 모델링하지 않아도 됩니다.
따라서 많은 특성을 가진 데이터에서도 비교적 단순한 계산으로 분류할 수 있습니다.
핵심#
Naive Bayes = 빠른 확률 계산
입니다.
21장 나이브 베이즈의 장점 2: 소량 데이터에도 효과적#
제공된 학습자료에서는:
소량 데이터에도 효과적
이라는 장점을 제시합니다.
매우 복잡한 모델 구조를 학습하는 방식이 아니기 때문에 비교적 적은 데이터에서도 확률 정보를 이용해 분류할 수 있습니다.
시험에서는 이 특징을 나이브 베이즈의 장점과 연결해 기억합니다.
22장 나이브 베이즈의 장점 3: 다차원 데이터 처리#
또 다른 장점은:
다차원 데이터 처리 용이
입니다.
변수가 많아질수록 데이터의 차원이 높아집니다.
나이브 베이즈는 각 특성을 독립적으로 취급하는 단순한 구조를 사용하기 때문에 많은 특성이 있는 데이터에도 적용하기 좋습니다.
텍스트 데이터가 대표적인 예입니다.
23장 나이브 베이즈의 단점#
제공된 학습자료에서 가장 중요한 단점은 하나입니다.
독립 가정이 현실과 다를 수 있음
입니다.
현실에서는 여러 변수가 서로 관계를 가지는 경우가 많습니다.
하지만 나이브 베이즈는 계산을 위해 특성들을 독립이라고 가정합니다.
따라서 이 가정이 데이터와 크게 맞지 않을 경우 모델에 한계가 있을 수 있습니다.
24장 장단점 한눈에 보기#
| 장점 | 단점 |
|---|---|
| 계산이 빠름 | 독립 가정이 현실과 다를 수 있음 |
| 소량 데이터에도 효과적 | 특성 간 관계를 단순화 |
| 다차원 데이터 처리 용이 | 현실의 복잡한 상관관계 반영에 한계 |
시험에서는:
빠름·소량·고차원
vs
독립 가정
으로 기억하면 쉽습니다.
25장 활용 분야 1: 스팸 메일 분류#
나이브 베이즈의 대표적인 활용 사례입니다.
메일 안에 등장하는 단어들을 특성으로 사용할 수 있습니다.
예를 들어:
- 무료
- 당첨
- 광고
- 이벤트
- 클릭
같은 단어가 스팸에서 얼마나 자주 등장하는지 학습할 수 있습니다.
새로운 메일이 들어오면 이 단어들을 기반으로 스팸일 확률을 계산합니다.
26장 활용 분야 2: 뉴스 기사 분류#
뉴스 기사를:
- 정치
- 경제
- 스포츠
- 문화
- IT
등으로 나누는 문제에도 사용할 수 있습니다.
예를 들어 기사에:
"주가"
"금리"
"시장"
같은 단어가 많이 등장하면 경제 뉴스일 가능성을 계산할 수 있습니다.
즉 텍스트의 단어를 특성으로 사용하여 문서의 범주를 분류할 수 있습니다.
27장 활용 분야 3: 감정 분석#
감정 분석 Sentiment Analysis은 글이:
- 긍정
- 부정
중 어느 쪽에 가까운지 분석하는 작업입니다.
예를 들어 리뷰에:
"좋다"
"만족"
"추천"
같은 표현이 많다면 긍정일 확률이 높아질 수 있습니다.
반대로:
"별로"
"실망"
"최악"
같은 표현은 부정 분류에 영향을 줄 수 있습니다.
제공된 학습자료에서는 이러한 감정 분석을 나이브 베이즈의 활용 사례로 제시합니다.
28장 왜 텍스트 분류와 잘 연결되는가#
제공된 활용 분야를 보면 공통점이 있습니다.
- 스팸 메일
- 뉴스 기사
- 감정 분석
모두 텍스트 분류 문제입니다.
텍스트에서는 수많은 단어가 각각 특성이 될 수 있습니다.
즉 데이터 차원이 매우 높아질 수 있습니다.
제공된 학습자료에서는 나이브 베이즈가 다차원 데이터 처리에 용이하다고 설명하므로 텍스트 분석 사례와 자연스럽게 연결할 수 있습니다.
29장 나이브 베이즈와 로지스틱 회귀의 공통점#
두 방법 모두 분류 문제에 사용할 수 있습니다.
하지만 학습자료에서 나이브 베이즈를 이해할 때 중심이 되는 것은 베이즈 정리를 이용한 확률 계산입니다.
즉 시험에서는:
Naive Bayes → Bayes Theorem
을 가장 먼저 연결하는 것이 중요합니다.
30장 나이브 베이즈와 K-NN의 차이#
K-NN은:
가까운 이웃
을 이용합니다.
새로운 데이터와 기존 데이터의 거리를 계산한 뒤 주변 k개의 결과를 이용합니다.
반면 나이브 베이즈는:
확률
을 이용합니다.
즉:
K-NN = 거리 기반
Naive Bayes = 확률 기반
으로 구분할 수 있습니다.
31장 나이브 베이즈와 SVM의 차이#
SVM은:
마진을 최대화하는 결정 경계
를 찾습니다.
나이브 베이즈는:
베이즈 정리를 이용해 클래스 확률
을 계산합니다.
따라서:
SVM = 초평면·마진
Naive Bayes = 확률·베이즈 정리
라고 구분하면 됩니다.
32장 사전확률과 사후확률 시험 함정#
다음 문장을 주의합니다.
P(A)는 B가 주어졌을 때 A일 사후확률이다.
틀립니다.
제공된 학습자료에서는:
P(A) = 사전확률
입니다.
사후확률은:
P(A|B)
입니다.
33장 베이즈 정리 시험 함정#
P(A|B) = P(A) × P(B) / P(B|A)
틀립니다.
제공된 학습자료의 공식은:
P(A|B) = P(B|A) × P(A) / P(B)
입니다.
시험에서는 분자와 분모의 위치를 바꿔 출제할 수 있으므로 주의해야 합니다.
34장 Naive 가정 시험 함정#
나이브 베이즈는 모든 특성이 서로 강한 상관관계를 가진다고 가정한다.
틀립니다.
제공된 학습자료에서는:
모든 특성이 서로 독립
이라고 가정합니다.
이것이 Naive라는 이름의 핵심입니다.
35장 현실의 특성도 반드시 독립적인가#
아닙니다.
오히려 제공된 학습자료에서는:
실제로는 독립이 아닌 경우가 많다
고 설명합니다.
따라서 시험에서:
나이브 베이즈의 독립 가정은 현실 데이터에서도 항상 성립한다.
라고 나오면 틀린 설명입니다.
36장 활용 분야 시험 함정#
나이브 베이즈는 확률 기반 분류기가 아니므로 텍스트 분류에는 사용할 수 없다.
틀립니다.
제공된 학습자료에서는:
- 스팸 메일 분류
- 뉴스 기사 분류
- 감정 분석
을 대표 활용 분야로 제시합니다.
37장 ADsP 시험에서 자주 헷갈리는 함정#
함정 1. 나이브 베이즈는 비확률적 분류기다#
틀립니다.
베이즈 정리를 기반으로 하는 확률 분류기입니다.
함정 2. P(A|B)는 사전확률이다#
틀립니다.
사후확률입니다.
함정 3. P(A)는 사후확률이다#
틀립니다.
사전확률입니다.
함정 4. 나이브 베이즈는 특성들이 서로 의존한다고 가정한다#
틀립니다.
제공된 학습자료에서는 서로 독립이라고 가정합니다.
함정 5. 나이브 베이즈는 계산이 매우 느린 것이 대표적인 단점이다#
틀립니다.
제공된 학습자료에서는 계산이 빠른 것을 장점으로 설명합니다.
함정 6. 나이브 베이즈는 소량 데이터에서 사용할 수 없다#
틀립니다.
제공된 학습자료에서는 소량 데이터에도 효과적이라고 설명합니다.
함정 7. 나이브 베이즈는 다차원 데이터 처리에 부적합하다#
틀립니다.
다차원 데이터 처리에 용이하다는 것이 장점입니다.
함정 8. 독립 가정은 현실에서도 항상 정확하다#
틀립니다.
실제로는 독립이 아닌 경우가 많습니다.
38장 베이즈 정리 시험 직전 암기#
공식:
P(A|B) = P(B|A) × P(A) / P(B)
P(A|B)#
사후확률
P(A)#
사전확률
한 줄로:
증거 B를 본 뒤 A의 확률이 Posterior
라고 기억하면 됩니다.
39장 Naive 시험 직전 암기#
왜 Naive인가?
모든 특성이 서로 독립이라고 가정
하기 때문입니다.
하지만:
현실에서는 독립이 아닐 수 있음
이 단점입니다.
따라서:
Naive = 독립 가정
으로 바로 연결하면 됩니다.
40장 장단점 시험 직전 암기#
장점#
빠름
소량 데이터
다차원 데이터
단점#
특성 독립 가정이 현실과 다를 수 있음
한 줄로:
빠르고 단순하지만 독립 가정이 순진하다
고 기억할 수 있습니다.
41장 활용 시험 직전 암기#
제공된 학습자료의 대표 활용은:
스팸 메일 분류
뉴스 기사 분류
감정 분석
입니다.
세 사례 모두 텍스트 분류와 밀접하게 연결됩니다.
42장 나이브 베이즈 핵심 비교표#
| 개념 | 핵심 |
|---|---|
| Naive Bayes | 베이즈 정리 기반 확률 분류기 |
| P(A|B) | 사후확률 |
| P(A) | 사전확률 |
| Naive 가정 | 모든 특성이 서로 독립 |
| 장점 1 | 계산 빠름 |
| 장점 2 | 소량 데이터에도 효과적 |
| 장점 3 | 다차원 데이터 처리 용이 |
| 단점 | 독립 가정이 현실과 다를 수 있음 |
| 활용 1 | 스팸 메일 분류 |
| 활용 2 | 뉴스 기사 분류 |
| 활용 3 | 감정 분석 |
나이브 베이즈 FAQ#
나이브 베이즈란 무엇인가#
베이즈 정리를 기반으로 클래스별 확률을 계산하여 데이터를 분류하는 확률 분류기입니다.
나이브 베이즈의 핵심 공식은 무엇인가#
P(A|B) = P(B|A) × P(A) / P(B)
입니다.
P(A|B)는 무엇인가#
B가 주어진 상황에서 A가 발생할 확률이며 제공된 학습자료에서는 사후확률이라고 설명합니다.
P(A)는 무엇인가#
새로운 증거를 반영하기 전 A의 사전확률입니다.
왜 Naive라고 부르는가#
모든 특성이 서로 독립이라고 가정하기 때문입니다.
실제 데이터의 모든 특성이 독립적인가#
아닙니다. 제공된 학습자료에서도 실제로는 독립이 아닌 경우가 많다고 설명합니다.
나이브 베이즈의 장점은 무엇인가#
계산이 빠르고, 소량 데이터에도 효과적이며, 다차원 데이터를 처리하기 쉽다는 점입니다.
나이브 베이즈의 단점은 무엇인가#
특성들이 서로 독립이라는 가정이 현실 데이터와 맞지 않을 수 있습니다.
나이브 베이즈는 스팸 분류에 사용할 수 있는가#
네. 제공된 학습자료의 대표적인 활용 사례입니다.
뉴스 기사 분류에도 사용할 수 있는가#
네. 뉴스 기사 범주 분류 역시 활용 사례로 제시됩니다.
감정 분석에도 사용할 수 있는가#
네. 긍정·부정과 같은 감정 범주를 분류하는 데 활용할 수 있습니다.
자기 점검#
다음 질문에 바로 답할 수 있는지 확인해봅니다.
- Naive Bayes가 어떤 종류의 분류기인지 설명할 수 있는가?
- 베이즈 정리 공식을 기억하고 있는가?
- P(A|B)의 의미를 설명할 수 있는가?
- P(A|B)가 사후확률이라는 것을 알고 있는가?
- P(A)가 사전확률이라는 것을 알고 있는가?
- 사전확률과 사후확률의 차이를 설명할 수 있는가?
- Naive라는 이름이 붙은 이유를 알고 있는가?
- 모든 특성이 서로 독립이라고 가정한다는 것을 기억하고 있는가?
- 실제 특성은 독립이 아닐 수 있다는 단점을 알고 있는가?
- 계산이 빠르다는 장점을 알고 있는가?
- 소량 데이터에도 효과적이라는 특징을 알고 있는가?
- 다차원 데이터를 처리하기 쉽다는 특징을 알고 있는가?
- 스팸 메일 분류와 연결할 수 있는가?
- 뉴스 기사 분류와 연결할 수 있는가?
- 감정 분석과 연결할 수 있는가?
이 글을 마치며#
나이브 베이즈는 베이즈 정리를 이용해 클래스의 확률을 계산하는 확률 분류기입니다.
가장 중요한 공식은:
P(A|B) = P(B|A) × P(A) / P(B)
입니다.
여기서:
P(A|B) = 사후확률
P(A) = 사전확률
입니다.
나이브 베이즈의 가장 중요한 특징은 Naive라는 이름에 있습니다.
모든 특성이 서로 독립이라고 가정
합니다.
이 가정 덕분에 계산이 단순하고 빠르며 소량 데이터와 다차원 데이터에서도 활용하기 쉽습니다.
반면 실제 데이터에서는 특성끼리 서로 관련되어 있을 수 있기 때문에 독립 가정이 현실과 맞지 않을 수 있다는 한계가 있습니다.
제공된 학습자료의 대표적인 활용 분야는:
스팸 메일 분류
뉴스 기사 분류
감정 분석
입니다.
시험 직전에는 다음 다섯 줄로 압축해서 기억하면 됩니다.
Naive Bayes = 베이즈 정리 기반 확률 분류기
P(A|B) = P(B|A)×P(A)/P(B)
P(A|B)=사후확률 / P(A)=사전확률
Naive = 모든 특성이 서로 독립이라고 가정
장점=빠름·소량·다차원 / 단점=독립 가정의 한계