SVM이란? 서포트 벡터 머신의 마진·초평면·커널 트릭·C 파라미터 쉽게 이해하기

1장 SVM이란 무엇인가#

SVM은 Support Vector Machine, 우리말로 서포트 벡터 머신이라고 합니다.

제공된 학습자료에서는 SVM의 핵심 목표를 다음과 같이 설명합니다.

두 클래스 사이의 마진 Margin을 최대화하는 초평면 Hyperplane을 찾는 것

입니다.

쉽게 말하면 두 그룹을 단순히 나누는 경계선을 찾는 것이 아니라 두 그룹에서 가능한 한 멀리 떨어진 경계선을 찾는 방법입니다.

예를 들어 빨간 점과 파란 점이 섞여 있다고 하겠습니다.

두 그룹을 나누는 선은 여러 개 만들 수 있습니다.

하지만 SVM은 그중에서도 두 그룹 사이의 여유 공간을 가장 넓게 만드는 선을 선택합니다.

2장 SVM은 지도학습인가#

네.

제공된 학습자료에서는 SVM을 지도학습 Supervised Learning으로 분류합니다.

이미 정답 클래스가 있는 데이터를 이용해 두 클래스를 구분하는 경계를 학습하기 때문입니다.

예를 들어 데이터에:

이메일의 단어 수
특정 단어 포함 여부
링크 수
스팸 여부

가 있다면 스팸 여부라는 정답을 이용해 분류 경계를 학습할 수 있습니다.

핵심#

SVM = 지도학습

입니다.

3장 SVM은 분류만 가능한가#

아닙니다.

제공된 학습자료에서는:

분류 + 회귀 모두 가능

하다고 설명합니다.

분류#

SVM

회귀#

SVR Support Vector Regression

을 사용할 수 있습니다.

따라서 다음 문장은 틀립니다.

SVM은 분류에만 사용할 수 있다.

정확한 설명은:

분류 SVM + 회귀 SVR

입니다.

4장 SVM을 가장 쉽게 이해하면#

운동장에 빨간 팀과 파란 팀이 서 있다고 생각해봅시다.

두 팀 사이에 줄을 하나 그어 나누려고 합니다.

선을 아무 데나 그을 수도 있습니다.

하지만 어느 한쪽 팀에 너무 가까이 그으면 새로운 사람이 추가됐을 때 잘못 분류될 가능성이 커질 수 있습니다.

SVM은 두 팀과 가능한 한 멀리 떨어지면서 가운데에 가장 넓은 통로를 만드는 선을 선택합니다.

이 넓은 통로가 바로 마진 Margin입니다.

5장 초평면 Hyperplane이란 무엇인가#

초평면 Hyperplane은 데이터를 서로 다른 클래스로 나누는 결정 경계입니다.

차원에 따라 모습이 달라집니다.

2차원#

결정 경계가 선

3차원#

결정 경계가 평면

이 됩니다.

더 높은 차원에서는 시각적으로 그리기 어렵기 때문에 이를 일반적으로 초평면이라고 부릅니다.

핵심#

Hyperplane = 클래스를 나누는 결정 경계

입니다.

6장 결정 경계는 하나만 존재하는가#

아닙니다.

선형적으로 분리 가능한 데이터라면 두 클래스를 나눌 수 있는 경계선이 여러 개 존재할 수 있습니다.

예를 들어:

빨간 점

──────

파란 점

과 같이 떨어져 있다면 그 사이에 여러 개의 선을 그릴 수 있습니다.

SVM은 이 중 아무 선이나 선택하지 않습니다.

마진을 가장 크게 만드는 초평면을 선택합니다.

7장 마진 Margin이란 무엇인가#

마진은 초평면과 가장 가까운 데이터 사이의 여유 공간과 관련된 개념입니다.

제공된 학습자료에서는 마진을:

초평면과 가장 가까운 데이터까지의 거리 × 2

로 설명합니다.

즉 초평면 양쪽에서 가장 가까운 데이터 사이의 전체 공간을 생각하면 됩니다.

핵심#

Margin = 두 클래스 사이의 안전거리

입니다.

8장 왜 마진을 크게 만들려고 할까#

두 클래스를 나누는 선이 데이터에 너무 가까우면 새로운 데이터가 조금만 달라져도 반대쪽 클래스로 넘어갈 수 있습니다.

반대로 경계선과 양쪽 데이터 사이에 넓은 공간이 있다면 새로운 데이터가 약간 달라져도 비교적 안정적으로 분류할 수 있습니다.

제공된 학습자료에서는 이런 이유로 SVM의 핵심 목표를:

마진 최대화

라고 설명합니다.

핵심#

SVM = Maximum Margin

입니다.

9장 서포트 벡터 Support Vector란 무엇인가#

서포트 벡터는 SVM에서 가장 중요한 데이터입니다.

제공된 학습자료에서는:

마진 경계선 위에 있는 데이터 포인트

라고 설명합니다.

쉽게 말하면 결정 경계에 가장 가까이 있는 데이터들입니다.

이 데이터들이 초평면의 위치를 결정합니다.

핵심#

Support Vector = 경계에 가장 가까운 데이터

입니다.

10장 모든 데이터가 초평면을 결정하는가#

아닙니다.

이것이 SVM의 매우 중요한 시험 포인트입니다.

제공된 학습자료에서는:

마진 경계에 위치한 서포트 벡터만 초평면 결정에 직접 관여

한다고 설명합니다.

즉 경계선에서 멀리 떨어진 데이터는 초평면 위치 결정에 직접적인 영향을 주지 않습니다.

시험 함정#

SVM은 모든 훈련 데이터가 초평면 결정에 직접 관여한다.

틀립니다.

핵심은:

Support Vector가 초평면 결정

입니다.

11장 서포트 벡터를 운동장 비유로 이해하기#

두 팀 사이에 중앙선을 긋는다고 생각해봅시다.

각 팀에서 중앙선에 가장 가까운 선수들이 중요합니다.

팀 안쪽 멀리 떨어져 있는 선수 한 명이 조금 움직여도 중앙선 위치는 거의 달라지지 않습니다.

하지만 중앙선 바로 옆에 있는 선수가 움직이면 중앙선 위치가 달라질 수 있습니다.

이 중앙선 가까이에 있는 선수들이 서포트 벡터에 해당합니다.

12장 SVM의 핵심 원리 3가지#

제공된 학습자료에서는 SVM의 핵심 원리를 다음처럼 정리합니다.

첫째#

데이터를 분류하는 여러 초평면 중 마진이 가장 큰 초평면을 선택

둘째#

마진 경계에 위치한 서포트 벡터가 초평면 결정에 영향

셋째#

나머지 데이터는 초평면 결정에 직접 영향을 주지 않음

즉:

초평면 → 마진 최대화 → 서포트 벡터

의 관계를 이해하면 됩니다.

13장 하드 마진 Hard Margin이란 무엇인가#

하드 마진은 분류 오류를 최대한 허용하지 않고 데이터를 엄격하게 분리하는 방향으로 이해할 수 있습니다.

모든 데이터를 정확하게 분리할 수 있는 경우라면 깨끗한 결정 경계를 만들 수 있습니다.

하지만 현실 데이터에는:

이상치
노이즈
겹치는 데이터

가 존재할 수 있습니다.

이런 경우 모든 데이터를 완벽하게 분리하려고 하면 모델이 지나치게 훈련 데이터에 맞춰질 수 있습니다.

14장 소프트 마진 Soft Margin이란 무엇인가#

소프트 마진 Soft Margin은 일부 오분류를 허용합니다.

제공된 학습자료에서는 이를:

일부 오분류 허용 → 일반화 성능 향상

과 연결합니다.

즉 훈련 데이터 몇 개를 완벽히 맞히기 위해 지나치게 복잡한 경계를 만드는 대신 일부 오류를 허용하고 새로운 데이터에서도 잘 작동하도록 하는 방향입니다.

핵심#

Soft Margin = 일부 오류 허용

입니다.

15장 C 파라미터란 무엇인가#

SVM에서 C는 오분류를 얼마나 강하게 허용하지 않을 것인지와 관련된 중요한 파라미터입니다.

제공된 학습자료에서는 다음과 같이 정리합니다.

C가 커지면#

하드 마진 방향

→ 훈련 오류 최소화

C가 작아지면#

소프트 마진 방향

→ 일반화

입니다.

16장 C가 클 때#

C값이 커지면 잘못 분류된 데이터에 대한 페널티를 크게 보는 방향입니다.

즉:

훈련 데이터에서 틀리는 것을 최대한 줄여라.

라는 성향이 강해집니다.

제공된 학습자료에서는:

C ↑ → 하드 마진

이라고 연결합니다.

핵심#

C 큼 = 오류에 엄격

입니다.

17장 C가 작을 때#

C값이 작아지면 일부 오분류를 더 허용합니다.

즉 모든 훈련 데이터를 완벽하게 맞히는 것보다 넓고 안정적인 결정 경계를 선택하는 방향으로 이해할 수 있습니다.

제공된 학습자료에서는:

C ↓ → 소프트 마진 → 일반화

로 정리합니다.

핵심#

C 작음 = 오류 일부 허용

입니다.

18장 C 파라미터 시험 직전 암기#

C ↑#

하드 마진

훈련 오류 최소화

C ↓#

소프트 마진

일부 오분류 허용

일반화

한 줄로 기억하면:

C가 크면 깐깐하고, C가 작으면 여유롭다

입니다.

19장 선형으로 나눌 수 없는 데이터는 어떻게 할까#

현실의 데이터가 항상 직선 하나로 깔끔하게 나뉘는 것은 아닙니다.

예를 들어 한 클래스가 가운데 있고 다른 클래스가 주변을 원형으로 둘러싸고 있다고 생각해봅시다.

이 경우 2차원에서는 직선 하나로 두 그룹을 완전히 분리하기 어렵습니다.

이런 문제를 해결하기 위해 사용하는 개념이 커널 트릭 Kernel Trick입니다.

20장 커널 트릭 Kernel Trick이란 무엇인가#

제공된 학습자료에서는 커널 트릭을 다음 흐름으로 설명합니다.

선형으로 분리 불가능한 데이터

↓

고차원 공간으로 변환

↓

고차원에서는 선형으로 분리

입니다.

즉 낮은 차원에서 복잡하게 섞여 있는 데이터를 더 높은 차원의 공간으로 옮겨 분리하기 쉽게 만드는 방법입니다.

21장 커널 트릭을 쉽게 이해하면#

종이 위에 빨간 점과 파란 점이 원형으로 섞여 있다고 생각해봅시다.

평면에서는 직선으로 나누기 어렵습니다.

그런데 점들을 3차원 공간으로 들어 올리면 가운데 그룹과 바깥 그룹의 높이가 달라지면서 평면 하나로 나눌 수 있는 구조가 될 수 있습니다.

즉:

낮은 차원에서는 곡선 경계가 필요

하지만:

고차원에서는 직선 또는 평면으로 분리 가능

하게 만드는 아이디어입니다.

22장 실제로 고차원 데이터를 전부 계산하는가#

제공된 학습자료에서는 커널 트릭의 중요한 특징으로:

실제로 고차원 계산을 직접 수행하지 않고 커널 함수만으로 결과를 얻음

을 제시합니다.

따라서 고차원 변환의 효과를 얻으면서 계산을 효율적으로 수행할 수 있습니다.

핵심#

Kernel Trick = 고차원 효과를 직접 변환 없이 계산

입니다.

23장 SVM의 대표적인 커널#

제공된 학습자료에서는 다음 네 가지 커널을 제시합니다.

Linear
RBF Radial
Polynomial
Sigmoid

시험에서는 각 커널이 어떤 데이터에 적합한지 구분하는 것이 중요합니다.

24장 Linear 커널이란 무엇인가#

Linear Kernel은 추가적인 복잡한 비선형 변환 없이 선형 경계를 사용하는 방식입니다.

제공된 학습자료에서는:

데이터가 선형 분리 가능할 때

사용한다고 설명합니다.

핵심#

Linear = 직선으로 나눌 수 있는 데이터

입니다.

25장 RBF 커널이란 무엇인가#

RBF는 Radial Basis Function 계열의 커널입니다.

제공된 학습자료에서는:

가우시안 함수 기반
비선형 분리
가장 많이 사용
비선형 데이터

와 연결합니다.

핵심#

RBF = 대표적인 비선형 커널

입니다.

26장 RBF는 선형 데이터용인가#

아닙니다.

제공된 학습자료에서 대표적인 시험 함정입니다.

RBF 커널은 선형 분리가 가능한 데이터에 주로 사용한다.

틀립니다.

제공된 학습자료에서는 RBF를:

비선형 데이터에 사용하며 가장 일반적으로 사용

되는 커널로 설명합니다.

27장 Polynomial 커널이란 무엇인가#

Polynomial Kernel은 다항식 형태의 경계를 이용하는 커널입니다.

제공된 학습자료에서는:

곡선 형태의 경계가 필요한 경우

와 연결합니다.

즉 직선으로는 충분히 분리되지 않지만 다항식 형태의 복잡한 경계가 필요한 데이터에 사용할 수 있습니다.

핵심#

Polynomial = 다항식 경계

입니다.

28장 Sigmoid 커널이란 무엇인가#

Sigmoid Kernel은 제공된 학습자료에서:

신경망과 유사한 함수

를 사용하는 커널로 설명합니다.

또한:

드물게 사용

된다고 정리합니다.

따라서 시험에서는 주요 특징을:

Sigmoid Kernel = 신경망 유사

로 기억하면 됩니다.

29장 SVM 커널 비교#

커널	특징	사용 상황
Linear	선형 경계	선형 분리 가능 데이터
RBF	가우시안 기반 비선형	비선형 데이터, 많이 사용
Polynomial	다항식 경계	곡선 경계 필요
Sigmoid	신경망과 유사	드물게 사용

시험에서는 특히:

RBF = 비선형

을 확실하게 기억해야 합니다.

30장 SVM과 로지스틱 회귀는 어떻게 다른가#

둘 다 지도학습 분류에 사용할 수 있지만 기본 사고방식이 다릅니다.

로지스틱 회귀#

확률을 계산합니다.

→ Sigmoid

→ 0~1 값

SVM#

두 클래스 사이의 최대 마진 경계

를 찾습니다.

즉:

Logistic Regression = 확률

SVM = 경계와 마진

이라고 구분하면 쉽습니다.

31장 SVM과 K-NN의 차이#

K-NN#

새 데이터가 들어오면 가까운 이웃을 찾습니다.

→ 거리 기반

→ Lazy Learning

SVM#

훈련 데이터에서 최대 마진을 갖는 결정 경계를 찾습니다.

→ 초평면 기반

따라서:

K-NN = 가까운 이웃

SVM = 넓은 경계

입니다.

32장 SVM의 장점 1: 고차원 데이터#

제공된 학습자료에서는 SVM의 장점으로:

고차원 데이터에서 효과적

이라는 점을 제시합니다.

변수가 많은 데이터에서도 초평면을 이용한 분류를 수행할 수 있습니다.

특히 커널을 이용하면 복잡한 데이터 관계도 처리할 수 있습니다.

33장 SVM의 장점 2: 마진 최대화#

제공된 학습자료에서는:

마진 최대화

를 과적합에 강한 특성과 연결합니다.

경계 주변의 여유 공간을 최대화하면서 분류하기 때문에 훈련 데이터에 지나치게 밀착된 경계를 피하는 방향으로 이해할 수 있습니다.

핵심#

큰 Margin → 안정적인 결정 경계

입니다.

34장 SVM의 장점 3: 소프트 마진#

소프트 마진을 사용하면 일부 이상치나 오분류를 허용할 수 있습니다.

제공된 학습자료에서는 이를:

이상치에 강건한 소프트 마진

이라고 설명합니다.

모든 데이터 하나하나를 완벽히 맞추기보다 전체적으로 안정적인 경계를 선택할 수 있기 때문입니다.

35장 SVM의 단점 1: 대규모 데이터 학습#

제공된 학습자료에서는 단점으로:

대규모 데이터에서 학습이 느림

을 제시합니다.

특히 데이터 수가 매우 많으면 최적의 초평면을 찾는 계산 비용이 증가할 수 있습니다.

36장 SVM의 단점 2: 커널 선택#

SVM에서는 어떤 커널을 선택하는지에 따라 모델 성능이 크게 달라질 수 있습니다.

제공된 학습자료에서도:

커널 선택이 성능에 크게 영향

한다고 설명합니다.

따라서 데이터의 특성에 맞는 커널 선택이 중요합니다.

37장 SVM의 단점 3: 확률값 제공#

제공된 학습자료에서는:

확률값 제공이 어려움

을 단점으로 제시합니다.

SVM의 핵심 목적은 기본적으로 확률 자체를 직접 추정하는 것이 아니라 결정 경계와 마진을 찾는 것이기 때문입니다.

38장 SVM 장단점 한눈에 보기#

장점	단점
고차원 데이터에 효과적	대규모 데이터에서 학습 느림
마진 최대화	커널 선택이 성능에 큰 영향
소프트 마진으로 일부 이상치 대응	확률값 제공 어려움

39장 서포트 벡터 시험 함정#

다음 문장을 주의합니다.

SVM에서는 모든 데이터 포인트가 초평면의 위치 결정에 동일하게 관여한다.

틀립니다.

제공된 학습자료에서는:

서포트 벡터만 초평면 결정에 직접 관여

한다고 설명합니다.

따라서:

Support Vector = 결정 경계의 핵심 데이터

입니다.

40장 마진 시험 함정#

SVM은 마진을 가능한 한 작게 만드는 것을 목표로 한다.

틀립니다.

SVM의 핵심 목표는:

마진 최대화

입니다.

시험에서 최소화와 최대화를 바꾸어 출제할 수 있으므로 주의해야 합니다.

41장 C 파라미터 시험 함정#

C가 커질수록 일부 오분류를 많이 허용하는 소프트 마진이 된다.

제공된 학습자료 기준 틀립니다.

정확한 연결은:

C ↑ → 하드 마진

C ↓ → 소프트 마진

입니다.

42장 커널 트릭 시험 함정#

커널 트릭은 이미 선형 분리가 가능한 데이터만 처리하기 위해 사용한다.

틀립니다.

제공된 학습자료에서는:

선형으로 분리되지 않는 비선형 데이터

를 고차원에서 선형 분리할 수 있도록 하는 방법으로 설명합니다.

43장 커널 시험 함정#

함정 1#

RBF는 선형 데이터에만 사용한다.

틀립니다.

비선형 데이터에 사용합니다.

함정 2#

Linear 커널은 비선형 경계를 만들기 위한 대표적인 커널이다.

틀립니다.

Linear는 선형 분리 가능한 데이터와 연결합니다.

함정 3#

Polynomial 커널은 다항식 경계와 관계없다.

틀립니다.

다항식 형태의 경계와 연결됩니다.

44장 SVM 시험 직전 암기#

SVM

→ 지도학습

→ 분류

→ SVR로 회귀도 가능

→ 초평면

→ 마진 최대화

→ 서포트 벡터

입니다.

한 줄로:

SVM = 가장 넓은 길을 만드는 결정 경계

라고 기억하면 됩니다.

45장 초평면·마진·서포트 벡터 시험 직전 암기#

Hyperplane#

데이터를 나누는 결정 경계

Margin#

결정 경계와 가장 가까운 데이터 사이의 여유 공간

Support Vector#

마진 경계의 데이터

→ 초평면 결정에 직접 관여

관계를 한 줄로 정리하면:

서포트 벡터가 마진을 만들고, 마진이 최대가 되는 초평면을 찾는다

입니다.

46장 C 파라미터 시험 직전 암기#

C ↑#

훈련 오류에 엄격

하드 마진 방향

C ↓#

오분류 일부 허용

소프트 마진

일반화

암기:

C가 크면 깐깐

C가 작으면 관대

입니다.

47장 커널 트릭 시험 직전 암기#

비선형 데이터

↓

고차원으로 변환한 효과

↓

선형 분리 가능

그리고 실제 고차원 좌표를 모두 직접 계산하지 않고 커널 함수를 이용합니다.

한 줄로:

Kernel Trick = 비선형을 고차원에서 선형처럼

입니다.

48장 커널 종류 시험 직전 암기#

Linear#

선형 데이터

RBF#

비선형

가우시안 기반

가장 많이 사용

Polynomial#

다항식·곡선 경계

Sigmoid#

신경망 유사

드물게 사용

암기:

Linear=직선 / RBF=비선형 / Poly=곡선 / Sigmoid=신경망

입니다.

49장 SVM 핵심 비교표#

개념	핵심
학습 유형	지도학습
분류	SVM
회귀	SVR
목표	마진 최대화
Hyperplane	결정 경계
Support Vector	마진 경계 데이터
C 증가	하드 마진 방향
C 감소	소프트 마진 방향
Kernel Trick	비선형 → 고차원 선형 분리
Linear Kernel	선형 데이터
RBF	비선형, 많이 사용
Polynomial	다항식 경계
Sigmoid	신경망 유사

SVM FAQ#

SVM이란 무엇인가#

두 클래스 사이의 마진을 최대화하는 초평면을 찾는 지도학습 알고리즘입니다.

SVM은 지도학습인가#

네. 제공된 학습자료에서는 지도학습으로 분류합니다.

SVM은 분류에만 사용할 수 있는가#

아닙니다. 제공된 학습자료에서는 SVR을 이용한 회귀도 가능하다고 설명합니다.

초평면이란 무엇인가#

데이터를 서로 다른 클래스로 나누는 결정 경계입니다.

2차원에서 초평면은 어떤 모습인가#

선입니다.

3차원에서는 어떤 모습인가#

평면입니다.

마진이란 무엇인가#

제공된 학습자료에서는 초평면과 가장 가까운 데이터까지의 거리와 관련된 두 클래스 사이의 여유 공간으로 설명합니다.

SVM의 목표는 무엇인가#

마진을 최대화하는 초평면을 찾는 것입니다.

서포트 벡터란 무엇인가#

마진 경계에 위치한 데이터 포인트입니다.

모든 데이터가 초평면 결정에 직접 영향을 주는가#

아닙니다. 제공된 학습자료에서는 서포트 벡터가 직접 관여한다고 설명합니다.

C가 커지면 어떻게 되는가#

제공된 학습자료에서는 하드 마진 방향, 훈련 오류 최소화와 연결합니다.

C가 작아지면 어떻게 되는가#

소프트 마진 방향으로 일부 오분류를 허용하고 일반화를 추구하는 것으로 설명합니다.

커널 트릭이란 무엇인가#

선형으로 분리되지 않는 데이터를 고차원 공간에서 선형적으로 분리할 수 있도록 하는 방법입니다.

커널 트릭에서는 실제 고차원 변환을 모두 계산하는가#

제공된 학습자료에서는 실제 고차원 계산을 직접 수행하지 않고 커널 함수를 이용한다고 설명합니다.

가장 일반적인 비선형 커널은 무엇인가#

제공된 학습자료에서는 RBF를 가장 많이 사용되는 비선형 커널로 설명합니다.

RBF 커널은 어떤 데이터에 사용하는가#

비선형 데이터와 연결됩니다.

Linear Kernel은 언제 사용하는가#

데이터가 선형적으로 분리 가능한 경우와 연결됩니다.

자기 점검#

다음 질문에 바로 답할 수 있는지 확인해봅니다.

SVM의 전체 이름을 말할 수 있는가?
SVM이 지도학습이라는 것을 알고 있는가?
SVM과 SVR의 차이를 알고 있는가?
Hyperplane의 의미를 설명할 수 있는가?
Margin이 무엇인지 알고 있는가?
SVM의 목표가 마진 최대화라는 것을 기억하고 있는가?
Support Vector의 의미를 설명할 수 있는가?
모든 훈련 데이터가 초평면 결정에 직접 관여하는 것이 아니라는 것을 알고 있는가?
C가 커질 때와 작아질 때를 구분할 수 있는가?
Soft Margin의 의미를 설명할 수 있는가?
Kernel Trick이 필요한 이유를 알고 있는가?
Linear·RBF·Polynomial·Sigmoid 커널을 구분할 수 있는가?
RBF가 비선형 데이터에 사용된다는 것을 알고 있는가?
SVM이 고차원 데이터에 효과적이라는 특징을 기억하고 있는가?
대규모 데이터에서는 학습이 느릴 수 있다는 단점을 알고 있는가?

이 글을 마치며#

SVM의 핵심은 복잡해 보이지만 몇 가지 개념만 연결하면 쉽게 정리할 수 있습니다.

SVM은 두 클래스를 나누는 초평면 가운데 마진이 가장 큰 경계를 찾는 지도학습 알고리즘입니다.

핵심 관계는 다음과 같습니다.

Hyperplane

→ 클래스 결정 경계

Margin

→ 두 클래스 사이의 여유 공간

Support Vector

→ 마진 경계에 있는 핵심 데이터

SVM은 이 마진을 최대화합니다.

또한 제공된 학습자료에서는 C 파라미터를:

C ↑ → 하드 마진 → 훈련 오류 최소화

C ↓ → 소프트 마진 → 일부 오류 허용·일반화

로 정리합니다.

선형으로 나눌 수 없는 데이터에는 Kernel Trick을 사용할 수 있습니다.

커널은:

Linear = 선형

RBF = 비선형·가장 많이 사용

Polynomial = 다항식 경계

Sigmoid = 신경망 유사

로 구분합니다.

시험 직전에는 다음 다섯 줄로 압축해서 기억하면 됩니다.

SVM = 지도학습 + 분류 / SVR = 회귀

목표 = 마진을 최대화하는 초평면

초평면은 서포트 벡터가 결정

C↑=하드 마진 / C↓=소프트 마진

Kernel Trick = 비선형 데이터를 고차원에서 선형 분리