커널 함수(kernel function) 조건 및 종류

커널 함수(kernel function)

- Support Vector Machine(SVM)과 같은 머신러닝 모델에서 사용되는 함수

- 커널 함수는 두 개의 입력 벡터를 받아 두 벡터 간의 유사도 또는 내적(inner product) 값을 계산하는 역할

- 유사도 또는 내적 값은 입력 데이터를 더 고차원 공간으로 매핑하거나 유사도를 측정하여 머신러닝 모델에서 판별 경계를 만들 때 사용

 

커널 함수 조건 : Mercer의 정리(Mercer's Theorem)

- Mercer의 정리가 충족되면 커널 함수는 커널 트릭을 사용하여 고차원 특징 공간에서의 비선형 문제를 효과적으로 해결 가능

1. 대칭성(Symmetry)

- 커널 함수 $K(x, y)$ 는 대칭성을 가져야 함 -> 즉, $K(x, y) = K(y, x)$ 만족

2. 양의 정부호성(Positive Semidefiniteness)

- 행렬 $K$가 커널 함수로 생성되는 경우, 이 행렬은 양의 정부호(positive semidefinite)여야 함 ->즉, 임의의 벡터 $a$에 대해 $a^T K a \geq 0$ 만족

3. 무한 차원 특징 매핑(Infinite-Dimensional Feature Mapping)

- 커널 함수가 무한 차원의 특징 매핑을 수행할 수 있어야함

- 이것은 커널 함수가 데이터를 고차원 공간으로 매핑하는 역할을 함

 

커널 함수 종류

1. 선형 커널 (Linear Kernel): $K(x, y) = x^T \cdot y$

- 두 벡터 간의 내적을 계산 -> 입력 데이터를 고차원 공간으로 매핑하지 않고 선형 결정 경계를 만들 때 사용

2. 다항식 커널 (Polynomial Kernel): $K(x, y) = (\alpha \cdot x^T \cdot y + c)^d$

- 다항식 커널은 입력 데이터를 고차원 공간으로 매핑하여 비선형 결정 경계를 만들 때 사용

- $\alpha$, $c$, $d$는 하이퍼파라미터

3. 가우시안 라디언스 커널 (Gaussian RBF Kernel): $K(x, y) = \exp\left(-\frac{|x-y|^2}{2\sigma^2}\right)$

- 가우시안 RBF 커널은 입력 데이터를 무한한 고차원 공간으로 매핑하여 매우 복잡한 비선형 결정 경계를 만들 때 사용

- $\sigma$는 하이퍼파라미터로, 커널의 폭을 제어

4. 시그모이드 커널 (Sigmoid Kernel): $K(x, y) = \tanh(\alpha \cdot x^T \cdot y + c)$

- 시그모이드 커널은 입력 데이터를 고차원 공간으로 매핑하여 비선형 결정 경계를 만들 때 사용

- $\alpha$, $c$는 하이퍼파라미터

source :https://towardsdatascience.com/multiclass-classification-with-support-vector-machines-svm-kernel-trick-kernel-functions-f9d5377d6f02

 

 

참조

https://ratsgo.github.io/machine%20learning/2017/05/30/SVM3/

Kernel-SVM · ratsgo's blog

https://sonsnotation.blogspot.com/2020/11/11-1-kernel.html

[머신러닝/딥러닝] 11-1. Kernel의 이해와 종류