Basis Function

Basis 함수란?

Machine Learning에서 Basis 함수는 입력 데이터를 변환하여 모델이 더 복잡한 패턴을 학습할 수 있도록 하는 함수입니다. 특히, 선형 회귀에서 Basis 함수는 원래의 입력 데이터를 비선형적으로 변환하여 모델이 비선형 관계까지 다룰 수 있도록 돕습니다.

Machine Learning에서 Basis 함수의 역할

일반적인 선형 회귀 모델은 다음과 같은 형태를 가집니다:

$y (x) = w_{0} + w_{1} x_{1} + w_{2} x_{2} + \dots + w_{d} x_{d}$

이 식은 단순한 선형 모델로, 입력과 출력 사이의 직선 관계를 나타냅니다. 하지만 실제로 많은 데이터는 직선 관계가 아닌 비선형 관계를 따릅니다. 이때 Basis 함수를 사용하여 입력 데이터를 변환함으로써 비선형 관계도 모델링할 수 있습니다.

Basis 함수의 사용 예시

Basis 함수 $ϕ_{i} (x)$ 는 입력 $x$ 를 다양한 형태로 변환하는 함수입니다. 예를 들어, 다항 기저 함수는 입력 데이터를 다항식으로 변환하는 함수로 정의할 수 있습니다:

$ϕ_{0} (x) = 1, ϕ_{1} (x) = x, ϕ_{2} (x) = x^{2}, ϕ_{3} (x) = x^{3}, \dots$

이러한 변환을 통해 선형 회귀 모델은 다음과 같이 확장될 수 있습니다:

$y (x) = w_{0} \cdot ϕ_{0} (x) + w_{1} \cdot ϕ_{1} (x) + w_{2} \cdot ϕ_{2} (x) + \dots + w_{M} \cdot ϕ_{M} (x)$

여기서 $ϕ_{i} (x)$ 는 $x$ 의 비선형 변환(예: 거듭제곱)이고, $w_{i}$ 는 학습된 가중치입니다. 이렇게 변환된 입력을 사용함으로써, 단순 선형 모델로는 설명할 수 없는 복잡한 패턴을 학습할 수 있게 됩니다.

Machine Learning에서 Basis 함수의 실제 적용

1. 다항 회귀 (Polynomial Regression)

다항 기저 함수 $ϕ_{i} (x) = x^{i}$ 는 입력 데이터를 다항식으로 변환하여, 선형 회귀가 비선형 회귀로 확장되도록 돕습니다.
예를 들어, 2차 다항식을 학습하려면 $x$ 값을 $x^{2}$ 까지 확장한 기저 함수를 사용하여 다음과 같이 모델을 구성합니다:

$y (x) = w_{0} + w_{1} x + w_{2} x^{2}$

이렇게 하면 포물선 같은 곡선 형태의 데이터 패턴을 학습할 수 있습니다.

2. 가우시안 기저 함수 (Gaussian Basis Function)

다항식 이외에도 가우시안 기저 함수와 같은 다른 형태의 Basis 함수도 자주 사용됩니다. 이 함수는 입력 $x$ 를 가우시안 함수로 변환합니다:

$ϕ_{i} (x) = exp (- \frac{( x - μ _{i} ) ^{2}}{2 σ ^{2}})$
가우시안 기저 함수는 데이터를 비선형적인 패턴으로 변환하여, 선형 회귀 모델이 다양한 형태의 비선형 패턴을 학습할 수 있도록 합니다.

왜 Basis 함수를 사용할까?

Basis 함수는 다음과 같은 이유로 사용됩니다:

비선형 패턴 학습: 단순한 선형 모델로는 설명할 수 없는 비선형 관계를 설명하기 위해.
특성 확장: 입력 데이터를 다양한 방식으로 변환하여, 모델이 더 많은 정보를 학습할 수 있도록 하기 위해.
모델 유연성 향상: 다양한 Basis 함수를 적용함으로써 모델이 더욱 유연하게 데이터를 설명할 수 있게 만듦.

결론

Basis 함수는 입력 데이터를 변형하여, Machine Learning 모델이 복잡한 비선형 패턴을 학습할 수 있도록 도와주는 중요한 도구입니다. 다항 기저 함수, 가우시안 기저 함수와 같은 다양한 Basis 함수는 각각의 데이터 특성에 맞게 모델을 비선형적으로 확장하는 역할을 합니다. 이를 통해 단순한 선형 회귀를 넘어 더 복잡한 문제에 대해 모델을 적용할 수 있습니다.

Table of Contents

Beomsu