step42. 선형 회귀

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이번 단계에서는 선형회귀(linear regression)을 구현해보겠습니다. 머신러닝 문제에서 가장 기본이 되는 주제입니다. 우선 같은 데이터로 계속 진행해야하니, 시드값을 고정해놓고 작은 데이터셋을 생성합니다.

import numpy as np

np.random.seed(0)
x = np.random.rand(100, 1)
y = 5 + 2 * x + np.random.randn(100, 1)

 

 

목표는 주어진 x값으로 y값을 예측하는 모델(수식)을 만드는 것입니다. 이렇듯 x로부터 실숫값 y를 예측하는 것을 회귀라고 하며 예측값이 선형을 이루는 것을 선형 회귀라 합니다. 현재 예에서 y와 x가 선형 관계라고 가정하고 있기 때문에 $y = Wx + b$라는 식으로 표현이 가능합니다.

 

 

데이터에 맞는 직선 $y=Wx + b$를 찾기 위해 데이터와 예측치의 차이인 잔차를 최소화해야 합니다. 예측치와 데이터의 오차를 나타내는 지표는 [식 42.1]과 같습니다. 이 수식을 평균 제곱 오차, mean squared error라고 합니다. 이 식으로 표현되는 손실함수의 출력을 최소화하는 W와 b를 찾는 것이 우리의 목표입니다. 손실 함수는 모델의 성능이 얼마나 나쁜가를 평가하는 함수이므로 최대한 줄여야할 값입니다.

 

 

이제 구현으로 넘어가겠습니다. 함수를 최적화하는 문제는 이미 28단계에서 진행했었습니다. 큰 틀은 비슷합니다. 평균 제곱 오차를 구하는 함수를 구현하고, 경사하강법을 통해 매개변수를 갱신하면 됩니다.

np.random.seed(0)
x = np.random.rand(100, 1)
y = 5 + 2 * x + np.random.randn(100, 1)
x, y = Variable(x), Variable(y)

W = Variable(np.zeros((1, 1)))
b = Variable(np.zeros(1))


def predict(x):
    y = F.matmul(x, W) + b
    return y


def mean_squared_error(x0, x1):
    diff = x0 - x1
    return F.sum(diff ** 2) / len(diff)


lr = 0.1
iters = 100

for i in range(iters):
    y_pred = predict(x)
    loss = mean_squared_error(y, y_pred)

    W.cleargrad()
    b.cleargrad()
    loss.backward()

    W.data -= lr * W.grad.data
    b.data -= lr * b.grad.data
    print(W, b, loss)


# Plot
plt.scatter(x.data, y.data, s=10)
plt.xlabel('x')
plt.ylabel('y')
y_pred = predict(x)
plt.plot(x.data, y_pred.data, color='r')
plt.show()

 

코드를 통해 얻어지는 직선 그래프는 다음과 같습니다. (실제로 위 코드를 실행하면 데이터가 조금 더 퍼져있을 수 있습니다.) 출력값을 보면 점진적으로 손실 함수의 출력값이 줄어드는 것을 확인할 수 있습니다.

 

 

사실 위에서 구현한 평균 제곱 오차 함수에는 약간의 문제가 있습니다. [그림 42-6]과 같이 중간에 이름 없는 변수 3개가 등장하는데, 문제는 계산 그래프가 존재하는 동안 메모리에 계속 살아있다는 것입니다. 메모리가 충분하다면 문제될 것이 없지만, 더 나은 방식을 도입하는 것이 좋아 보입니다.

 

 

따라서 다음과 같이 개선하겠습니다. 이와 같이 구현하면 중간에 등장하던 변수들이 MeanSquaredError 클래스의 forward 메서드에서만 사용됩니다. 따라서 이 변수들은 ndarray 인스턴스로 사용되고, forward 메서드를 벗어나는 순간 메모리에서 삭제되게 됩니다.

class MeanSquaredError(Function):
    def forward(self, x0, x1):
        diff = x0 - x1
        y = (diff ** 2).sum() / len(diff)
        return y
    
    def backward(self, gy):
        x0, x1 = self.inputs
        diff = x0 - x1
        gx0 = gy * diff * (2. / len(diff))
        gx1 = -gx0
        return gx0, gx1


def mean_squared_error(x0, x1):
    return MeanSquaredError()(x0, x1)