step39. 합계 함수

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이번 단계에서는 합계를 구하는 함수 sum을 추가하겠습니다. [그림 39-3]을 보면 sum 함수가 어떠한 역할을 하는지 알 수 있습니다. 중요한 것은 역시 역전파입니다. 기울기를 입력 변수의 형상과 같아지도록 복사해야 합니다. 이전 단계들과 마찬가지로 역전파에서는 Variable 인스턴스를 사용하기 때문에 복사 작업도 DeZero 함수로 해야 합니다. 이때 형상에 맞게 원소를 복사하는 작업은 넘파이의 브로드캐스트라는 것과 같은 기능입니다. 브로드캐스트는 다음 단계에서 구현할 예정이지만, broadcast_to라는 함수는 sum 함수 구현에도 쓰이기 때문에 미리 가져와 사용하도록 하겠습니다.

 

 

우선 Sum 클래스와 sum 함수를 구현해보겠습니다.

class Sum(Function):
    def forward(self, x):
        self.x_shape = x.shape
        y = x.sum()
        return y
    
    def backward(self, gy):
        gx = broadcast_to(gy, self.x_shape)
        return gx


def sum(x):
    return Sum()(x)

 

테스트해보면 정상적으로 동작하는 것을 확인할 수 있습니다.

import numpy as np
from dezero import Variable
import dezero.functions as F

x = Variable(np.array([1, 2, 3, 4, 5, 6]))
y = F.sum(x)
y.backward()
print(y)
print(x.grad)

x = Variable(np.array([[1, 2, 3], [4, 5, 6]]))
y = F.sum(x)
y.backward()
print(y)
print(x.grad)

variable(21)
variable([1 1 1 1 1 1])
variable(21)
variable([[1 1 1]
            [1 1 1]])

 

DeZero 함수들의 순전파는 넘파이의 함수들을 활용하여 구현하고 있습니다. 넘파이의 np.sum은 방금 구현한 것보다 더 다양한 기능을 제공합니다. 대표적으로 axis와 keepdims라는 기능이 있습니다. axis는 축을 지정하여 원하는 방향으로 합계를 구할 수 있고, keepdims는 입력과 출력의 차원 수(축 수)를 똑같게 유지할 수 있도록 하는 플래그입니다. 자세한 설명은 생략하겠습니다. DeZero의 sum 함수도 두 기능을 지원할 수 있도록 수정하겠습니다.

class Sum(Function):
    def __init__(self, axis, keepdims):
        self.axis = axis
        self.keepdims = keepdims

    def forward(self, x):
        self.x_shape = x.shape
        y = x.sum(axis=self.axis, keepdims=self.keepdims)
        return y
    
    def backward(self, gy):
        # gy = utils.reshape_sum_backward(gy, self.x_shape, self.axis, self.keepdims)
        gx = broadcast_to(gy, self.x_shape)
        return gx


def sum(x, axis=None, keepdims=False):
    return Sum(axis, keepdims)(x)

 

Sum 클래스를 초기화할 때 axis와 keepdims를 속성으로 받게 변경했습니다. 역전파는 기존과 동일합니다. 다만, 주석 처리된 부분이 추가되었는데 이 함수는 gy의 형상을 미세하게 조정합니다. axis와 keepdims로 인해 기울기의 형상을 변환하는 경우가 생기기 때문에 이를 위한 함수입니다. 교재에서도 본질에서 벗어나기 때문에 설명을 생략한다고 하니, 넘어가도록 하겠습니다. 궁금하신 분들은 깃허브에 코드가 있으니 찾아보시면 좋을 것 같습니다.

 

마지막으로 Variable의 메서드로 사용할 수 있도록 다음 코드를 추가합니다.

class Variable:
	...
        def sum(self, axis=None, keepdims=False):
            return dezero.functions.sum(self, axis, keepdims)

 

테스트는 다음과 같이 진행할 수 있습니다.

x = Variable(np.array([[1, 2, 3], [4, 5, 6]]))
y = F.sum(x, axis=0)
y.backward()
print(y)
print(x.grad)

x = Variable(np.random.randn(2, 3, 4, 5))
y = x.sum(keepdims=True)
print(y.shape)

variable([5 7 9])
variable([[1 1 1]
            [1 1 1]])
(1, 1, 1, 1)