step22. 연산자 오버로드(3)

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이번 단계에서도 이어서 새로운 연산자들을 추가하겠습니다. 먼저 음수입니다. 임수의 미분은 $y = -x$일 때 -1입니다.

class Neg(Function):
    def forward(self, x):
        return -x

    def backward(self, gy):
        return -gy


def neg(x):
    return Neg()(x)

 

다음은 뺄셈입니다. $y = x0 - x1$일 때 $dy/dx0 = 1$, $dy/dx1 = -1$입니다. 따라서 다음과 같이 구현합니다. $y = 2.0 - x$와 같은 코드도 처리하도록 rsub까지 구현하여 줍니다. 덧셈이나 곱셉과 달리 뺄셈은 순서에 따라 결과가 달라지기 때문에 rsub까지 구현해주어야 합니다.

class Sub(Function):
    def forward(self, x0, x1):
        y = x0 - x1
        return y
    
    def backward(self, gy):
        return gy, -gy


def sub(x0, x1):
    x1 = as_array(x1)
    return Sub()(x0, x1)


def rsub(x0, x1):
    x1 = as_array(x1)
    return Sub()(x1, x0)

 

다음은 나눗셈입니다. 나눗셈의 미분은 $y = x0/x1$일 때, $dy/dx0 = 1/x1$, $dy/dx1 = -x0/(x1)^2$입니다.

class Div(Function):
    def forward(self, x0, x1):
        y = x0 / x1
        return y
    
    def backward(self, gy):
        x0, x1 = self.inputs[0].data, self.inputs[1].data
        gx0 = gy / x1
        gx1 = gy * (-x0 / x1 ** 2)
        return gx0, gx1


def div(x0, x1):
    x1 = as_array(x1)
    return Div()(x0, x1)


def rdiv(x0, x1):
    x1 = as_array(x1)
    return Div()(x1, x0)

 

마지막으로 거듭제곱입니다. 거듭제곱은 $y=x^c$ 형태입니다. 이때 밑이 x인 경우만 미분하고 지수 c는 상수로 취급하여 따로 미분 계산을 하지 않겠습니다.

class Pow(Function):
    def __init__(self, c):
        self.c = c
    
    def forward(self, x):
        y = x ** self.c
        return y
    
    def backward(self, gy):
        x = self.inputs[0].data
        c = self.c

        gx = c * x ** (c-1) * gy
        return gx


def pow(x, c):
    return Pow(c)(x)

 

위에서 구현한 메서드들을 설정까지 마무리해줍니다. 이때 주의할 점은 덧셈과 곱셈은 순서가 변해도 결과가 같기 때문에 radd를 add로 설정했지만, 뺄셈과 같이 순서가 중요한 연산은 따로 설정을 해주어야 합니다.

Variable.__add__ = add
Variable.__radd__ = add
Variable.__mul__ = mul
Variable.__rmul__ = mul
Variable.__neg__ = neg
Variable.__sub__ = sub
Variable.__rsub__ = rsub
Variable.__truediv__ = div
Variable.__rtruediv__ = rdiv
Variable.__pow__ = pow