step20. 연산자 오버로드(1)

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이번 단계에서는 연산자 오버로드를 진행하겠습니다. 오버로드 자체에 관한 내용은 잘 정리된 여러 블로그들이 있으니 참고하시길 바랍니다. 우선 Mul, 곱셈 클래스를 구현해보겠습니다. 곱셈의 역전파는 아래 그림과 같이 흘러들어온 기울기에 서로의 입력값을 교환하여 곱해주는 방식으로 진행됩니다. 밑시딥 1에서 자세하게 설명하는 내용입니다.

 

아래는 Mul 클래스의 코드입니다. 이전과 마찬가지로 파이썬 함수로 사용하기 위한 코드도 함께 구현합니다.

class Mul(Function):
    def forward(self, x0, x1):
        y = x0 * x1
        return y
    
    def backward(self, gy):
        x0, x1 = self.inputs[0].data, self.inputs[1].data
        return gy * x1, gy * x0


def mul(x0, x1):
    return Mul()(x0, x1)

 

현재는 곱셈을 수행하기 위해 mul(a, b)와 같은 식으로 번거롭게 구현해야합니다. a * b와 같이 깔끔하게 사용할 수 있도록 연산자 오버로드를 진행하겠습니다. 곱셈의 특수 메서드는 __mul__(self, other) 입니다.

 

다음과 같이 구현할 수 있습니다.

Variable:
    ...
    def __mul__(self, other):
    	return mul(self, other)

 

하지만 더 간단한 방법도 있습니다. 파이썬은 함수도 객체이므로 클래스를 정의한 후 함수 자체를 할당 가능합니다.

class Variable:
    ...

# 연산자 오버로드
Variable.__mul__ = mul
Variable.__add__ = add

 

마지막으로 테스트를 진행해보겠습니다. 결과가 잘 나오는 것을 확인할 수 있습니다.

a = Variable(np.array(3.0))
b = Variable(np.array(2.0))
c = Variable(np.array(1.0))

# y = add(mul(a, b), c)
y = a * b + c
y.backward()

print(y)  # variable(7.0)
print(a.grad)  # 2.0
print(b.grad)  # 3.0