step21. 연산자 오버로드(2)

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이번 단계에서도 이어서 연산자 오버로드를 진행합니다. 이전 단계의 구현을 통해 Variable 인스턴스 a와 b의 a + b 같은 연산을 수행할 수 있었습니다. 하지만 현재는 a * np.array(3.0)이나 3 + a와 같은 ndarray 인스턴스 또는 수치 데이터와의 연산은 불가합니다. 이를 해결하기 위한 방법으로 다른 데이터들을 Variable 인스턴스로 변환하는 작업을 진행합니다. 우선 variable로 변경하기 위한 함수입니다.

def as_variable(obj):
    if isinstance(obj, Variable):
        return obj
    return Variable(obj)

 

이제 Function 클래스의 __call__ 메서드가 as_variable 함수를 이용하도록 변경합니다.

class Function:
    def __call__(self, *inputs):
        inputs = [as_variable(x) for x in inputs]

        xs = [x.data for x in inputs]
        ys = self.forward(*xs)
        ...

 

다음은 파이썬의 float, int 등의 경우입니다. x가 Variable 인스턴스일 때 x + 2.0 같은 코드를 수행하기 위해 기존 함수에 코드를 추가하겠습니다. x1이 float이나 int라면, ndarray 인스턴스로 변환 후 Function 클래스 내부에서 다시 Variable 인스턴스로 변환됩니다.

def add(x0, x1):
    x1 = as_array(x1)
    return Add()(x0, x1)

 

아직 문제점이 남아있습니다. 연산자 오버로드에서는 x * 2.0과 2.0 * x는 다른 문제입니다. 현재는 2.0 * x를 수행할 경우 오류가 생깁니다. 우선 실행했을 때 오류가 발생하는 과정을 보겠습니다.

 

1. 연산자 왼쪽에 있는 2.0의 __mul__ 메서드를 호출하려 시도한다.

2. 하지만 2.0은 float 타입이므로 __mul__ 메서드는 구현되어 있지 않다.

3. 다음은 * 연산자 오른쪽에 있는 x의 특수 메서드를 호출하려 시도한다.

4. x가 오른쪽에 있기 때문에 (__mul__대신) __rmul__ 메서드를 호출하려 시도한다.

5. 하지만 Variable 인스턴스에는 __rmul__ 메서드가 구현되어 있지 않다.

 

따라서 __rmul__ 메서드도 함께 구현해야합니다. 연산자 오버로드에 관해 더 궁금한 점은 직접 찾아보는 걸 추천드립니다. 특히 C++ 같은 언어에서 다루는 경우가 많습니다. DeZero의 특수 메서드는 다음과 같이 설정합니다.

Variable.__add__ = add
Variable.__radd__ = add
Variable.__mul__ = mul
Variable.__rmul__ = mul

 

마지막으로 다음과 같이 좌항이 ndarray 인스턴스고 우항이 Variable인 경우도 해결해야합니다. 좌항의 ndarray 인스턴스의 __add__ 메서드가 아닌 우항의 Variable 인스턴스의 __radd__ 메서드가 호출되어야합니다.

x = Variable(np.array([1.0]))
y = np.array([2.0]) + x

 

위와 같은 문제를 해결하기 위해 연산자 우선순위를 지정하겠습니다. Variable 인스턴스 속성에 __array_priority__를 추가하고 큰 정수 값으로 설정합니다.

class Variable:
    __array_priority__ = 200
    ...