step16. 복잡한 계산 그래프(구현 편)

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이번 단계에서는 15단계의 이론을 직접 구현합니다. 먼저 순전파 시 세대를 설정하겠습니다. Variable클래스와 Function 클래스에 인스턴스 변수 generation을 추가합니다. 몇 번째 세대의 함수인지 나타내는 변수입니다. set_creator 메서드가 호출될 때 세대를 1만큼 늘려줍니다. 즉, 어떤 함수로부터 나온 변수는 해당 함수보다 1만큼 큰 세대 값을 갖습니다.

class Variable:
    def __init__(self, data):
        if data is not None:
            if not isinstance(data, np.ndarray):
                raise TypeError('{} is not supported'.format(type(data)))

        self.data = data
        self.grad = None
        self.creator = None
        self.generation = 0  # 세대 수 기록

    def set_creator(self, func):
        self.creator = func
        self.generation = func.generation + 1  # 세대 기록(부모 세대 + 1)
    
    ...

 

다음은 Function 클래스입니다. 여기서는 입력 변수가 둘 이상일 때, 가장 큰 세대를 선택하도록 합니다.

class Function:
    def __call__(self, *inputs):
        xs = [x.data for x in inputs]
        ys = self.forward(*xs)
        if not isinstance(ys, tuple):
            ys = (ys, )
        outputs = [Variable(as_array(y)) for y in ys]

        self.generation = max([x.generation for x in inputs])
        for output in outputs:
            output.set_creator(self)
        self.inputs = inputs
        self.outputs = outputs
        return outputs if len(outputs) > 1 else outputs[0]
    
    ...

 

이전 단계에서, 세대가 큰 함수부터 처리하면 올바른 순서로 역전파가 가능하다고 했습니다. 가장 큰 원소를 꺼내기 위한 단순한 방법 중 하나는 정렬을 이용하는 것입니다. 효율을 고려하면 우선순위 큐를 이용해 구현하는 것이 맞지만, 우선은 정렬을 이용하겠습니다. 그동안에는 DeZero의 함수들을 리스트에 추가하는 방식을 이용했지만, add_func 함수를 호출하도록 변경하였습니다. add_func 함수는 함수들을 세대 순으로 정렬하는 역할이 포함되어 있습니다.

class Variable:
    ...
    
    def backward(self):
        if self.grad is None:
            self.grad = np.ones_like(self.data)
        
        funcs = []
        seen_set = set()

        # 추후 우선순위 큐로 구현
        def add_func(f):
            if f not in seen_set:
                funcs.append(f)
                seen_set.add(f)
                funcs.sort(key=lambda x: x.generation)
        
        add_func(self.creator)

        while funcs:
            f = funcs.pop()
            gys = [output.grad for output in f.outputs]
            gxs = f.backward(*gys)
            if not isinstance(gxs, tuple):
                gxs = (gxs, )
            
            for x, gx in zip(f.inputs, gxs):
                if x.grad is None:
                    x.grad = gx
                else:
                    x.grad = x.grad + gx
                
                if x.creator is not None:
                    add_func(x.creator)  # funcs.append(x.creator)에서 수정

 

 

이제 이전에는 구현하지 못했던 위와 같은 계산 그래프를 테스트해보겠습니다. 계산 그래프는 $y = (x^2)^2 + (x^2)^2$이므로 $y=2x^4$을 미분하는 문제가 됩니다. 따라서 테스트 결과가 제대로 출력된 것을 확인할 수 있습니다. 이것으로 DeZero는 아무리 복잡한 연결도 제대로 미분할 수 있습니다.

x = Variable(np.array(2.0))
a = square(x)
y = add(square(a), square(a))
y.backward()

print(y.data)  # 32.0
print(x.grad)  # 64.0