step15. 복잡한 계산 그래프(이론 편)

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

지금까지는 그림[15-1]과 같이 한 줄로 늘어선 계산 그래프만 다뤘습니다. 하지만 더 복잡하게 연결되는 경우, 지금의 DeZero는 제대로 계산해내지 못합니다.

 

올바른 역전파의 순서는 다음과 같아야 합니다.

 

그러나 현재의 DeZero는 여러 문제들이 보입니다. C 다음에 바로 A로 이어지고, 함수 A의 역전파가 두 번 일어나는 것도 문제입니다.

 

문제의 원인은 funcs 리스트에 있습니다. 다음에 처리할 함수를 pop()을 이용해 꺼내기 때문에, 여러 변수를 담게 될 경우 나중에 담긴 원소를 잘못 꺼내게 됩니다. 지금까지는 한 줄로 나열된 계산 그래프를 다뤘기 때문에, 리스트에서 원소를 꺼낼 때 항상 원소가 하나 뿐이어서 문제가 생기지 않았던 것입니다.

class Variable:
    ...
    
    def backward(self):
        if self.grad is None:
            self.grad = np.ones_like(self.data)

        funcs = [self.creator]
        while funcs:
            f = funcs.pop()
            gys = [output.grad for output in f.outputs]
            gxs = f.backward(*gys)
            if not isinstance(gxs, tuple):
                gxs = (gxs, )

            for x, gx in zip(f.inputs, gxs):
                if x.grad is None:
                    x.grad = gx
                else:
                    x.grad = x.grad + gx
            
                if x.creator is not None:
                    funcs.append(x.creator)

 

지금까지는 funcs 리스트의 다음에 처리할 함수의 후보들을 생각 없이 마지막 원소만 꺼냈지만, 이제는 우선순위를 부여할 수 있어야 합니다. 그럼 우선순위는 어떻게 설정할까요? 우리는 일반적인 계산인 순전파 때 함수가 변수를 만들어내는 과정을 목격하고 있습니다. 창조자-피조물 관계 혹은 부모-자식 관계를 목격하고 있는 것입니다. 이 관계를 기준으로 함수와 변수의 세대를 기록하겠습니다. 세대 수가 큰 순서대로 역전파를 진행하면, 부모보다 자식이 먼저 처리됨을 보장할 수 있을 것입니다. 다음 단계에서 구현해보겠습니다.