step13. 가변 길이 인수(역전파 편)

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이전 단계까지는 함수가 여러 개의 변수를 입력받고 반환할 수 있도록 하고, 순전파에까지 반영했습니다. 이번에는 역전파입니다.

 

아래 덧셈 계산 그래프에서 역전파는 입력이 1개, 출력이 2개입니다. 이때 $y=x0+x1$에서 $x0$과 $x1$ 각각에 대해 편미분을 진행하면 각각 1, 1이 나옵니다. 덧셈의 역전파는 출력 쪽에서 전해지는 미분값에 1을 곱한 값이 입력 변수 (x0, x1)의 미분입니다. 즉, 상류에서 흘러오는 미분값을 그대로 흘려보내는 것이 덧셈의 역전파입니다.

 

위 내용들을 반영하여 Add 클래스를 다음과 같이 구현할 수 있습니다. 아래의 코드가 동작하려면 Variable 클래스도 수정하여야 합니다.

class Add(Function):
    def forward(self, x0, x1):
        y = x0 + x1
        return y

    def backward(self, gy):
        return gy, gy

 

기존 코드에서 총 네 군데를 수정해야 합니다. 1번에서 출력 변수인 outputs에 담겨 있는 미분값들을 리스트에 저장합니다. 2번에서는 역전파를 호출합니다. 3번에서는 gxs가 튜플이 아닌 경우를 고려해줍니다. 마지막으로 4번에서는 역전파로 전파되는 미분값을 Variable 인스턴스 변수인 grad에 저장합니다.

class Variable:
    ...
    
    def backward(self):
        if self.grad is None:
            self.grad = np.ones_like(self.data)
        
        funcs = [self.creator]
        while funcs:
            f = funcs.pop()
            gys = [output.grad for output in f.outputs]  # 1
            gxs = f.backward(*gys)  # 2
            if not isinstance(gxs, tuple):  # 3
                gxs = (gxs, )
            
            for x, gx in zip(f.inputs, gxs):  # 4
                x.grad = gx

                if x.creator is not None:
                    funcs.append(x.creator)

 

 

개선된 클래스를 바탕으로 Square 클래스도 수정해보겠습니다. self.inputs.data 부분만 변경해주면 됩니다.

class Square(Function):
    def forward(self, x):
        y = x ** 2
        return y

    def backward(self, gy):
        x = self.inputs[0].data  # 수정
        gx = 2 * x * gy
        return gx

 

마지막으로 add 함수와 square 함수를 사용해봅시다. $z=x^2+y^2$를 계산하는 코드입니다. 이상으로 복수 입출력에 대응하여 자동 미분 구조를 완성했습니다. 다만, 지금의 DeZero는 몇 가지 문제가 숨어 있어, 다음 단계에선 이 문제들을 해결해보겠습니다.

x = Variable(np.array(2.0))
y = Variable(np.array(3.0))

z = add(square(x), square(y))
z.backward()
print(z.data)  # 13.0
print(x.grad)  # 4.0
print(y.grad)  # 6.0