step14. 같은 변수 반복 사용

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

현재의 DeZero는 같은 변수를 반복해서 사용할 경우 의도대로 동작하지 않는 문제가 있습니다. 아래의 예시를 보시죠.

 

y의 값은 정상적으로 계산되지만, 역전파에서 잘못된 결과가 나왔습니다. 제대로 계산하면 $y=x+x$일 때 $y=2x$가 되므로 미분값은 2가 되어야 합니다.

x = Variable(np.array(3.0))
y = add(x, x)
print(y.data)  # 6.0

y.backward()
print(x.grad)  # 1.0

 

문제의 원인은 Variable 클래스에 있습니다. 이전 코드에서는 같은 변수를 반복해서 사용할 경우 전파되는 미분값이 덮어 써집니다. 따라서 이미 미분값이 있는 경우 새로 전달된 미분값을 더해주도록 수정하여야합니다.

# 변경 전
def backward(self):
        ...
            for x, gx in zip(f.inputs, gxs):
                x.grad = gx
            
                if x.creator is not None:
                    funcs.append(x.creator)

# 변경 후
def backward(self):
        ...
            for x, gx in zip(f.inputs, gxs):
                if x.grad is not None:
                	x.grad = gx
                else:
                	x.grad = x.grad + gx
            
                if x.creator is not None:
                    funcs.append(x.creator)

 

아직 다른 문제가 남아있습니다. 같은 변수를 사용하여 다른 계산을 할 경우입니다. x를 재사용할 경우 첫 번째 결과에 값이 더해져 잘못된 값이 저장됩니다. 3.0이 나와야하지만 5.0이 나왔습니다.

x = Variable(np.array(3.0))
y = add(x, x)
y.backward()
print(y.data)  # 6.0
print(x.grad)  # 2.0


y = add(add(x, x), x)
y.backward()
print(y.data)  # 9.0
print(x.grad)  # 5.0

 

위와 같은 문제를 해결하기 위해 Variable 클래스에 미분값을 초기화하는 메서드를 추가합니다.

class Variable:
    ...
    
    def cleargrad(self):
        self.grad = None

 

같은 변수를 재사용할 때는 다음과 같이 cleargrad 메서드를 활용하여 미분값을 초기화하고 사용할 수 있습니다. 테스트해보면 정상적으로 출력되는 것을 확인할 수 있습니다.

x = Variable(np.array(3.0))
y = add(x, x)
y.backward()
print(y.data)  # 6.0
print(x.grad)  # 2.0

x.cleargrad()  # or x = Variable(np.array(3.0))
y = add(add(x, x), x)
y.backward()
print(y.data)  # 9.0
print(x.grad)  # 3.0