step17. 메모리 관리와 순환 참조

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

파이썬은 필요 없는 객체를 메모리에서 자동으로 삭제합니다. 하지만 코드를 제대로 작성하지 않을 시에는 메모리 누수나 부족 문제가 생길 수 있습니다. 특히 신경망은 큰 데이터를 다루기 때문에 주의해야합니다. 파이썬(CPython)의 메모리 관리는 참조수를 세는 방식과 세대를 기준으로 쓸모없는 객체를 회수하는 방식으로 나뉩니다. 전자는 참조 카운트, 후자는 GC(Garbage Collection)라고 합시다.

 

우선 메모리 관리 기본은 참조 카운트입니다. 모든 객체는 참조 카운트가 0인 상태로 생성되어, 다른 객체가 해당 객체를 참조할 때마다 1씩 증가합니다. 객체에 대한 모든 참조가 끊기면 참조 카운트가 0이 되어 파이썬 인터프리터가 회수하게 됩니다.

 

아래 그림의 왼쪽 상태에서  a = b = c = None을 실행하게 되면 오른쪽과 같은 상태가 될 겁니다. 이때 a의 참조 카운트는 0이 되어 즉시 삭제되고, 이어서 b의 참조 카운트도 0이 됩니다. c 역시 마찬가지로 삭제됩니다.

 

하지만 참조 카운트로 해결할 수 없는 문제가 있는데, 바로 순환 참조입니다. 위와 같이 a = b = c = None의 실행만으로는 순환 참조의 카운트를 0으로 만들 수 없어, 메모리에서 삭제되지 않습니다. 이러한 상황을 고려해 GC(세대별 가비지 컬렉션)는 보다 영리한 방식으로 불필요한 객체를 찾아냅니다. GC는 메모리가 부족해지는 시점에 파이썬 인터프리터에 의해 자동 호출됩니다.

 

GC는 순환 참조를 올바르게 처리하지만, 메모리 해제를 GC에 미루면 프로그램 전체 메모리 사용량이 커지게 됩니다. 따라서 순환 참조는 최대한 만들지 않는 것이 좋습니다. 현재의 DeZero에는 순환 참조가 존재하는데, 표준 파이썬 모듈인 weakref로 해결해보도록 하겠습니다.

 

weakref.ref 함수를 사용하면 약한 참조를 만드는 것이 가능합니다. 약한 참조는 다른 객체를 참조하되, 참조 카운트는 증가시키지 않습니다. DeZero에서는 Function이 Variable(outputs) 인스턴스를 대상으로 약한 참조를 하도록 변경하여 순환 참조 문제를 해결해보겠습니다. self.outputs가 대상을 약한 참조로 가리키게 변경하였습니다.

import weakref

class Function:
    def __call__(self, *inputs):
        xs = [x.data for x in inputs]
        ys = self.forward(*xs)
        if not isinstance(ys, tuple):
            ys = (ys, )
        outputs = [Variable(as_array(y)) for y in ys]
        
        self.generation = max([x.generation for x in inputs])
        for output in outputs:
            output.set_creator(self)
        self.inputs = inputs
        self.outputs = [weakref.ref(output) for output in outputs]
        return outputs if len(outputs) > 1 else outputs[0]

 

변경의 여파로 Function 클래스의 outputs를 참고하는 코드도 수정합니다. output.grad를 output().grad로 수정하였습니다. 이상으로 순환 참조 문제를 해결했습니다.

 

class Variable:
    ...
    def backward(self):
        ...
        while funcs:
            f = funcs.pop()
            gys = [output().grad for output in f.outputs]  # output은 weakref
            ...