step44. 매개변수를 모아두는 계층

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

앞 단계에서는 단순하지만 신경망을 구현해보았습니다. 이제 DeZero는 신경망 프레임워크의 구색을 갖추고 있지만, 사용 편의성 측면에서는 보완할 점이 많습니다. 이번 단계에서는 매개변수를 담는 구조를 만들어보겠습니다. Parameter와 Layer라는 클래스를 구현하고, 이를 통해 매개변수 관리를 자동화합니다.

 

Parameter 클래스는 아래 내용이 다입니다. Variable 클래스와 동일한 기능을 가집니다. 물론 Variable 인스턴스와 Parameter 인스턴스는 구별이 가능합니다.

class Parameter(Variable):
    pass

 

Layer 클래스는 Function 클래스처럼 변수를 변환하는 클래스지만, Function 클래스와 달리 매개변수를 유지합니다. 설명은 아래에서 이어나가겠습니다.

class Layer:
    def __init__(self):
        self._params = set()
    
    def __setattr__(self, name, value):
        if isinstance(value, Parameter):
            self._params.add(name)
        super().__setattr__(name, value)

    def __call__(self, *inputs):
        outputs = self.forward(*inputs)
        if not isinstance(outputs, tuple):
            outputs = (outputs,)
        self.inputs = [weakref.ref(x) for x in inputs]
        self.outputs = [weakref.ref(y) for y in outputs]
        return outputs if len(outputs) > 1 else outputs[0]
    
    def forward(self, inputs):
        raise NotImplementedError()

    def params(self):
        for name in self._params:
            yield self.__dict__[name]
    
    def cleargrads(self):
        for param in self.params():
            param.cleargrad()

 

Layer 클래스는 _params라는 인스턴스 변수를 두고, 매개변수를 보관합니다. 이때 __setattr__은 인스턴스 변수를 설정할 때 호출되는 특수 메서드로, 이 메서드를 재정의하여 커스텀 로직을 추가할 수 있습니다. 여기서는 value가 Parameter 인스턴스인 경우 self._params에 name을 추가하게 됩니다.

 

__call__ 메서드는 Function 클래스와 비슷하게 구현되어 있습니다. params 메서드의 경우 Layer 인스턴스에 있는 Parameter 인스턴스를 꺼내주고, cleargrads 메서드는 모든 매개변수 기울기를 재설정합니다.

 

Layer 클래스의 경우 base 클래스이고, 다른 클래스들은 이를 상속받아 구현합니다. 이번에는 Linear 클래스를 구현합니다. __init__의 인수는 순서대로 출력 크기, 편향 사용 여부 플래그, 데이터 타입, 입력 크기입니다. 특이한 점은 가중치 W를 생성하는 시점을 늦춘 것입니다. 가중치를 __init__ 메서드가 아닌 forward 메서드에서 생성함으로써 Linear 클래스의 입력 크기를 자동으로 결정하게 됩니다. 사용자가 지정하지 않아도 되는 것이죠.

class Linear(Layer):
    def __init__(self, out_size, nobias=False, dtype=np.float32, in_size=None):
        super().__init__()
        self.in_size = in_size
        self.out_size = out_size
        self.dtype = dtype

        self.W = Parameter(None, name='W')
        # in_size가 지정되어 있지 않는 경우 나중으로 연기
        if self.in_size is not None:
            self._init_W()

        if nobias:
            self.b = None
        else:
            self.b = Parameter(np.zeros(out_size, dtype=dtype), name='b')
        
    def _init_W(self):
        I, O = self.in_size, self.out_size
        W_data = np.random.randn(I, O).astype(self.dtype) * np.sqrt(1 / I)
        self.W.data = W_data

    def forward(self, x):
    	# 데이터를 흘려보내는 시점에 가중치 초기화
        if self.W.data is None:
            self.in_size = x.shape[1]
            self._init_W()

        y = F.linear(x, self.W, self.b)
        return y

 

이제 테스트를 진행합니다. 이전 단계와 같은 기능을 하는 테스트 코드지만 훨씬 더 간결해졌습니다. 매개변수 관리를 Linear 인스턴스가 맡고 있기 때문입니다. 다음 단계에서는 여러 Layer를 하나의 클래스로 묶어서 관리하도록 개선하겠습니다.

import numpy as np
from dezero import Variable
import dezero.functions as F
import dezero.layers as L


# dataset
np.random.seed(0)
x = np.random.rand(100, 1)
y = np.sin(2 * np.pi * x) + np.random.rand(100, 1)

l1 = L.Linear(10)  # output size
l2 = L.Linear(1)


def predict(x):
    y = l1(x)
    y = F.sigmoid(y)
    y = l2(y)
    return y


lr = 0.2
iters = 10000

for i in range(iters):
    y_pred = predict(x)
    loss = F.mean_squared_error(y, y_pred)

    l1.cleargrads()
    l2.cleargrads()
    loss.backward()

    for l in [l1, l2]:
        for p in l.params():
            p.data -= lr * p.grad.data
    if i % 1000 == 0:
        print(loss)