step45. 계층을 모아두는 계층

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이전 단계에서, Layer 클래스를 활용하면 매개변수를 직접 다루지 않아도 되었습니다. 이번 단계에서는 Layer 인스턴스 관리도 편의성을 개선하겠습니다. 현재 Layer 클래스는 여러 개의 Parameter를 가질 수 있는데, 여기에 Layer 클래스가 다른 Layer도 담을 수 있게 확장하겠습니다.

 

두 가지 측면에서 개선합니다. 인스턴스 변수를 설정할 때 Layer 인스턴스 이름도 _params에 추가합니다. 다른 변경점은 매개변수를 꺼내는 처리 부분입니다. _params에서 name에 해당하는 객체를 꺼낼 때, 그 객체가 Layer 인스턴스라면 재귀적으로 Layer 속 Layer에서 매개변수를 꺼내옵니다.

class Layer:
    def __init__(self):
        self._params = set()
    
    def __setattr__(self, name, value):
        if isinstance(value, (Parameter, Layer)):  # Layer 추가
            self._params.add(name)
        super().__setattr__(name, value)

    def params(self):
        for name in self._params:
            obj = self.__dict__[name]

            if isinstance(obj, Layer):  # Layer에서 매개변수 꺼내기
                yield from obj.params()
            else:
                yield obj

 

모델 혹은 model이란 사물의 본질을 단순하게 표현한 것이라는 뜻을 가지고 있습니다. 머신러닝에 사용되는 모델 역시 복잡한 패턴이나 규칙이 숨어 있는 현상을 수식을 사용하여 단순하게 표현한 것을 말합니다. 그렇다면 모델을 표현하기 위해 Model 클래스를 만들겠습니다. Layer 클래스를 상속 받아 시각화 메서드를 추가합니다. 이때 Model 클래스는 Layer를 상속 받기 때문에 Layer 클래스처럼 활용 가능합니다.

class Model(Layer):
    def plot(self, *inputs, to_file='model.png'):
        y = self.forward(*inputs)
        return utils.plot_dot_graph(y, verbose=True, to_file=to_file)

 

이제 앞서 다루었던 sin 함수로 생성한 데이터셋 회귀 문제를 다시 풀어보겠습니다. 이전에 비해 코드가 간결해지고, 매개변수 관리도 직접 할 필요가 없어졌습니다. 이로써 이번 단계의 주요 목적을 달성하였습니다.

import numpy as np
from dezero import Model
import dezero.layers as L
import dezero.functions as F


# dataset
np.random.seed(0)
x = np.random.rand(100, 1)
y = np.sin(2 * np.pi * x) + np.random.rand(100, 1)

# Hyperparameter setting
lr = 0.2
max_iters = 10000
hidden_size = 10

# Model definition
class TwoLayerNet(Model):
    def __init__(self, hidden_size, out_size):
        super().__init__()
        self.l1 = L.Linear(hidden_size)
        self.l2 = L.Linear(out_size)

    def forward(self, x):
        y = F.sigmoid(self.l1(x))
        y = self.l2(y)
        return y


model = TwoLayerNet(hidden_size, 1)

for i in range(max_iters):
    y_pred = model(x)
    loss = F.mean_squared_error(y, y_pred)

    model.cleargrads()
    loss.backward()

    for p in model.params():
        p.data -= lr * p.grad.data
    if i % 1000 == 0:
        print(loss)

 

추가적으로 완전연결계층 신경망을 구현해두도록 하겠습니다. 초기화 인수로 fc_output_sizes와 activation을 받습니다. 여기서 fc는 full connect의 약자입니다. 이 인수는 신경망을 구성하는 완전연결계층들의 출력 크기를 튜플이나 리스트로 지정합니다. 아래에서 간단한 예시를 보겠습니다.

class MLP(Model):
    def __init__(self, fc_output_sizes, activation=F.sigmoid):
        super().__init__()
        self.activation = activation
        self.layers = []
    
        for i, out_size in enumerate(fc_output_sizes):
            layer = L.Linear(out_size)
            setattr(self, 'l' + str(i), layer)
            self.layers.append(layer)
    
    def forward(self, x):
        for l in self.layers[:-1]:
            x = self.activation(l(x))
        return self.layers[-1](x)

 

다음과 같이 신경망의 계층을 구성할 수 있습니다. 이상으로 이번 단계를 마치겠습니다.

model = MLP((10, 1))  # 1층
model = MLP((10, 20, 30, 40, 1))  # 5층