step12. 가변 길이 인수(개선 편)

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이번 단계에서는 두 가지를 개선해 DeZero의 편의성을 개선하겠습니다. 첫 번째는 Add클래스를 사용하는 사람, 두 번째는 구현하는 사람을 위한 개선입니다. 우선 다음 그림과 같이 함수를 사용하기 쉽게 변환합니다.

 

Add 클래스는 인수를 리스트에 모아서 받고 결과는 튜플로 반환합니다. 하지만 오른쪽 그림처럼 리스트나 튜플을 거치지 않는 것이 더 자연스럽습니다. 함수 정의 시 인수 앞에 별표(*)를 붙이면, 임의 개수의 인수(가변 길이 인수)를 받을 수 있습니다. 반환값은 outputs 원소가 하나인 경우 첫 번째 원소를 반환하도록 합니다.

class Function:
    def __call__(self, *inputs):  # 가변 길이 인수
        xs = [input.data for input in inputs]
        ys = self.forward(xs)
        outputs = [Variable(as_array(y)) for y in ys]
        
        for output in outputs:
            output.set_creator(self)
        self.inputs = inputs
        self.outputs = outputs
        return outputs if len(outputs) > 1 else outputs[0]  # 리스트 원소가 하나면 첫 번째 원소 반환

 

두 번째 개선은 구현하는 사람을 위한 개선입니다. 이전까지는 왼쪽처럼 구현해야 했지만, 오른쪽이 자연스러워보입니다.

 

두 번째 개선을 위해 Function 클래스를 수정합니다. 이번에는 forward 함수를 호출할 때 별표를 붙였습니다. 이럴 때는 리스트 언팩의 기능을 합니다. 리스트의 원소를 낱개로 풀어서 전달합니다. 또한 ys가 튜플이 아닌 경우 튜플로 변경해줍니다.

class Function:
    def __call__(self, *inputs):
        xs = [input.data for input in inputs]
        ys = self.forward(*xs)  # 별표를 붙여 언팩
        if not isinstance(ys, tuple):  # 튜플이 아닌 경우 변경
            ys = (ys, )
        outputs = [Variable(as_array(y)) for y in ys]
        
        for output in outputs:
            output.set_creator(self)
        self.inputs = inputs
        self.outputs = outputs
        return outputs if len(outputs) > 1 else outputs[0]

 

위의 개선 작업이 끝나면 다음과 같이 자연스러운 순전파 메서드를 정의할 수 있습니다.

class Add(Function):
    def forward(self, x0, x1):
        y = x0 + x1
        return y

 

다음으로 Add 클래스를 파이썬 함수로 사용할 수 있도록 변경합니다.

def add(x0, x1):
    return Add()(x0, x1)

 

마지막으로 테스트를 진행합니다. 이제 순전파에서 가변 길이 인수를 다룰 수 있게 되었습니다. 다음 단계에서는 역전파를 구현합니다.

x0 = Variable(np.array(2))
x1 = Variable(np.array(3))
y = add(x0, x1)  # Add 클래스 생성 과정을 감추기
print(y.data)  # 5