step38. 형상 변환 함수

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이번 단계에서는 텐서의 형상을 변환하는 reshape 함수와 행렬을 전치하는 transpose 함수를 살펴보겠습니다. 넘파이 라이브러리에는 이미 reshape 함수가 존재합니다. 하지만 DeZero 버전에서 reshape 함수는 역전파를 고려해야합니다. 이때 가장 중요한 것은 변수의 데이터와 기울기의 형상이 일치해야한다는 것입니다. x.data.shape와 x.grad.shape가 같아야 한다는 것이죠.

 

구현할 때 주의해야할 점은 역전파 시에는 직접 구현한 함수를 활용해야 한다는 것입니다. backward(gy)에서 인수 gy가 Variable 인스턴스이기 때문입니다. 따라서 Variable 인스턴스를 다룰 수 있는 DeZero의 함수로 계산해야 합니다.

class Reshape(Function):
    def __init__(self, shape):
        self.shape = shape

    def forward(self, x):
        self.x_shape = x.shape
        y = x.reshape(self.shape)
        return y
    
    def backward(self, gy):
        return reshape(gy, self.x_shape)


def reshape(x, shape):
    if x.shape == shape:
        return as_variable(x)
    return Reshape(shape)(x)

 

다음으로 Variable 클래스에 코드를 추가해주어야 합니다. 튜플, 리스트 등 다양하게 변수를 받기 위함입니다. 예를 들어 y = x.reshape(2, 3) 형식의 가변 인수도 받을 수 있게 됩니다.

class Variable:
	...
    
        def reshape(self, *shape):
                if len(shape) == 1 and isinstance(shape[0], (tuple, list)):
                    shape = shape[0]
                return dezero.functions.reshape(self, shape)

 

다음으로 행렬의 전치를 위한 transpose입니다. 예를 들어 x의 형상이 (2, 3)이라면 (3, 2)로 변환해줄 수 있습니다. 역전파의 경우 순전파와 반대의 변환이 이루어지기 때문에 출력에서 전해진 기울기를 transpose 함수를 활용해 변환합니다. 본래 책에서는 간단하게 2차원 텐서일 때로 한정하여 코드를 구성하고 있습니다. 하지만 실제 transpose 함수는 더 범용적으로 사용됩니다. [그림 38-4]와 같은 기능이 대표적인 예입니다.

 

 

이러한 기능을 포함한 것이 아래 코드입니다. 순전파시에는 넘파이를 활용하여 transpose를 진행하지만 역전파의 경우에는 reshape와 마찬가지로 직접 구현한 함수를 활용합니다.

class Transpose(Function):
    def __init__(self, axes=None):
        self.axes = axes

    def forward(self, x):
        y = x.transpose(self.axes)
        return y
    
    def backward(self, gy):
        if self.axes is None:
            return transpose(gy)
        
        axes_len = len(self.axes)
        inv_axes = tuple(np.argsort([ax % axes_len for ax in self.axes]))
        return transpose(gy, inv_axes)


def transpose(x, axes=None):
    return Transpose(axes)(x)

 

@property 데코레이터는 y = x.transpose()를 y = x.T와 같이 사용할 수 있도록 해줍니다.

class Variable:
	...
    
        def transpose(self, *axes):
                if len(axes) == 0:
                    axes = None
                elif len(axes) == 1:
                    if isinstance(axes[0], (tuple, list)) or axes[0] is None:
                        axes = axes[0]
                return dezero.functions.transpose(self, axes)

            @property
            def T(self):
                return dezero.functions.transpose(self)