step41. 행렬의 곱

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

제목에서 알 수 있듯이 이번 단계는 벡터의 내적과 행렬의 곱을 다룹니다. 교재에서 간단히 소개를 하고 있지만, 사실 이 부분은 선형대수학을 따로 공부하는 것이 좋습니다. 벡터의 내적과 행렬의 곱에서 필요한 형상에 대한 내용은 따로 공부하는 것을 추천드립니다. 이번 파트에서 주로 다룰 내용은 행렬 곱의 역전파입니다. 우선 $y=xW$라는 계산을 예시로 설명을 이어나가겠습니다.

 

[그림 41-3]은 간단한 행렬 곱의 순전파입니다. 여기서 중요한 것은 최종 출력이 스칼라라는 것입니다. 딥러닝 자체가 최종적으로 스칼라를 출력하는 계산을 다루기 때문입니다. 결국 역전파로 구해야할 것은 $L$의 각 변수에 대한 미분입니다. 증명 과정은 생략하고, 코드 구현을 위한 단계로 넘어가겠습니다.

 

 

다음 그림은 $y=xW$라는 계산에서 행렬 곱의 순전파, 역전파 형상을 보여주고 있습니다. 역전파를 살펴보면 결국 $L$의 각 변수에 대한 미분이라는 것을 알 수 있습니다. 각 변수를 미세하게 변화시켰을 때 $L$이 얼마나 변화하느냐, 변화율을 보는 것입니다. [그림 41-6]을 보면 그 구체적 계산과 형상을 체크할 수 있습니다. 여기서 주의해야할 점은 형상이 올바르다고 해서 역전파 식이 항상 올바르게 도출되는 것은 아닙니다.

 

 

이제 직접 코드로 구현해보겠습니다. 이전 단계들과 마찬가지로 순전파는 넘파이의 dot 메서드를 활용하고, 역전파는 직접 구현한 함수를 활용합니다. 이때 역전파에서 사용하는 matmul 함수는 바로 밑에 구현한 함수와 동일합니다.

class MatMul(Function):
    def forward(self, x, W):
        y = x.dot(W)
        return y
    
    def backward(self, gy):
        x, W = self.inputs
        gx = matmul(gy, W.T)
        gW = matmul(x.T, gy)
        return gx, gW


def matmul(x, W):
    return MatMul()(x, W)

 

이제 다음과 같은 테스트도 진행할 수 있습니다. x.grad.shape와 x.shape가 동일함을 확인으로 이번 단계를 마무리하겠습니다.

import numpy as np
from dezero import Variable
import dezero.functions as F

x = Variable(np.random.randn(2, 3))
W = Variable(np.random.randn(3, 4))
y = F.matmul(x, W)
y.backward()

print(x.grad.shape)  # (2, 3)
print(W.grad.shape)  # (3, 4)