step37. 텐서를 다루다

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

지금까지는 주로 스칼라 변수를 다뤘습니다. 하지만 머신러닝, 딥러닝 등의 분야에서는 주로 벡터나 행렬 등의 텐서를 다룹니다. 사실 지금까지의 구현도 텐서를 문제없이 다룰 수 있습니다. 죽, 지금까지 구현한 함수들은 텐서를 이용해 계산해도 문제없이 작동합니다. 그동안 스칼라를 대상으로 역전파를 구현했지만, 다음과 같은 이유로 정상 작동하는 것입니다.

• DeZero 함수에 텐서를 건네면 텐서의 원소마다 스칼라로 계산합니다.
• 텐서의 원소별 스칼라 계산이 이루어지면 스칼라를 가정해 구현한 역전파는 텐서의 원소별 계산에서도 성립합니다.

 

코드를 통해서도 확인해보겠습니다. 이때 sum 함수는 모든 원수의 총합을 구하는 코드인데, 39단계에서 구현하도록 하겠습니다. sum 함수는 주어진 텐서의 모든 원소의 총합을 구해 하나의 스칼라로 출력하게 됩니다. 결과를 확인해보면 정상적으로 역전파가 출력되는 것을 알 수 있습니다.

import numpy as np
from dezero import Variable
import dezero.functions as F

x = Variable(np.array([[1, 2, 3], [4, 5, 6]]))
c = Variable(np.array([[10, 20, 30], [40, 50, 60]]))
t = x + c
y = F.sum(t)

y.backward(retain_grad=True)
print(y.grad)
print(t.grad)
print(x.grad)
print(c.grad)

variable(1)

variable([[1 1 1]

            [1 1 1]])

variable([[1 1 1]

            [1 1 1]])

variable([[1 1 1]

            [1 1 1]])

 

위의 예제로부터 중요한 특징을 하나 알 수 있습니다. 기울기와 데이터의 형상이 일치한다는 것입니다. x.shape 와 x.grad.shape는 동일하다는 것입니다. 이 성질을 이용하여 sum이나 reshape 등의 함수도 구현할 수 있습니다. (여기서 말하는 기울기는 텐서의 미분을 뜻합니다.)

 

이상으로 지금까지의 DeZero가 스칼라 뿐만 아니라 텐서까지 잘 다루는 것을 확인했습니다.