step47. 소프트맥스 함수와 교차 엔트로피 오차

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이전 단계까지는 신경망을 활용하여 회귀 문제를 풀었습니다. 앞으로는 DeZero를 활용하여 새로운 유형의 문제를 풀어보겠습니다. 다중 클래스 분류(multi-class classification) 문제입니다. 우선 이번 단계에서는 사전 준비를 해보겠습니다.

 

먼저 get_item이라는 함수를 준비합니다. 이 함수는 다음과 같이 활용할 수 있습니다. Variable의 다차원 배열 중에서 일부를 슬라이스하여 뽑아주는 것입니다. DeZero 함수로 구현했기 때문에 역전파도 수행 가능합니다.

import numpy as np
from dezero import Variable
import dezero.functions as F

x = Variable(np.array([[1, 2, 3], [4, 5, 6]])
y = F.get_item(x, 1)
print(y)  # variable([4 5 6])

 

슬라이스로 인한 계산은 다차원 배열의 데이터 일부를 수정하지 않고 전달합니다. 따라서 역전파는 기존 다차원 배열에서 데이터가 추출된 위치에 해당 기울기를 설정하고, 나머지는 0으로 채웁니다.

 

 

Variable.__getitem__ = F.get_item 과 같이 Variable의 메서드로 사용 가능하도록 설정할 수 있습니다. 참고로 이 특수 메서드는 dezero의 core.py의 setup_variable에서 수행합니다. 이로써 Variable 인스턴스를 원하는대로 슬라이스할 수 있게 되었습니다. 사실 get_item 함수의 실제 구현과 기능에 대한 설명이 부록으로 추가되어있는데, 메인 과정은 아니므로 본 주제로 넘어가겠습니다.

 

우선 소프트맥스 함수입니다. 소프트 맥스 함수는 수치로 나오는 신경망의 출력을 확률로 변환해줍니다. 함수의 입력 $yk$가 총 n개(클래스 수)라고 가정하고, k번째 출력 $pk$를 구합니다. 이때 분자는 입력 $yk$의 지수 함수고, 분모는 모든 입력의 지수 함수의 총합입니다. 따라서 $0 <= pi <= 1$이고, 모든 p값의 합이 1이 됩니다. 결과적으로 원소 각각(p1, p2, ..., pn)을 확률로 해석할 수 있게 됩니다.

 

 

이제 DeZero의 소프트맥스 함수를 구현해보겠습니다. 정확한 구현은 깃허브에 있고, 여기서는 간단한 버전으로 구현하겠습니다.

from dezero import Variable, as_variable
import dezero.functions as F


def softmax1d(x):
    x = as_variable(x)
    y = F.exp(x)
    sum_y = F.sum(y)
    return y / sum_y


model = MLP((10, 3))

x = np.array([[0.2, -0.4]])
y = model(x)
p = softmax1d(y)
print(y)
print(p)

variable([[0.72107507 0.46316368 0.21703336]])
variable([[0.42074299 0.32509283 0.25416418]])

 

만약 데이터가 하나인 경우가 아니라면, 다음과 같이 배치 데이터에도 함수를 적용할 수 있도록 코드를 확장해야합니다. 이 코드만으로 올바른 결과가 도출되기는 하지만, 개선을 위해서는 Function 클래스를 상속하여 Softmax 클래스를 구현해야합니다. 이에 대한 자세한 설명은 생략합니다. (dezero/functions.py에 구현되어 있습니다.)

def softmax_simple(x, axis=1):
    x = as_variable(x)
    y = exp(x)
    sum_y = sum(y, axis=axis, keepdims=True)
    return y / sum_y

 

다음은 교차 엔트로피 오차입니다. 선형 회귀 문제에서는 평균 제곱 오차를 이용했지만, 다중 클래스 분류에는 교차 엔트로피 오차가 더 적합합니다. 식의 정의는 다음과 같습니다.

 

 

$tk$는 정답 데이터의 k차원째 값을 나타내는데, 정답 데이터 원소는 정답이면 1, 아닌 경우에는 0으로 되어 있습니다. 따라서 정답을 제외한 확률들은 대입하면 0이 되므로, 정답 클래스에 해당하는 확률 p만 추출해도 됩니다.

 

 

지금까지의 설명은 데이터가 하나인 경우를 고려했습니다. 만약 데이터가 N개, 즉 여러개라면 각 데이터에서 오차를 구하고, 전체를 더한 다음 N으로 나누어주어야 합니다. 평균 교차 엔트로피 오차를 구한다는 뜻입니다.

 

이제 실제 코드로 구현해보겠습니다. 위에서와 마찬가지로 여기서는 간단한 버전의 구현을 다루므로, 실제 구현은 깃허브를 참고하시기 바랍니다.

 

아래 함수에서 x는 소프트맥스 함수를 적용하기 전의 출력이고, t는 정답 데이터입니다. p = softmax(x)에서 출력은 0 이상 1 이하의 수인데, 이어지는 로그 계산에서 log 함수에 0을 입력하면 경고가 발생하므로 이에 대한 대처가 필요합니다. clip이라는 함수를 구현하여, 0인 경우에 작은 값이 1e-15로 대체해줍니다.

def softmax_cross_entropy_simple(x, t):
    x, t = as_variable(x), as_variable(t)
    N = x.shape[0]
    p = softmax(x)  # softmax_simple(x)
    p = clip(p, 1e-15, 1.0)  # to avoid log(0)
    log_p = log(p)  # log는 DeZero 함수
    tlog_p = log_p[np.arange(N), t.data]
    y = -1 * sum(tlog_p) / N
    return y

 

이제 입력 데이터 x와 정답 데이터 t를 준비하여 테스트를 진행합니다. 정상적으로 진행되는 것을 확인할 수 있습니다. 이제 다음 단계에서 본격적으로 다중 클래스 분류를 해보도록 하겠습니다.

x = np.array([[0.2, -0.4], [0.3, 0.5], [1.3, -3.2], [2.1, 0.3]])
t = np.array([2, 0, 1, 0])

y = model(x)
p = F.softmax(y)

loss = F.softmax_cross_entropy(y, t)
loss.backward()
print(loss)

variable(1.001130001089163)