step24. 복잡한 함수의 미분

📢 본 포스팅은 밑바닥부터 시작하는 딥러닝3을 기반으로 작성하였습니다. 배운 내용을 기록하고, 개인적인 공부를 위해 작성하는 포스팅입니다. 자세한 내용은 교재 구매를 강력 추천드립니다.

 

 

이번 단계에서는 최적화 문제에서 자주 사용하는 테스트 함수를 활용합니다. 다음 그림은 최적화 문제에 사용되는 벤치마크 함수들의 목록입니다. 이중 Sphere, matyas, Goldstein-Price 함수 3가지를 활용해보겠습니다.

 

먼저 Sphere 함수입니다. 수식으로 표현하면 $z = x^2 + y^2$입니다. 테스트는 3차원 공간에서의 함수를 다룹니다.

def sphere(x, y):
    z = x ** 2 + y ** 2
    return z
    
   
x = Variable(np.array(1.0))
y = Variable(np.array(1.0))
z = sphere(x, y)
z.backward()
print(x.grad, y.grad)

 

다음은 matyas 함수입니다. 마차시라고 읽습니다. 테스트는 위와 동일하게 진행하고, z에서 함수만 다르게 할당해주면 됩니다.

def matyas(x, y):
    z = 0.26 * (x ** 2 + y ** 2) - 0.48 * x * y
    return z

 

마지막으로 Goldstein-Price 함수입니다. 앞선 함수들에 비해 조금 복잡합니다. 결과를 확인해보면, 이렇게 복잡한 계산도 잘 미분하는 것을 알 수 있습니다. 기울기 확인을 통해 결과도 검증할 수 있습니다.

def goldstein(x, y):
    z = (1 + (x + y + 1)**2 * (19 - 14*x + 3*x**2 - 14*y + 6*x*y + 3*y**2)) * \
        (30 + (2*x - 3*y)**2 * (18 - 32*x + 12*x**2 + 48*y - 36*x*y + 27*y**2))
    return z

 

드디어 제2고지도 점령했습니다. 제2고지에서는 복잡하게 연결된 계산 그래프도 역전파가 가능하게 하고, 연산자 오버로드를 진행하여 코드 작성의 효율을 개선했습니다. 이제 기초는 충분하고, 다음 단계부터는 고급 계산도 처리할 수 있도록 확장해나가겠습니다.